33205 Abril 2005 No. 68 Una serie regular de notas destacando las lecciones recientes del programa operacional y analítico de la Región de América Latina y el Caribe, del Banco Mundial. EDUCACIÓN COMPENSATORIA PARA ESTUDIANTES DESFAVORECIDOS: PRUEBAS DE UN ESTUDIO DE EVALUACIÓN DE IMPACTO LLEVADO A CABO EN MÉXICO Harry Anthony Patrinos, Joseph Shapiro y Jorge Moreno Trevino Descripción general eficaces en cuanto a mejorar el aprendizaje de matemáticas en la El Presidente de México, Vicente Fox, declaró en 2001 que su educación primaria y el aprendizaje del español en la educación máxima prioridad en materia de educación era entregar el mismo secundaria. Tanto la educación telesecundaria como la educación servicio de buena calidad a todos los mexicanos, afirmación que bilingüe que se ofrece a estudiantes indígenas han demostrado no hace más que reiterar el compromiso asumido por los tener efectos positivos en el aprovechamiento escolar de los anteriores gobiernos de este país. Sin embargo, brindar una estudiantes y, por otra parte, los programas de CONAFE han buena educación a todos los ciudadanos es muy difícil en un país logrado reducir las tasas de repetición y reprobación en la escuela con la dispersión geográfica y la heterogeneidad cultural como la primaria. que registra México. ¿Cómo debe el país educar a estudiantes que no hablan español, viven en pueblos CONAFE y el Banco Mundial inaccesibles donde no llega camino alguno o provienen de familias que no pueden costear los El Programa de desarrollo de la educación básica uniformes escolares? (préstamo adaptable para programas) es la segunda fase de un programa de tres que apoya la Una inquietud similar enfrentan todas las autoridades ejecución del programa de educación responsables en la mayoría de los países de ingreso compensatoria del Gobierno de México. Este bajo y mediano, puesto que la educación básica de programa respalda las gestiones que hace el buena calidad es imprescindible para terminar con la gobierno en pos de mejorar el nivel y la calidad de transmisión de la pobreza de una generación la instrucción que se ofrece en el país y así acercar desfavorecida a la siguiente. Las mejoras en salud e sustancialmente sus indicadores educacionales a infraestructura pueden construir el marco necesario aquellos imperantes en los demás países de la para permitir que cada persona viva una vida libre de OCDE1 . El programa consta de dos componentes pobreza, pero si los estudiantes de los sectores más principales. El primero de ellos busca mejorar la calidad de la desfavorecidos de un país no reciben educación de buena educación inicial y básica mediante la entrega de financiamiento calidad, seguramente no podrán escapar de la pobreza abyecta e para: (1) ampliar y rehabilitar la infraestructura educacional en las intolerable que caracteriza a demasiadas comunidades rezagadas. comunidades beneficiarias; (2) entregar materiales didácticos y equipamiento para estudiantes, maestros y escuelas; (3) México ya comenzó a encarar este reto en 1971 con la creación del capacitar a los maestros, supervisores, personal administrativo y Consejo Nacional de Fomento Educativo (CONAFE), órgano técnicos promotores de educación, lo cual incluye asistencia dependiente de la Secretaría de Educación Pública (SEP). técnica e incentivos de desempeño para maestros de educación CONAFE proporciona recursos adicionales a las escuelas que primaria; (4) apoyar a las asociaciones comunitarias o de padres matriculan a estudiantes desfavorecidos y sus actuales en las actividades de gestión escolar, y (5) mejorar la supervisión programas de educación compensatoria apoyan a más de tres de las escuelas. millones de estudiantes que cursan la educación preescolar y primaria y a cerca de un millón de estudiantes que participan en la El segundo componente desarrolla la capacidad institucional en educación telesecundaria a través de EDUSAT, la Red Satelital de el ámbito federal y estatal y para este fin: (1) coordina la Televisión Educativa, en escuelas ubicadas en zonas remotas. evaluación de los resultados de la educación a nivel nacional y estatal; (2) consolida el sistema nacional de levantamiento del En una reciente evaluación del impacto de los programas mapa escolar y su utilización en la planificación de la educación compensatorios de CONAFE se constató que éstos son muy básica a nivel estatal; (3) respalda las investigaciones 1 educacionales; (4) fortalece la función de las Secretarías de Educación a nivel estatal para mejorar la gestión en la Educación compensatoria prestación de servicios de educación a través del aumento Uno de los programas de educación compensatoria de mayor de su capacidad de planificación, programación, definición envergadura es Capítulo 1 (Chapter 1, anteriormente denominado del presupuesto, supervisión y evaluación, y (5) promueve Título 1 o Title 1) de Estados Unidos de América, el cual en 1991 la innovación en educación (Banco Mundial, 2002). asignó US$4.300 millones a aquellas escuelas que matricularan a estudiantes de ingreso bajo. Diversas evaluaciones realizadas en los El programa busca asegurar que los niños entre 0 y 14 años años ochenta constataron que los recursos del Capítulo 1 fueron de las comunidades mexicanas más rezagadas comiencen y eficaces en incrementar los resultados de las pruebas en el período de terminen la educación básica. La segunda fase del programa un año, pero que las puntuaciones caían durante el verano o el año presta apoyo a las escuelas de educación básica de los siguiente luego de las inversiones realizadas en el marco del Capítulo sectores más marginales de cada uno de los estados de 1 (Slavin, 1989). México y pretende consolidar y ampliar tanto el mejoramiento de la calidad como la cobertura de la Investigaciones más recientes se han centrado en el programa de educación inicial y básica, fortalecer la gestión de los enseñanza preescolar Head Start de Estados Unidos, el cual entrega sistemas educacionales, poner en marcha un fondo recursos adicionales a los estudiantes preescolares de sectores concursable para apoyar las innovaciones en educación desfavorecidos. Head Start se comenzó a implementar en 1965 con la propuestas por los estados y continuar con el entrega de US$1.000 (en precios de 1999) por estudiante a cerca de 500.000 niños entre tres y cuatro años; en la actualidad apoya a unos fortalecimiento de la capacidad institucional. 800.000 estudiantes con un monto de más o menos US$5.400 por cada uno (Garces et al., 2002). Los análisis del programa indican que Head Metodología Start aumenta los resultados en las pruebas, disminuye las tasas de deserción y reprobación y acorta las disparidades en las Las evaluaciones realizadas en el pasado no lograron una puntuaciones de las pruebas entre grupos étnicos (Currie y Thomas, medición precisa de los efectos de CONAFE debido a las 1999; Barnett, 1995; Karly y otros, 1998). Sin embargo, los efectos de marcadas diferencias de los antecedentes socioeconómicos Head Start parecen desaparecer hacia el tercer grado o año de estudio entre los estudiantes que asisten a las escuelas de este (Currie y Thomas, 2000; Aughinbaugh, 2001). Análisis más recientes programa y aquellos que no lo hacen. Por ejemplo, constatan que los adultos que participaron en Head Start como niños prácticamente todos los estudiantes indígenas asisten a no mostraron más probabilidades de terminar la secundaria, asistir a la escuelas de CONAFE, de modo que no es posible universidad o tener ingresos más altos que aquellos que no determinar el efecto del programa en los estudiantes participaron en el programa. Una de las conclusiones de esta indígenas evaluando sólo a estos estudiantes: no habría investigación es que la educación compensatoria debe mantenerse ningún grupo adecuado con el cual compararlos. Por otra por muchos años para que sea eficaz a largo plazo (Aughinbaugh, parte, la formación de un grupo de control de estudiantes no 2001). indígenas resulta difícil, ya que las desventajas que enfrentan los estudiantes indígenas son superiores a Chile aplica un programa conocido como 900 Escuelas o P-900 que se asemeja más a CONAFE. El Ministerio de Educación chileno aquellas de sus pares no indígenas y es posible que el proporciona capacitación docente, textos de estudio y material español no sea la lengua materna entre los primeros. didáctico, además de mejoras en la infraestructura, a aquellas escuelas que registran los peores resultados en un examen nacional que mide Esto implica que se requiere un modelo que pueda utilizar las destrezas de los estudiantes. Algunos análisis recientes los datos disponibles sobre las puntuaciones alcanzadas (MINEDUC, 2000; Tokman, 2002) comparan el rendimiento de los por los estudiantes en las pruebas o exámenes, el apoyo de estudiantes de las escuelas P-900 con el de los estudiantes de CONAFE y los antecedentes de los alumnos para distinguir escuelas que no participan en el programa y constatan que la entre el efecto de CONAFE en el aprovechamiento escolar y participación en P-900 aumenta los resultados logrados en las el efecto de los antecedentes del estudiante: entre otros el puntuaciones en un plazo de varios años, pero no hay análisis que analfabetismo de los padres, la pobreza de la comunidad, el examinen la eficacia del programa en cuanto a aumentar la aislamiento de otras instituciones educacionales y las participación hasta el nivel universitario o aumentar los salarios en la demás fuentes que generan desventajas. Para elaborar un edad adulta. modelo de este tipo, se calculó la probabilidad de que la escuela de un estudiante determinado reciba apoyo de CONAFE, probabilidad que depende de los antecedentes de la ese caso, el efecto de CONAFE será la diferencia lograda en el comunidad a la cual pertenece (como tiempo en la mejora de los resultados entre disponibilidad de servicios públicos, estudiantes de similares antecedentes cuyas alfabetismo promedio e ingreso escuelas recibieron ayuda de CONAFE o no la promedio). Si bien el apoyo que ofrece recibieron. CONAFE se dirige a toda la escuela y A fin de individualizar a los estudiantes de no a un estudiante aislado, es posible antecedentes similares, se utilizó un algoritmo modelar este apoyo como función para medir la correspondencia de puntuación de tanto de los antecedentes del la propensión que identifica a estudiantes estudiante como de la comunidad. En comparables de escuelas del programa CONAFE 2 y de estudiantes de otras escuelas que no cuentan con el apoyo con el nivel de pobreza y la presencia de comunidades indígenas de CONAFE. La comparación o correspondencia es en cada uno de ellos. especialmente conveniente para evaluar programas en que (a) algunos individuos fueron objeto de tratamientos CONAFE aumentó las puntuaciones en pruebas en la enseñanza experimentales, (b) la selección de los participantes para tal primaria y disminuyó la desigualdad tratamiento no fue aleatoria, sino se fundó en las características básicas de cada individuo, (c) pocos individuos del grupo no Las puntuaciones compuestas logradas en español y experimental tenían características similares a las observadas en matemáticas por los estudiantes de escuelas de CONAFE el grupo experimental, y (d) la selección de observaciones aumentaron significativamente en el período de la muestra en los comparables en el grupo experimental y no experimental resulta tres grupos desfavorecidos. En cada grupo, estos estudiantes difícil debido a la gran cantidad de características básicas avanzaron 2,4 a 4,3 puntos cada año respecto de los estudiantes necesarias para determinar la comparibilidad (Dehejia y Wahba, no CONAFE en la puntuación compuesta por las asignaturas de 2002). Dado que la ayuda de CONAFE no es aleatoria y se basa en matemáticas y español. El sesgo de la metodología utilizada en complejas características básicas de estudiantes y escuelas, la este análisis subvalora el efecto positivo de CONAFE, de modo evaluación de este programa constituye un buen argumento a que estas cifras indican el efecto positivo mínimo que se puede favor de la evaluación de correspondencia de puntuación. atribuir al programa. Por otra parte, CONAFE también acortó en 9% la desigualdad en las Una correspondencia de puntuación de la puntuaciones obtenidas en las propensión imparcial utilizaría suficientes pruebas entre estudiantes de antecedentes de los estudiantes para garantizar que CONAFE y no CONAFE para el la asignación de ayuda por parte de CONAFE entre grupo menos marginal y en 30% estudiantes con puntuaciones de propensión iguales para el grupo más marginal. Estos sea estrictamente aleatoria. Lamentablemente, la resultados realmente son muy escasa información básica disponible para realizar alentadores, ya que demuestran esta correspondencia indica que la metodología que el programa es eficaz en mantiene un sesgo negativo en la puntuación cuanto a eliminar la desigualdad respecto de los estudiantes de CONAFE, lo cual La inequidad es la diferencia de media entre cognitiva de aquellos alumnos implicaría que los estudiantes apoyados por el CONAFE y No-CONAFE de los estudiantes en con antecedentes menos programa deben superar obstáculos adicionales para el periodo 1998-2002 favorables. En los tres grupos, mostrar los mismos logros que sin embargo, el programa fue más aquellos que no reciben dicho apoyo. lento en reducir la distancia en la puntuación Una puntuación de la propensión es obtenida en las pruebas de español que en la probabilidad de que la escuela las de matemáticas, lo que indica que si bien reciba ayuda de CONAFE dado sus ambos programas inciden en mejorar el antecedentes. De manera más simple aprendizaje de los estudiantes, el programa se podría interpretar como la de matemáticas utilizado por CONAFE correspondencia de los antecedentes puede ser más eficaz que el de español. Esta de una escuela con el perfil de una diferencia en los resultados logrados en típica escuela del programa CONAFE. matemáticas y español persiste incluso si se Fuente: Estándares Nacionales 1998-2002 realizan ajustes ante la presencia de Conclusiones generales estudiantes indígenas. Los programas compensatorios de CONAFE pretenden ayudar a CONAFE mejora el rendimiento de los estudiantes indígenas en las escuelas más desfavorecidas de todos los estados mexicanos educación primaria y su focalización parece ser sumamente eficaz, ya que cubre a las escuelas más atrasadas en materia educacional y prácticamente a Los resultados obtenidos por los estudiantes indígenas en los todas las escuelas indígenas. El apoyo que presta CONAFE es exámenes mejoraron rápidamente durante el período de la bastante poco dinámico puesto que el 70% de las escuelas muestra, con un promedio anual de 26 puntos en los exámenes de incluidas en la muestra de cinco años recibió ayuda durante ese matemáticas y de 12 puntos en los exámenes de español. La período. Sin embargo, los indicadores básicos muestran que el instrucción impartida en las escuelas de CONAFE disminuyó la programa ha dedicado la mayor parte de los años de apoyo a las brecha en las puntuaciones de matemáticas en cinco puntos comunidades más marginales. Las escuelas de CONAFE están anuales entre los estudiantes de CONAFE y no CONAFE, cinco ubicadas en comunidades con niveles considerablemente puntos que son el efecto mínimo que se puede atribuir a inferiores de alfabetismo, acceso a servicios públicos y desarrollo CONAFE. Ya que prácticamente cada estudiante indígena recibe industrial respecto de las comunidades donde no se aplica el apoyo de este programa, resulta difícil construir un grupo de programa. Más aún, el hecho de que el programa cubra a todos control adecuado con el cual comparar a los estudiantes los estados mexicanos no ha atenuado su mecanismo de indígenas. Es posible que este análisis no detectara un efecto focalización. La cantidad de escuelas que recibe ayuda de significativo de CONAFE en las puntuaciones de español de los CONAFE fluctúa entre un estado y otro y está muy relacionada estudiantes indígenas porque los antecedentes básicos del 3 grupo de control con el cual se compararon eran muy diferentes a Fuentes los antecedentes básicos de un típico estudiante indígena. Aughinbaugh, Alison. 2001. "Does Head Start Yield Long-Term Ben- efits?" The Journal of Human Resources 36(4): 641-65. CONAFE mejora el aprendizaje de matemáticas y español en la escuela secundaria Barnett, Steven. 1995. "Long-Term Effects of Early Childhood Pro- grams on Cognitive and School Outcomes." The Future of Children Las puntuaciones logradas en español y matemáticas por los 5(3): 25-50. estudiantes de telesecundaria mejoraron aceleradamente en el Currie, Janet and Duncan Thomas. 1999. "Does Head Start Help período de muestra ­de un promedio compuesto de 499 puntos Hispanic Children?" Journal of Public Economics 74(2): 235-62. en el año 2000 a 540 puntos en el año 2002­ y la educación telesecundaria generó gran parte de este incremento. En el Currie, Janet and Duncan Thomas. 2000. "School Quality and the Longer-term Effects of Head Start." Journal of Human Resources período de la muestra, la educación telesecundaria eliminó el 24% 35(4): 755-74. de la desigualdad en la puntuación de matemáticas del grupo menos marginal y 38% de la desigualdad entre los estudiantes Dehejia, Rajeev H. and Sadek Wahba. 2002. "Propensity Score Match- con telesecundaria y sin telesecundaria si se ajustan las ing Methods for Non-experimental Causal Studies." The Review of Economics and Statistics 84(1): 151-161. diferencias en los antecedentes de los estudiantes. En el presente análisis se definió la desigualdad como la diferencia promedio de Garces, Eliana, Duncan Thomas and Janet Currie. 2002. "Longer-Term puntuación lograda en las pruebas entre el grupo experimental de Effects of Head Start." The American Economic Review 92(4): 999- telesecundaria y el grupo de control sin telesecundaria. 1012. Karly, Lynn A., Peter A. Greenwood, Susan S. Everingham, Jill Hoube, En este caso, pareciera que la educación telesecundaria es más M. Rebecca Kilburn, Peter C. Rydell, Matthew Sanders and James eficaz en la instrucción de español que en la instrucción de Chiesa. 1998. "Investing in our children: What we know and don't know matemáticas, lo cual reviste especial interés cuando se considera about the costs and benefits of early childhood interventions." Santa Monica: RAND MR-898. que los programas CONAFE para las escuelas primarias parecen ser más eficaces en la instrucción de matemáticas que en la de MINEDUC. 2000. "Evaluación del Programa de las 900 Escuelas." español. División de Educación General, Chilean Ministry of Education. Cited in Tokman. Shapiro, Joseph and Jorge Moreno Trevino. 2003. "Compensatory Education for Disadvantaged Mexican Students: An Impact Evaluation Using Propensity Score Matching." World Bank (Processed). Slavin, Robert E. 1989. "Students at risk of school failure: the problem and its dimensions." In Robert E. Slavin, Nancy L. Karweit, and Nancy A. Madden, eds. Effective Programs for Students at Risk. Boston: Allyn and Bacon. Tokman, Andrea. 2002. "Evaluation of the P-900 Program: A Targeted Education Program for Underperforming Schools." Working Paper 170, Central Bank of Chile. Fuente: Estándares Nacionales 2000-2002. La World Bank. 2002. Project Appraisal Document: Mexico Basic desigualdad es la diferencia de puntuación promedio Education Development Phase II Project. World Bank, Human Devel- entre estudiantes con telesecundaria y sin opment Unit, Latin America and the Caribbean Regional Office, Washington, D.C. telesecundaria en el período 2000 a 2002. Este gráfico representa los hallazgos del grupo menos marginal. Nota Conclusión 1 México, la novena economía más grande del mundo, es En términos generales, los programas compensatorios de miembro de Organización de Cooperación y Desarrollo CONAFE son eficaces y están bien focalizados. Tanto en el nivel Económicos (OCDE). primario como secundario, estos programas mejoraron sustancialmente los resultados logrados por los estudiantes en Sobre los Autores los exámenes y disminuyeron la desigualdad entre los estudiantes de CONAFE y no CONAFE. Estos resultados se Harry Anthony Patrinos es un economista senior, Joseph mantienen incluso si se realizan ajustes para neutralizar las Shapiro and Jorge Moreno Trevino son profesionales junior, variables más importantes en materia de antecedentes básicos. todos con el Departamento de Desarrollo Humano de la región CONAFE parece ser más eficaz en la instrucción de matemáticas de América Latina y el Caribe del Banco Mundial en el nivel primario y de español en el nivel de telesecundaria. El análisis en general constata que el Banco Mundial está logrando su objetivo de mejorar y ampliar la calidad de la educación en Sobre "en breve" México a través del apoyo que le brinda a los programas Para registrase a "en breve" por favor envíe un correo compensatorios. electrónico a: en_breve@worldbank.org 4