Читать книгу: «Guía práctica para la evaluación de impacto», страница 6

4.10. Conclusiones y ejemplos

Los experimentos sociales pueden generar estimaciones confiables de los impactos de programas nuevos y antiguos, pero tienen costos y beneficios que se deben ponderar antes de decidir si se eligen como estrategia de evaluación. En caso de adoptarse, esta herramienta requiere una implementación cuidadosa y una buena interpretación de los resultados. Dado que por diseño resuelven el problema del sesgo de selección, los experimentos aleatorios son considerados como punto de referencia para determinar el impacto de los programas o intervenciones. Entre sus ventajas se cuenta con que los resultados son muy transparentes, dado que, por la calidad de los datos generados, no es necesario utilizar herramientas econométricas sofisticadas. Por lo tanto ayudan, a la transparencia de las políticas públicas y a la rendición de cuentas.

Los experimentos sociales, a pesar de sus ventajas, sufren diversas limitaciones. Por un lado, pueden ser costosos y de difícil implementación. Esta desventaja se ha visto atenuada, pues las evaluaciones experimentales que se han llevado a cabo últimamente en los países en desarrollo son más modestas y a una escala mucho menor. Por tanto, se han vuelto una alternativa seria en las evaluaciones (Duflo, Glennerster y Kremer, 2006). Segundo, la experimentación sufre problemas éticos al negarle a una porción de la población elegible los beneficios de la intervención. Sin embargo, hay variantes del diseño puramente experimental que aminoran este problema, por ejemplo, aprovechar las restricciones logísticas para la ampliación de un programa.

Además, dado el diseño de los experimentos y la imposibilidad de negar los beneficios a un grupo de control por largos períodos, con frecuencia es imposible estimar los impactos de largo plazo. Es posible que los efectos de largo plazo difieran de manera sustancial de los de corto plazo. Los experimentos también tienen problemas de validez externa que se pueden suavizar repitiendo el experimento en distintas regiones, experimentando con diferentes versiones del programa o usando la teoría económica para entender los canales a través de los cuales se generan los efectos.

Hay varios aspectos importantes de los experimentos sociales que no se han mencionado en el capítulo, porque están por fuera del alcance del presente texto. Se remite al lector interesado al artículo de Duflo, Glennerster y Kremer (2006), para una introducción al uso de experimentos sociales en el área de desarrollo económico; a Cox y Reid (2000) para un tratamiento amplio de la teoría del diseño de experimentos; y a Bloom (1995) para los cálculos de poder.³⁰

A continuación se presentan tres ejemplos de experimentos sociales. El primero es uno de los experimentos clásicos de gran escala. Fue llevado a cabo en Tennessee, Estados Unidos, a mediados de la década de los ochenta del siglo XX. El Proyecto STAR (Student-Teacher Achievement Ratio) fue un estudio experimental de cuatro años en Tennessee para estudiar el efecto del número de estudiantes por profesor en una clase sobre el desempeño de los alumnos en lectura y matemáticas. Ésta es una de las evaluaciones clásicas que muestra los beneficios que tiene ser parte de una clase pequeña para el desempeño académico de los niños. El segundo estudio que se presenta es la evaluación del Programa de Ampliación de Cobertura para la Educación Secundaria, que se implementó a comienzos de la década de los noventa en Colombia. La oferta educativa pública era restringida y, por tanto, se decidió dar bonos a los estudiantes para que pudieran cubrir los costos de matrícula y asistir a secundarias privadas. Como la demanda de bonos ampliamente superaba la oferta, una buena parte de su asignación se hizo de manera aleatoria. El tercer ejemplo es un experimento social controlado que estima el efecto de proveer información acerca de la ayuda financiera para la educación superior sobre el desempeño escolar en Chile.

Ejemplo 1: Stock y Watson (2006), Proyecto STAR, capítulo 13

Una pregunta clásica en economía de la educación es si una disminución en el tamaño de la clase afecta de manera positiva el rendimiento académico de los estudiantes. Se compararon tres tipos de clases entre los grados kínder y tercero de primaria: clases normales (22-25 alumnos), clases normales con asistente del profesor y clases pequeñas (13-17 estudiantes). Tanto profesores como alumnos que entraban a kínder se asignaban aleatoriamente a uno de estos tipos de clases. Cada año, los estudiantes presentaban unos exámenes estandarizados en lectura y matemáticas (Stanford Achievement Test). Durante la duración del estudio participaron aproximadamente 11,600 estudiantes y 80 colegios.

Se suponía que los estudiantes asignados en kínder seguirían en el mismo tipo de clase hasta terminar tercero. Sin embargo, por presiones de los padres, algunos estudiantes originalmente asignados a clases normales (con o sin asistente del profesor) fueron aleatoriamente reasignados a clases de tamaño normal al comenzar primero, con o sin asistente del profesor. Es decir, no hubo cambios entre tipos de clases, pequeñas o normales, por presión de los padres. Los estudiantes que originalmente pertenecían a clases pequeñas permanecieron en clases pequeñas durante los cuatro años del experimento. Por tanto, no hubo estudiantes que originalmente estuvieran en una clase grande y que fueran reasignados a una clase pequeña o viceversa.

A pesar del cuidadoso diseño, hubo desviaciones del diseño experimental que pueden introducir sesgos en los cálculos. Cerca de 10% de los estudiantes cambiaron entre tipos de clases, por ejemplo, de normal a pequeño, o viceversa, debido a incompatibilidades o problemas de comportamiento. Según evidencia anecdótica, estos cambios se hicieron para evitar conflictos personales. Esto sugiere que dichos cambios pueden estar suficientemente no relacionados con el experimento, y no se introduciría sesgo. Sin embargo, si los cambios se hubieran dado porque los padres más preocupados presionaron al colegio a cambiar a su hijo, podríamos estar sobrestimando el efecto de estar en una clase pequeña, al confundir el efecto de una clase pequeña con el efecto de tener padres más preocupados.

Como había dos grupos de tratamiento, clase pequeña y clase normal con asistente, el impacto del programa se estima introduciendo dos variables binarias:

donde Yi es el puntaje del estudiante i en el examen estandarizado, ClasePequeñai es una variable binaria igual a 1 si el estudiante está en una clase pequeña y a 0 de lo contrario, Asistentei es una variable binaria igual a 1 si el estudiante está en una clase normal con asistente y a cero si está en una clase de tamaño normal sin asistente, y X_1i a Xki son características para las cuales tenemos información en la base de datos disponible tanto de los estudiantes –sexo, raza, entre otras– como de los profesores –por ejemplo, experiencia laboral–, y del plantel. Los resultados del estimador de diferencias y del estimador de diferencias con regresores adicionales se presentan en la tabla 4.1, en las columnas 1 y 2 respectivamente.

Los resultados sugieren que la reducción del tamaño de la clase mejora el desempeño académico promedio, medido por medio del examen estandarizado: el efecto de pertenecer a una clase pequeña es un aumento de 13.9 puntos del examen. Añadir un asistente del profesor en una clase de tamaño normal no tiene un efecto significativo sobre la variable de resultado. Note que los efectos calculados con el estimador de diferencias y el estimador de diferencias con regresores adicionales son bastante similares. Esto nos tranquiliza, pues sugiere que la asignación a una clase pequeña no depende de variables que observamos, y entonces es razonable pensar que tampoco depende de variables para las cuales no tenemos información. Además, la eficiencia de la regresión aumenta: no sólo aumenta el R² sino que también disminuyen los errores estándar.

Una manera de interpretar si los efectos estimados de pertenecer a una clase pequeña son grandes o pequeños consiste en medirlos como desviaciones estándar del promedio del examen. El efecto de pertenecer a una clase pequeña es 0.19 desviaciones estándar del examen. Esto implica que disminuir en una unidad la relación estudiantes-profesor genera un cambio de casi un quinto de desviación estándar en el puntaje del examen. Así, los efectos de pertenecer a una clase pequeña son considerables.

TABLA 4.1 Estimador de diferencias con regresores adicionales para kínder

Nota: La variable dependiente es el puntaje combinado de matemáticas y lectura del examen estandarizado. Los errores estándar se reportan en paréntesis.

*** Significativo al 1%.

Fuente: Tabla 13.2 de Stock y Watson (2006), p. 489.

Ejemplo 2: Angrist et ál. (2002)

El Programa de Ampliación de Cobertura para la Educación Secundaria (PACES) fue implementado en 1991 en Colombia. Dada la limitada capacidad de la oferta pública en educación secundaria, se asignaron bonos financiados por el Gobierno a más de 125,000 estudiantes de colegios de primaria públicos de estratos 1 y 2, para que pagaran sus matrículas y pudieran asistir a colegios de secundaria privados. El valor de los bonos cubría en promedio un poco más de la mitad del valor de la matrícula; éstos se renovaban de un año a otro, siempre y cuando los estudiantes mantuvieran un desempeño académico satisfactorio. Como la demanda excedía la oferta, la asignación de bonos se hizo de manera aleatoria. El artículo siguió a tres cohortes de estudiantes en Bogotá y una en Jamundí (departamento de Valle del Cauca), donde la asignación fue completamente aleatoria: el grupo de tratamiento son aquellos que salieron favorecidos en la lotería, y el de control, aquellos que no lo fueron.

Las estadísticas descriptivas sugieren que no hay una correlación entre haber sido favorecido o no en la lotería y las características individuales, lo cual indica que la aleatorización del tratamiento se hizo de manera apropiada. El impacto del programa se calcula con base en la siguiente ecuación:

Note que en este caso, en vez de constante, βc mide un efecto de cohorte (una cohorte está definida como la combinación de ciudad y año). Yic es la variable de interés para el niño i que pertenece a la cohorte c; X_1i a Xki son características individuales, que incluyen edad, sexo, si la entrevista fue realizada por teléfono o en persona, entre otras. Di es el indicador de tratamiento (equivalente a una variable binaria que indica si el niño ganó la lotería o no) y, por tanto, β₁ es el parámetro de interés, pues mide el efecto del programa.

TABLA 4.2. Estimador de diferencias con regresores adicionales

Nota: Los errores estándar se reportan en paréntesis.

*** Significativo al 1%. ** Significativo al 5%.

Fuente: Tabla 3 de Angrist et ál. (2002), p. 1542.

Los resultados sugieren que después de tres años no había diferencias significativas en el porcentaje de niños matriculados entre los grupos de tratamiento y control, como se ve en la primera columna de la tabla 4.2. Sin embargo, la probabilidad de asistir a un colegio privado (en comparación con uno público) era 15 puntos porcentuales más alta para los favorecidos por la lotería. Los favorecidos por la lotería también habían completado 0.8 años más de educación. Se administraron exámenes estandarizados a los participantes en el estudio para determinar si el desempeño académico era mejor para los beneficiarios de la lotería. En promedio, el grupo de tratamiento sacó en el examen alrededor de dos desviaciones estándar más que el grupo de control, pero esta diferencia es sólo marginalmente significativa. Además, en este experimento hubo desviaciones del diseño experimental que pueden introducir sesgos. En particular, hubo “contaminación” de los grupos de tratamiento y control. Sólo 90% de los que ganaron la lotería usaron los bonos, y 24% de los que no salieron favorecidos por la lotería recibieron becas de otras fuentes.

Ejemplo 3: Dinkelman y Martínez (2011)

Chile ha logrado aumentar masivamente la cobertura en educación secundaria, pero sigue habiendo mucha desigualdad en la entrada a la educación terciaria. Es posible que los estudiantes de bajos recursos, que no saben cómo acceder al financiamiento para la educación superior, inviertan en su educación menos de la cantidad óptima. Los autores aprovechan la expansión de un programa de financiación para la educación terciaria para realizar un experimento social controlado. Para mejorar la comprensión de los jóvenes de bajos recursos acerca de las posibilidades de financiamiento para la educación superior, se distribuyó de manera aleatoria entre más de 6,000 estudiantes de octavo grado en 226 colegios urbanos y algunos de sus padres un DVD corto que contiene información acerca de las oportunidades de financiación para la educación terciaria. Había dos grupos de tratamiento y un grupo de control puro en el experimento. En el primero todos los estudiantes veían el DVD juntos en clase. A este tratamiento, denominado de estudiante, se asignaron 54 colegios. En el segundo tratamiento se utilizó la manera usual en que los colegios chilenos envían información a los padres: se les entregaba un DVD a los estudiantes para que lo llevaran a casa para verlo con sus padres. Este tratamiento, denominado familiar, tenía restricción presupuestal y no se podía controlar por si los padres veían el contenido DVD en familia o no. En este tratamiento había 56 colegios. Se asignaron 114 colegios al grupo de control.

En el DVD adultos jóvenes provenientes de familias de bajos recursos hablan de sus experiencias en la universidad o en las instituciones de educación vocacional y mencionan cómo el desempeño escolar afecta la elegibilidad para la nueva fuente de ayuda financiera. La información contenida en el DVD, Abre la caja, ayuda a los estudiantes a entender la función de producción de la educación superior, es decir, muestra a los estudiantes cómo el esfuerzo y las buenas notas abren oportunidades más adelante en la vida. Las historias de vida presentadas informaban a los estudiantes acerca de las becas y créditos existentes para estudios postsecundarios, y mencionaban detalles específicos acerca de las notas necesarias para ser elegible. El experimento estudia si la adquisición de nueva información acerca de la ayuda financiera para la educación postsecundaria afecta el esfuerzo de los niños en octavo grado y las elecciones de colegio para secundaria.³¹

Hubo dos levantamientos de información: una línea de base antes de la intervención y un seguimiento. Además, estos datos se emparejaron con los datos administrativos del Ministerio de Educación para determinar el impacto de la intervención sobre la elección de colegio para la educación secundaria, las notas al final de octavo grado y el ausentismo escolar. Antes de la intervención los grupos eran, en promedio, idénticos.

La tabla 4.3 resume algunos de los resultados de la evaluación de los dos tratamientos juntos, es decir, se compara el efecto de haber sido parte de alguno de los tratamientos con el grupo de control. Como la comparación entre los dos tratamientos requiere el uso de variables instrumentales, este aspecto de la evaluación se discutirá en los ejemplos del capítulo 7. En la segunda columna se presentan los resultados de la intención de tratamiento de Abre la caja sobre el número de respuestas correctas en cinco preguntas acerca de ayuda financiera cinco meses después de haber recibido la intervención. Los estudiantes tratados sacan 0.068 respuestas correctas más que los no tratados. Una manera de interpretar si estos efectos son grandes o pequeños consiste en medirlos como porcentaje del promedio del grupo de control en el momento del seguimiento. Esta última información se incorpora en la última fila de la tabla para facilitar la interpretación de los resultados. El aumento de 0.068 puntos en el conocimiento acerca de la ayuda financiera equivale a un 5.5% del promedio de respuestas correctas del grupo de control, es decir, retienen más la información.

En las columnas tercera y cuarta se presentan los efectos de la intervención sobre la asistencia a colegios humanísticos o científicos, que preparan a los estudiantes para la educación terciaria. Se muestran por separado los resultados para los niños que en octavo grado asistían a colegios que tenían de noveno a duodécimo. Los resultados sugieren que Abre la caja no tuvo efectos sobre los estudiantes que no tenían que tomar una decisión, pero sí afectó la proporción de estudiantes matriculados en un colegio orientado a los estudios universitarios para aquellos que debían cambiar de colegio en noveno grado: los tratados tienen una matrícula 6.3 puntos porcentuales más alta, que es cerca de un 11% del promedio del grupo de control. El tamaño de este efecto es sustancial. También afectó el ausentismo escolar en el corto plazo. La quinta columna muestra que la exposición al tratamiento disminuyó el ausentismo escolar de corto plazo (medido con la pregunta: ¿faltó al colegio en el mes de referencia?) en 8.8 puntos porcentuales, que equivale a una disminución del 14% con respecto al grupo de control. A pesar de los aumentos en la fracción de estudiantes que asisten a un colegio orientado hacia los estudios universitarios y de la caída en el ausentismo, no se observan efectos sobre el desempeño escolar, medido mediante las notas de los alumnos al finalizar octavo grado.

TABLA 4.3. Efectos de Abre la caja sobre el conocimiento acerca de la ayuda financiera y el desempeño académico

*** Significativo al 1%, ** Significativo al 5%, * Significativo al 10%

Fuente: Extractos de Tablas 3A y 5 Dinkelman y Martínez (2011).

Bibliografía

Angrist, J., Bettinger, E., Bloom, E., King, E. y M. Kremer, 2002, “Vouchers for Private Schooling in Colombia: Evidence from a Randomized Natural Experiment”, American Economic Review, vol. 92 (5), 1535-1558, diciembre.

Bloom, H. S., 1995, “Minimum Detectable Effects: A Simple Way to Report the Statistical Power of Experimental Designs”, Evaluation Review, 19, 547-56.

Blundell, R. y M. Costa Dias, 2009, “Alternative Approach es to Evaluation in Empirical Microeconomics,” Journal of Human Resources, University of Wisconsin Press, vol. 44(3), 565-640.

Cox, D., y N. Reid, 2000, Theory of the Design of Experiments. London: Chapman and Hall.

Dinkelman, T. y C. Martínez, 2011, “Investing in Schooling in Chile: The Role of Information about Financial Aid for Higher Education”, Mimeo, Universidad Católica de Chile.

Duflo, E., R. Glennerster y M. Kremer, 2006, “Using Randomization in Development Economics Research: A Toolkit”, NBER Technical Working Paper No. 333.

Heckman, J. y J. A. Smith, 1995,“Assessing the Case for Social Experiments”, Journal of Economic Perspectives, 9 (2), 85-110.

Kremer, M., 2003, “Randomized Evaluations of Educational Programs in Developing Countries: Some Lessons”, American Economic Review, 93 (2), 102-106.

Meisel, A. y M. Vega, 2007, “The Biological Standard of Living (and its Convergence) in Colombia, 1870-2003: A Tropical Success Story”, Economics and Human Biology, vol. 5 (1), 100-122.

Miguel, E. y M. Kremer, 2004, “Worms: Identifying Impacts on Education and Health in the Presence of Treatment Externalities”, Econometrica, 72 (1), 159-217.

Moffitt, R., 2003, “The Role of Randomized Field Trials in Social Science Research: A Perspective from Evaluations of Reforms of Social Welfare Programs”, manuscrito, Institute for Research on Poverty.

Stock, J. y M. Watson, 2006, Introduction to Econometrics. Segunda edición. Boston, MA.: Addison-Wesley, Series in Economics.

21 Se recomienda al lector interesado el artículo Duflo, Glennerster y Kremer (2006), pues contiene muchos aspectos adicionales relevantes para el diseño de experimentos sociales.

22 La eficiencia es un concepto asociado a la varianza del estimador. Mayor eficiencia significa menor varianza o dispersión del estimador con respecto a un estimador de la misma clase (ejemplo: lineal e insesgado). Esto implica que el efecto del programa es estimado con mayor precisión (exactitud). Evidentemente, es una propiedad deseada que el estimador del programa sea lo más preciso posible.

23 Note que si sólo se dispone de dos observaciones por individuo, la ecuación (4.6) no se puede implementar porque ti y Ti coincidirían exactamente, es decir, serían perfectamente colineales.

24 En este caso, el tratamiento asignado puede servir como instrumento para el tratamiento recibido (ver capítulo 7).

25 También se puede estimar un modelo no lineal tipo logit o probit. Ver anexo 4.

26 Se evalúa si al adicionar las variables mejora significativamente el poder explicativo del modelo, y, por tanto, la hipótesis nula es que el tratamiento fue recibido de manera aleatoria.

27 Para aliviar este problema se puede aleatorizar entre los individuos que han manifestado su interés en participar, pero normalmente esto es más costoso desde un punto de vista político.

28 En las aplicaciones empíricas usaremos la siguiente convención: en el texto se reportan los efectos a cuatro decimales, pero todos los cálculos de los impactos se realizan con los decimales completos.

29 Por comparación, Meisel y Vega (2007), encuentran que una década de desarrollo económico se traduce en un aumento de casi un centímetro en el promedio de estatura de la población colombiana.

30 El poder de un diseño experimental es la probabilidad de que podamos rechazar la hipótesis nula de que no hay efectos estadísticamente significativos, dados el tamaño del efecto y el nivel de significancia. Por ejemplo, suponga que se espera que Canasta tenga un efecto de 1/3 de desviación estándar en la estatura según la edad de los niños beneficiarios. El poder del experimento es la probabilidad con la que podemos identificar efectos de este tamaño, a un nivel de significancia de 99% de confiabilidad, por ejemplo. Entre otros factores, el tamaño de la muestra afecta el poder de un experimento.

31 Los estudiantes en Chile deben completar ocho años de educación primaria y cuatro años de secundaria. Muchos colegios ofrecen sólo educación primaria y así al final del grado octavo los estudiantes deben cambiar de colegio y decidir si inscribirse en un colegio tradicional o en uno de educación vocacional.