Читать книгу: «Guía práctica para la evaluación de impacto», страница 4

Bibliografía

Blundell, R. y M. Costa Dias, 2009, “Alternative Approaches to Evaluation in Empirical Microeconomics,” Journal of Human Resources, University of Wisconsin Press, vol. 44(3), 565-640.

Heckman, J., R. LaLonde y J. Smith, 1999, “The Economics and Econometrics of Active Labor Market Programs,” en O. Ashenfelter y D. Card, capítulo 31, Handbook of Labor Economics, Vol. IV, 1865-2073.

Smith, J., 2000, “A Critical survey of Empirical Methods for Evaluating Active Labor Market Policies”, Schweizerische Zeitschrift fr Volkswirthschaft und Statistik, 136(6), 1-22.

Stock, J. y M. Watson, 2006, Introduction to Econometrics. Segunda edición. Boston, MA.: Addison-Wesley, Series in Economics.

18 Esto en contraste con la participación asignada de manera aleatoria, como se estudiará en el capítulo 4 sobre experimentos aleatorios controlados.

19 Esto se debe a que para demostrar que el estimador de MCO es insesgado se requiere que se cumpla el supuesto E(ui|Di) = 0. Ver el anexo 2.

20 Es posible también que el investigador omita del análisis una variable que sí está registrada en la base de datos por descuido o desconocimiento.

PARTE II

EXPERIMENTOS SOCIALES CONTROLADOS Y EXPERIMENTOS NATURALES

4

EXPERIMENTOS ALEATORIOS (SOCIALES)

El cálculo del impacto del programa sobre las variables de interés con frecuencia se complica por el sesgo de selección. Esto se debe a que aquellos que deciden participar pueden diferir de los que no participan en sus características observables (aquellas sobre las cuales se tiene información) o no observables (para las cuales no existen mediciones en la base de datos disponible). Esto implica que se viola el supuesto de independencia condicional, E[ui|Di] = 0, en el modelo de regresión lineal (2.11) presentado en el capítulo 2, y el estimador de MCO es sesgado.

Una manera de asegurar que E[Yi(0)|Di = 0] = E[Yi(0)|Di = 1] y, por tanto, evitar el sesgo de selección consiste en asignar la participación en el programa de manera aleatoria. A esto se le llama experimento social controlado. En un experimento ideal se toma a dos individuos idénticos y se trata sólo a uno de ellos. Dado que es imposible tener a dos individuos idénticos, se selecciona aleatoriamente qué individuos de un grupo de estudio pertenecen al grupo de tratamiento –que será beneficiario del programa–, y quiénes al grupo de control –que no hará parte del programa–. Por ejemplo, se asigna a través de una lotería quiénes serán beneficiarios del programa y quiénes no. Note que en este caso el participante no tomó la decisión de participar sino que participa porque se ganó una lotería. Así, los experimentos generan directamente el contrafactual deseado, E[Yi(0)|Di = 0] = E[Yi(0)|Di = 1], pues obligan a potenciales participantes a no participar en el programa, sin darles la posibilidad de elegir.

La decisión de participar en un programa depende de las características de los individuos. Suponga que los jóvenes más educados y motivados deciden participar en programas de capacitación laboral. Así, cuando los individuos pueden elegir si participan o no en un programa, el grupo de participantes será distinto al de no participantes: los jóvenes beneficiarios del programa de capacitación serán en promedio más educados y estarán más motivados que los no participantes. En un experimento donde se asigna de manera aleatoria a los potenciales beneficiarios a los grupos de tratamiento y control, y no se les permite elegir si participan o no, se asegura que los individuos de los grupos de tratamiento y control tengan características idénticas.

Aparte del error de muestreo, los grupos de tratamiento y control deben ser idénticos ex ante, es decir, no pueden diferir de manera sistemática en variables observables ni de las cuales no tenemos información. El efecto causal del programa es entonces la diferencia en las medias de las variables de interés entre los grupos de tratamiento y control. Por ejemplo, en este caso las madres que participan en Canasta no son más dedicadas o recursivas que las que no lo hacen, y por tanto las diferencias en la estatura de los niños se debe únicamente al programa.

Los experimentos se usan con frecuencia en otras ciencias, por ejemplo, para determinar la efectividad de una nueva medicina. Los individuos, sin su conocimiento, son asignados aleatoriamente a un grupo de tratamiento–que recibe la medicina– y a un grupo de control –que recibe un placebo o la mejor medicina disponible en el mercado–. La comercialización de la droga se aprueba si los resultados del experimento sugieren que es efectiva y segura.

Los resultados de los experimentos, al estar libres de sesgo de selección, son muy deseables para determinar la efectividad de las políticas y programas públicos. Además, pueden usarse como punto de referencia para comparar los efectos causales de otras intervenciones. Por ejemplo, antes de hacer una gran intervención por medio de un programa social, sería deseable estimar el impacto mediante la evaluación de un piloto, con el objeto de saber si funciona y si es “rentable” en términos sociales. Si, en cambio, hay un programa que lleva funcionando un tiempo y no ha sido objeto de evaluación, se puede medir el impacto para hacer ajustes a la política. Por ejemplo, para decidir si se continúa con el programa, se reforma o se acaba completamente.

Hay variantes del diseño básico del experimento social que hacen que su adopción sea más fácil. Por un lado, como algunas intervenciones son muy populares, la demanda excede los cupos disponibles. Así, se podría pensar en asignar los cupos aleatoriamente entre los solicitantes. La asignación aleatoria entre tratamiento y control podría hacerse a nivel individual (por ejemplo, a nivel de hogares), o a nivel de conglomerado (por ejemplo, comunidades), como se discute en la siguiente sección.

Cuando no es posible asignar el tratamiento de manera aleatoria por razones éticas o prácticas, se puede incentivar a un subgrupo de la población elegido de manera aleatoria a participar en el programa. Por ejemplo, en nuestro programa Canasta esto implicaría que a un grupo de familias elegibles, seleccionadas aleatoriamente, se les envía a la casa un paquete con información acerca de las fechas y lugares de inscripción, y con los tiquetes de bus para ir y volver, de tal manera que se disminuyan los costos de inscribirse.²¹

Aunque se inscribirán tanto familias que recibieron el incentivo a participar como aquellas que no, es de esperarse que la proporción de las que participan y recibieron el incentivo sea mayor que las que no recibieron el incentivo. Así, el haber recibido el incentivo es una variable instrumental natural con la cual se puede evaluar el tratamiento. En este caso, las técnicas necesarias para estimar el impacto del programa son un poco distintas (ver capítulo 7).

4.1. Intervenciones a nivel individual vs. conglomerados

Suponga que el programa Canasta fuera a implementarse en el país como un experimento social. En este caso, se puede elegir uno de dos diseños básicos: aleatorización a nivel individual o a nivel de conglomerados (clusters). Si se aleatoriza a nivel individual, se conforma un listado de los hogares elegibles. De la lista de elegibles, se escogen aleatoriamente unos hogares que harán parte del programa y el resto de los hogares no serán beneficiarios del programa por lo cual constituirán el grupo de control.

En el caso de asignación aleatoria a nivel de conglomerado, se asigna de manera aleatoria la participación en el programa, pero no a nivel de individuos, sino de barrios o comunidades. Se pueden aprovechar las restricciones logísticas o presupuestales típicas en los gobiernos, o las restricciones en la capacidad operativa del programa para aleatorizar el orden de entrada de los diferentes municipios al programa. En una asignación a nivel de conglomerados se pospone la entrada de algunos grupos, de tal manera que actúen como grupo de control. En el componente rural del programa mexicano de subsidios condicionados, Oportunidades (que anteriormente se llamaba Progresa), se llevó a cabo una aleatorización en comunidades similar a la descrita anteriormente. En el inicio del programa, se tomó una muestra representativa de 506 municipios. El programa empezó a operar en 1998 en 320 de estos municipios, asignados de manera aleatoria al grupo de tratamiento. En los 186 municipios restantes, grupo de control, el programa empezó a funcionar a finales de 1999.

En muchas intervenciones es posible elegir el nivel al que se hace la aleatorización. No existe una clara ventaja de alguno de los diseños básicos sobre el otro; a veces será más apropiado hacer la aleatorización a nivel individual y a veces a nivel de conglomerado. La deseabilidad de uno u otro depende por ejemplo del tipo de preguntas de interés en la evaluación, consideraciones políticas, restricciones logísticas, y existencia de externalidades, entre otras.

Si por su naturaleza las intervenciones pretenden afectar a una comunidad completa, es claro que la aleatorización debe hacerse a este nivel. Por ejemplo, si se quiere construir canchas deportivas para mejorar la recreación de los jóvenes, éstas beneficiarán a todos los jóvenes en la comunidad. Por tanto, para evaluar su impacto se debe realizar la aleatorización entre comunidades y no a nivel individual.

La aleatorización por congomerados es una buena alternativa cuando es difícil negar los beneficios de una intervención a una fracción de los miembros de una comunidad, pues pueden ser tan pobres y vulnerables como los beneficiarios. Por ejemplo, suponga que nuestro programa Canasta estuviera conformado por dos componentes: un mercado mensual y materiales didácticos, por ejemplo, libros infantiles. Si hubiera un grupo de control “puro”, es decir, que no recibiera beneficio alguno, es posible que se negaran a participar en el experimento y no accedieran a la recolección de información. En este caso se podría asignar de manera aleatoria el tipo de intervención, y así comparar la efectividad relativa de cada una. Es decir, se asignaría a parte de la comunidad el mercado, a parte de la comunidad los materiales didácticos y a parte de la comunidad ambos componentes, todo de manera aleatoria. O de manera alternativa, se podría asignar el programa por municipios para evitar los problemas éticos y políticos dentro de municipio.

La intervención a nivel de conglomerados es también preferible en el caso en que (parte de) los beneficios se transfieren de los tratados a los controles simplemente porque conviven en la misma comunidad; spillovers en inglés. Imagine que en el programa Canasta además del mercado se ofrecieran sesiones para las madres sobre el manejo adecuado de los alimentos, para disminuir la prevalencia de diarrea entre los niños pequeños. Es posible que las mamás de los niños beneficiarios hablen mucho con sus vecinas y amigas que no son beneficiarias, y les transmitan el conocimiento recibido en las charlas. Esto implica que la prevalencia de diarrea en los controles disminuiría de manera similar, y se podría concluir erróneamente que la intervención no tuvo efectos sobre la prevalencia de diarrea.

Para un nivel de impactos y de confianza determinados, el tamaño de muestra en el caso en que la unidad de observación es el conglomerado debe ser mayor que en el caso en que la unidad de observación es el individuo, para poder estimar efectos significativos de la intervención. Además, el tamaño de muestra necesario crece a medida que aumenta el tamaño de los conglomerados (es decir, a medida que aumenta el número de observaciones individuales por conglomerado). Por tanto, el nivel de aleatorización puede tener efectos importantes en el presupuesto del experimento ya que con frecuencia el levantamiento de información es el rubro más importante en los costos de las evaluaciones.

4.2. El modelo de diferencias

Lo más relevante de una aleatorización exitosa es el tipo de datos que genera, más que las técnicas econométricas utilizadas. Esto se debe a que el tratamiento está distribuido de manera independiente de otros determinantes de los impactos. Un buen experimento social asegura que las condiciones iniciales, tanto en la variable de resultado como en otras características, sean idénticas entre los grupos de tratamiento y control. Por tanto, la variable de resultado en ausencia del programa debería ser idéntica para los tratados (Di = 1) y para el grupo de control (Di = 0), es decir, se cumple el supuesto de independencia condicional, E[ui|Di] = 0, y podemos usar el promedio de la variable de resultado para el grupo de control E[Yi(0)|Di = 0] como aproximación del contrafactual, E[Yi(0)|Di = 1].

Si Di es binario, dadas las características de los datos generados por una aleatorización, las técnicas necesarias para establecer el efecto del tratamiento son extremadamente sencillas: se puede medir como la diferencia de medias en la variable de interés entre los grupos de tratamiento y control después de la intervención. Esta diferencia de medias se puede implementar de manera sencilla, con base en el modelo de regresión lineal. Como los datos generados en una aleatorización exitosa no sufren de contaminación por sesgo de selección, la asignación aleatoria del tratamiento implica que el supuesto de independencia condicional, E[ui|Di] = 0, se cumple automáticamente. El modelo que permite la comparación es:

donde Yi es la variable de resultado, Di es el indicador de tratamiento y ui es el error. El estimador de MCO en (4.1), , se llama estimador de diferencias, dado que es igual a la diferencia en medias entre los grupos de tratamiento y control. Dado que se cumple el supuesto de independencia condicional, E(ui|Di) = 0, el estimador de diferencias es insesgado y consistente. Así, , donde Ȳ|D es el promedio muestral de cada grupo. A medida que el tamaño de la muestra aumenta, esta diferencia converge a . Cuando un experimento social se diseña e implementa exitosamente, genera estimaciones insesgadas del efecto del programa para la población objetivo. Es decir, los resultados tienen validez interna. Sin embargo, el estimador de diferencias no necesariamente es eficiente.²²

Ejemplo 4.1:

Suponga que la participación en Canasta, cuyo objetivo es mejorar el estado nutricional de los niños, fue asignada de manera aleatoria a nivel individual. La variable de resultado relevante es la estatura según la edad de los niños participantes. En particular, asumimos que se tiene a disposición el puntaje Z de la estatura según la edad, es decir, el número de desviaciones estándar que el niño está por encima o por debajo de la media de su grupo relevante.

La siguiente tabla muestra datos relacionados con la evaluación de Canasta. La primera columna presenta el porcentaje de niños en buen estado de nutrición, de familias que participan en el programa E[Yi(1)|Di = 1], dado el nivel educativo de la madre (según la fila). La segunda columna contiene los mismos datos del estado nutricional de los niños de un grupo de control elegido de manera experimental E[Yi(0)|Di = 0] = E[Yi(0)|Di = 1]. Recuerde que en un experimento aleatorio el grupo de control es exactamente el contrafactual, dado que se elige de manera aleatoria. La tercera columna presenta la distribución del nivel educativo de las madres de los grupos de tratamiento y control, que es idéntica. Por ejemplo, el 20% de las madres (tanto de tratamiento como de control) tienen bajo nivel educativo.

Con los datos de la tabla podemos calcular el ATT, es decir, el efecto del programa sobre los participantes por el método de diferencias, dado que el grupo de control fue elegido de manera aleatoria:

Canasta aumentó el puntaje Z de los niños beneficiarios en 0.16 desviaciones estándar. La idea detrás de un experimento aleatorio es que al asignar aleatoriamente las familias a los grupos de tratamiento y control, se garantiza que E[Yi(0)|Di = 1] = E[Yi(0)|Di = 0]. Si la aleatorización fue exitosa, entre los individuos de tratamiento y control sólo se deberían observar diferencias en variables de resultado; no debería haber diferencias en ninguna de las variables que no se ven afectadas por el programa.

4.3. El estimador de diferencias con regresores adicionales

Dependiendo de la disponibilidad de datos, se puede mejorar la eficiencia del estimador de diferencias, manteniendo las otras características deseables como el insesgamiento y la consistencia. Por ejemplo, incluso si la aleatorización fue exitosa, otras variables pueden contribuir a determinar la variable de resultado además del tratamiento. La información contenida en estas variables, al no controlar por ellas de manera directa, está implícitamente contenida en el término de error. Si la característica del individuo que afecta la variable de resultado está contenida en la base de datos disponible, entonces podemos incluirla explícitamente en la regresión como una variable explicativa adicional en un modelo de regresión multivariado:

donde X_1i a XKi son características individuales que preceden al tratamiento y que no se ven afectadas por éste. En este caso, es el estimador de diferencias con regresores adicionales; es insesgado, consistente y más eficiente que el estimador de diferencias, pues la inclusión de los regresores adicionales mejora la precisión con que se estiman los efectos siempre que γk 0,k = 1, ... , K.

4.4. El estimador de diferencias con efectos heterogéneos

Podemos ajustar la ecuación (4.2) para estimar los efectos heterogéneos de la intervención entre subgrupos de la población estudiada. Es decir, es posible que el efecto del programa difiera de un individuo a otro, o de un grupo de individuos a otro, dependiendo de las características individuales. Suponga que la variable de resultados depende de una variable para la cual tenemos información, Xi, y que el efecto del programa varía dependiendo de la misma variable observable. Por ejemplo, para individuos con bajo Xi se espera que el efecto del programa sea mayor que para individuos con alto Xi .

Este efecto diferencial se calcula de forma general obteniendo el estimador de diferencias para cada posible valor de Xi. Sin embargo, esto es difícil en la práctica. Un enfoque pragmático consiste en estimar la siguiente regresión incluyendo un término de interacción entre el indicador de tratamiento, Di , y la variable Xi .

Por ejemplo, suponga que Xi = {0, 1} y que para los individuos con Xi = 0 el efecto del programa es diferente que para los individuos con Xi = 1. Tomando expectativa condicional de la ecuación (4.3), tenemos que,

por el supuesto de independencia condicional según el cual E(ui|Di) = 0.

Entonces, el efecto del programa para los individuos con Xi = 1 es:

mientras que para los individuos con Xi = 0 es:

Por tanto, el efecto diferencial del programa sobre los individuos con Xi = 1 está dado por β3; β3 > 0 mide qué tanto mejor es el programa sobre los Xi = 1 con respecto a los Xi = 0.

4.5. El estimador de diferencias en el tiempo

Hay otro estimador de diferencias que calcula el impacto de estar expuesto a un programa como la diferencia en la variable de interés antes y después de la implementación del programa para el grupo de tratamiento únicamente. Lo que queremos determinar es cuánto del cambio en la variable de resultado entre dos períodos de tiempo se puede atribuir al programa.

Suponga que observamos a los individuos tratados por dos períodos (uno antes y uno después de la aplicación del tratamiento) y definimos el indicador Ti como una variable binaria igual a 0 en el primer período que antecede a la aplicación del tratamiento (pretratamiento) e igual a 1 en el período posterior a la aplicación del tratamiento (postratamiento). El estimador de diferencias en el tiempo estaría dado por:

donde Ȳ₁ es el promedio de la variable de resultado en el grupo de los tratados en el período posterior a la intervención (Ti = 1) y Ȳ₀ es el promedio de la variable de resultado en el grupo de los tratados en el período anterior a la intervención (Ti = 0). Este estimador se puede obtener por el método de regresión lineal al estimar

En la regresión (4.5) se incluye solamente la muestra de individuos tratados. En este caso, correspondería al estimador de diferencias en el tiempo.

Note, sin embargo, que algunas variables de resultado pueden tener una tendencia natural en el tiempo. Por ejemplo, los niños pequeños naturalmente ganan estatura debido al crecimiento normal entre una medición y otra. Por tanto, si la variable de resultado exhibe una tendencia natural en el tiempo, entonces confundirá esta tendencia con el efecto del programa. En suma, sólo es un estimador insesgado del efecto del programa si no existe una tendencia temporal en la variable de resultado. Éste, sin duda, es un supuesto bastante fuerte.

Si se dispone de más de dos observaciones para cada individuo, entonces es posible controlar explícitamente por esta tendencia temporal natural para estimar el efecto adicional del programa sobre la variable de interés, por encima del crecimiento normal.

Formalmente, se define ti como una tendencia de tiempo que afecta la variable de resultado: t es igual a 0 en el primer período, 1 en el segundo período, 2 en el tercer período, y así sucesivamente. Esta manera de modelar la tendencia temporal asume que los aumentos en la variable de resultado son constantes para cada período de tiempo. Es decir, por ejemplo, que el crecimiento en estatura de los niños es igual en el primer año que entre el cuarto y quinto año. Éste también es un supuesto fuerte.

Se estima el efecto de diferencias en el tiempo con base en la siguiente regresión lineal:

De nuevo, la estimación se realiza utilizando solamente la muestra de individuos tratados. Al incluir la tendencia de tiempo, controlamos por el efecto natural del tiempo sobre la variable de interés.²³ Entonces mide la diferencia entre antes y después en la variable de interés para el grupo de tratamiento, neta de la diferencia que se iba a dar en la variable de resultado debido al paso del tiempo. A este estimador se le conoce como estimador pre-post. Este estimador es particularmente útil para evaluar programas universales, dado que en estos casos no es posible utilizar un grupo de control como comparación. También se utiliza con frecuencia para evaluar programas en curso, pues no es necesario contar con un grupo de control.

Ejemplo 4.2:

Suponga que nos interesa medir el impacto de Canasta sobre la estatura por edad de los niños. Si la participación en el programa se asigna de manera aleatoria, entonces las familias de los grupos de tratamiento y control son idénticas tanto en variables observadas como no observadas. Así, el impacto del programa en la estatura de los niños se puede medir como la diferencia entre el promedio de estatura para el grupo de tratamiento y el promedio para el grupo de control, para cada rango de edad. Esto se puede calcular con una regresión lineal de la estatura sobre la variable binaria de participación Di estimada por MCO:

es el estimador de diferencias y mide el efecto de Canasta sobre la estatura de los niños beneficiarios. Como el tratamiento se asigna aleatoriamente, es insesgado.

Imagine ahora que la población de interés está compuesta por dos razas: altos y bajos. La variable raza, que afecta la estatura de los niños, claramente no depende de si la familia es beneficiaria de Canasta. El estimador de diferencias sin controles adicionales, al no controlar por la raza, sigue siendo insesgado pero es ineficiente. Esto se debe a que esta variable está implícitamente en el término de error de la ecuación. Si se tiene información de la raza de la familia, podemos modificar el modelo anterior para incluirla explícitamente:

donde Xi es 1 si el individuo es alto y 0 si es bajo. es el estimador de diferencias con regresores adicionales.

Si la mejora en nutrición asociada al programa es más eficiente en los altos que en los bajos, por sus predisposiciones genéticas, el impacto del programa dependerá de la variable raza. Estos efectos diferenciales o heterogéneos se calculan así:

Dentro de los tratados, es el impacto adicional en estatura para los altos con respecto a los bajos.

Finalmente, podemos hacer una estimación del impacto del programa del tipo antes-después, usando únicamente el grupo de tratamiento. Así, usando sólo a los individuos tratados, estimamos la ecuación

donde Ti es igual a 0 antes de iniciar el programa e igual a 1 después de la intervención. ti es una tendencia de tiempo que captura el hecho de que los niños entre 0 y 5 años están en proceso de crecimiento y por tanto su estatura aumenta de un año a otro, independientemente del programa. Así, el estimador pre-post, , mide en el grupo de control el aumento adicional (por encima del crecimiento normal) en la estatura de los pequeños. Este modelo sólo se puede estimar si hay más de dos períodos (uno antes y uno después) porque, de lo contrario, Ti y ti coinciden perfectamente y y no están identificados separadamente.