Читать книгу: «Guía práctica para la evaluación de impacto», страница 3
Bajo el supuesto (2.12), el estimador de β1 por el método de mínimos cuadrados ordinarios (MCO)14 es consistente e insesgado.15 Lo primero implica que el estimador de β1 por MCO, 
, converge en probabilidad a β1, es decir, el límite del estimador a medida que aumenta el tamaño de muestra es exactamente el parámetro que se va a estimar. Lo segundo significa que el valor esperado del estimador de MCO es igual al valor del parámetro, es decir, , independientemente del tamaño de la muestra.
El parámetro β1 en la ecuación (2.11) se interpreta como el efecto del programa o la diferencia de medias de la variable de resultado entre el grupo de tratamiento y el grupo de control. Note que tomando expectativa condicional en la ecuación (2.11) se obtiene:
porque 
Entonces
El estimador de MCO de β1 estaría dado por:16
que coincide precisamente con la definición del 
ATT provisto en la ecuación (2.10).
Ejemplo 2.1:
Suponga que debemos evaluar el impacto del programa Canasta, que es un programa de nutrición dirigido a niños entre los 0 y 6 años de edad. El programa consiste en la provisión de un mercado por valor de $X al mes a las madres participantes de niños en el rango de edad elegible. La composición del mercado es revisada por nutricionistas expertos para asegurarse de que la ingesta diaria por nutriente sea la adecuada, dada la edad de los niños beneficiarios. El programa está dirigido a familias de Sisbén17 1 y 2.
El indicador de participación en el programa se define como:
Los niños de familias de Sisbén 1 y 2 entre los 0 y 6 años de edad que participan en el programa constituyen el grupo de tratamiento, mientras que los niños de familias de Sisbén 1 y 2 entre los 0 y 6 años de edad que no participan en el programa son el grupo de control. Como variable de resultado, Yi, se identifica el puntaje Z (Z-score) de estatura según la edad. El puntaje Z corresponde a la estatura del niño estandarizada de acuerdo con las medias y varianzas poblacionales, según grupos de edad y sexo. El puntaje Z de estatura según la edad resulta de restarle a la estatura del niño la media poblacional de estatura para su grupo de edad y sexo, y dividir esta diferencia por la desviación estándar de la estatura de su grupo de edad y sexo en la población. El resultado indica el número de desviaciones estándar que el niño está por encima (o por debajo) de su media poblacional. Un puntaje Z de cero indica que el niño se ubica exactamente en la media de su grupo.
E[Yi(1)|Di = 1] es en este caso el promedio del puntaje Z de estatura en el grupo de tratamiento en presencia del programa. E[Yi(0)|Di = 1] es el promedio del puntaje Z de estatura en el grupo de tratamiento en ausencia del programa. Es decir, cuál habría sido el promedio del puntaje Z de estatura según la edad en el escenario hipotético de que el programa no hubiera existido. Este contrafactual no se observa, y esto constituye la principal dificultad de la evaluación de impacto.
E[Yi(0)|Di = 0] es el promedio del puntaje Z de estatura en el grupo de niños no participantes (o grupo de control).
Suponga que la variable de resultado en que estamos interesados es la incidencia de desnutrición crónica, es decir, la probabilidad de que la estatura del niño esté dos desviaciones estándar por debajo de lo que debería estar, dados su edad y su sexo (es decir, que el puntaje Z de estatura según la edad sea menor que –2). En este caso E[Yi(1)|Di = 1] sería el porcentaje de niños participantes con desnutrición crónica en presencia del programa.
Si sucediera que los promedios del puntaje Z de estatura en el grupo de tratamiento y en el grupo de control son idénticos en ausencia del programa (es decir, se cumpliera el supuesto (2.8)), entonces el efecto del programa se podría estimar simplemente comparando la media de la variable de resultado en el grupo de tratamiento con la media de la variable de resultado en el grupo de control. Esto se puede implementar con una regresión lineal del puntaje Z de estatura según la edad (Yi) sobre la variable binaria de participación, Di, estimada por MCO:
β1 sería el efecto del programa de nutrición sobre el indicador antropométrico escogido si se cumple el supuesto de independencia condicional (2.12).
En este capítulo hemos asumido que el investigador sabe exactamente cuál es la variable de resultado Y que quiere medir y tiene los datos a disposición. En general, la elección de una variable de resultado Y con base en la cual se determinará la efectividad de un programa no es una pregunta trivial. La elección de Y debe estar guiada principalmente por los objetivos y lineamientos del programa que se evalúa. Por ejemplo, el programa Canasta es un programa cuyo objetivo es mejorar el estado nutricional de los niños beneficiarios, con base en la provisión de un mercado que contiene un porcentaje de los requerimientos nutricionales diarios. Por tanto, es razonable que la variable de resultado seleccionada sea un indicador del estado nutricional de los niños (estatura según la edad, peso según la edad, o estatura según el peso). Existen casos como éste en que la escogencia de la variable de resultado es relativamente obvia, pero otros casos en los que no es elemental.
Por ejemplo, suponga un programa para los adultos mayores de grupos vulnerables (económica y socialmente). El programa consiste en la provisión de una suma de dinero mensual que corresponde a un determinado número de salarios mínimos diarios. En los objetivos y lineamientos se establece que el programa está diseñado para proteger a las personas de la tercera edad contra el riesgo económico de la imposibilidad de generar ingresos, disminuir la vulnerabilidad de los adultos mayores de bajos recursos y propiciar su inserción en la comunidad. En este caso, ¿cuál sería la variable de resultado Y ideal si le pidieran evaluar este programa? No es tan sencillo. En principio, podría ser un indicador de salud y nutrición, puesto que el adulto mayor podría estar mejorando su estado nutricional como resultado del aumento en el ingreso del hogar asociado a la participación en el programa. Sin embargo, el adulto mayor podría estar gastando el dinero en cosas diferentes a alimentos, medicamentos u otros elementos asociados con un mejor estado de salud o nutrición, por lo cual la evaluación podría generar una conclusión muy negativa acerca del programa.
Por otra parte, la variable de resultado Y podría ser más bien una medición del estado de ánimo del beneficiario. Si los adultos mayores se sienten olvidados, viven solos en su gran mayoría, tienen estado de salud deficiente, etc., entonces el hecho de que les ofrezcan el programa les puede dar una esperanza, y el impacto podría verse más bien reflejado en un mejor estado de ánimo. Resulta que no es tan sencillo diseñar instrumentos que midan adecuadamente el estado de ánimo de los individuos o el nivel de inserción del individuo en su comunidad. Como se puede apreciar, encontrar una variable de resultado adecuada en este caso es todo un reto para el evaluador. Note, sin embargo, que en principio éste es el resultado de una política cuyo diseño es demasiado general y, por tanto, evaluar los logros de tales intervenciones es generalmente muy difícil. En suma, el evaluador debe tratar de relacionar, de la mejor manera posible, los objetivos, lineamientos y forma de operación del programa, con variables de resultado que se espera que puedan medir de manera relativamente razonable el desempeño del programa.
Bibliografía
Blundell, R. y M. Costa Dias, 2009, “Alternative Approaches to Evaluation in Empirical Microeconomics,” Journal of Human Resources, University of Wisconsin Press, vol. 44(3), 565-540.
Caliendo, M. y S. Kopeinig, 2005, “Some Practical Guidance for the Implementation of Propensity Score Matching”, IZA Discussion Paper Series, No. 1588.
Heckman, J., R. LaLonde y J. Smith, 1999, “The Economics and Econometrics of Active Labor Market Programs,” en O. Ashenfelter y D. Card, capítulo 31, Handbook of Labor Economics, vol. IV, 1865-2073.
Smith, J., 2000, “A Critical survey of Empirical Methods for Evaluating Active Labor Market Policies”, Schweizerische Zeitschrift fr Volkswirthschaft und Statistik, 136(6), 1-22.
Roy, A., 1951, “Some Thoughts on the Distribution of Earnings”, Oxford Economic Papers, 3, 135-145.
Rubin, D., 1974, “Estimating Causal Effects to Treatments in Randomised and Nonradomised Studies”, Journal of Educational Psychology, 66, 688-701.
7 Este punto se discute en detalle más adelante en la sección 4.5.
8 Average Treatment Effect.
9 Average Treatment on the Treated.
10 Average Treatment on the Untreated.
11 Con excepción de casos en los cuales el tratamiento se haya aplicado de manera aleatoria en la población (ver capítulo 4).
12 Note que para estimar 
ATE existe un reto adicional, dado que se requiere de la construcción de los dos resultados contrafactuales (y no sólo uno), E[Yi(1)|Di = 0] y E[Yi(0)|Di = 1].
13 Las variables binarias también se conocen en la literatura como variables dummy, dicótomas o dicotómicas.
14 Ver anexo 1.
15 Ver anexo 2.
16 Ver anexo 3.
17 Sistema de Identificación de Potenciales Beneficiarios de Programas Sociales. Es un instrumento desarrollado con el objetivo de focalizar los programas de política pública hacia la población más vulnerable en Colombia. El puntaje Sisbén se construye con base en una encuesta que indaga sobre las características sociodemográficas del hogar, toma valores entre 0 y 100, donde puntajes más bajos indican mayores niveles de pobreza del hogar.
3
SESGO DE SELECCIÓN
Como se detalló en el capítulo anterior, la evaluación de impacto consiste en la estimación de:
donde E[Yi(1)|Di = 1] es el valor esperado de la variable de resultado entre los participantes en el programa en presencia del programa y E[Yi(0)|Di = 1], o resultado contrafactual, es el valor esperado de la variable de resultado entre los participantes en ausencia del programa. En otras palabras, evaluar la diferencia entre la variable de resultado entre el grupo de tratados si existe el programa y la variable de resultado entre el grupo de tratados si no se hubiera implementado el programa. Claramente no es posible observar ambos resultados al mismo tiempo. Sin embargo, sí se puede observar la variable de resultado entre un grupo de individuos elegibles que no participan en el programa (o grupo de control), E[Yi(0)|Di = 0].
El principal reto de la evaluación de impacto es determinar las condiciones bajo las cuales E[Yi(0)|Di = 0] se puede utilizar como una aproximación válida de E[Yi(0)|Di = 1] y, por tanto, utilizarse en la ecuación (3.1) para obtener el efecto del programa ATT.
Evidentemente E[Yi(0)|Di = 0] se podría utilizar como una aproximación adecuada del contrafactual si
Es decir, si la variable de resultado en ausencia del programa es idéntica para el grupo de individuos tratados (D = 1) que para el grupo de individuos de control (D = 0).
El supuesto (3.2) se viola toda vez que la participación en el programa es una elección del individuo elegible. La razón es que los participantes y los no participantes generalmente son diferentes, aun en ausencia del programa, y por tal motivo es precisamente que se observa que unos escogen participar y otros no, aun si todos son elegibles para recibir el tratamiento. Es decir, existen características (observadas y/o no observadas) que causan que unos individuos participen y otros no. Probablemente, las diferencias en estas características entre individuos participantes e individuos no participantes también originen diferencias en la variable de resultado entre un grupo y el otro. Por ende, es muy probable que la variable de resultado del grupo de tratamiento y la variable de resultado del grupo de control sean diferentes, aun si el programa no existiera. Este hecho se conoce como sesgo de selección.
Recuerde que el ATT se puede escribir como:
En la ecuación (3.3) es claro que si los individuos del grupo de tratamiento y el grupo de control son diferentes, aun en ausencia del tratamiento (la segunda parte al lado derecho de la ecuación), entonces la diferencia entre la media del grupo de tratamiento y la media del grupo de control (el lado izquierdo de la ecuación) será igual al ATT más la diferencia preexistente entre los dos grupos, término que se denomina sesgo de selección. Es decir, la comparación de medias entre el grupo de tratamiento y el grupo de control será una combinación del efecto directo del tratamiento, ATT , y las diferencias preexistentes entre los dos grupos, E[Yi(0)|Di = 1] = E[Yi(0)|Di = 0], y sin información adicional el investigador no puede descifrar qué parte se debe a qué.
En suma, los individuos que se autoseleccionan en el grupo de tratamiento son sistemáticamente diferentes (en formas que observamos y formas que no observamos) de los individuos que se autoseleccionan en el grupo de control, y precisamente por eso participan en el programa. Esas diferencias sistemáticas pueden estar relacionadas, a su vez, con la variable de resultado, objeto de la evaluación de impacto.
En el capítulo anterior se explicó que si se cumple el supuesto (3.2), entonces el efecto del programa sobre la variable de resultado, Yi, es la pendiente estimada por mínimos cuadrados ordinarios de la siguiente regresión lineal:
donde Di es el indicador del estatus de tratamiento.
En este caso, por MCO es un estimador consistente e insesgado del efecto del programa porque E(ui|Di) = 0. Es decir, no hay correlación entre la decisión de participar o no en el programa, Di, y las características observadas y no observadas de los individuos contenidas en el término de error, ui . Sin embargo, si la participación en el programa es una decisión de los individuos,18 es improbable que se cumpla el supuesto E(ui|Di) = 0. Esto se presenta porque es posible que los individuos que deciden participar en el programa lo hagan debido a que son sistemáticamente diferentes de los individuos que deciden no participar. Algunas de estas diferencias pueden, a su vez, explicar la variable de resultado, Yi , y, por tanto, estar contenidas en el término de error, ui . Dicho de otra manera, saber si un individuo participa o no participa en el programa informa sobre las variables no observadas del individuo contenidas en ui, por lo cual se invalida el supuesto de independencia condicional.
Ejemplo 3.1:
Suponga que el programa Canasta se ofrece y los individuos elegibles deben decidir si quieren participar o no. Además, participar tiene un costo en tiempo y trámites, debido a que la mamá del niño elegible debe acercarse a una oficina de la institución encargada de administrar el programa, diligenciar un formulario de inscripción y llevar al niño potencialmente participante a un control médico en el que se registran sus medidas antropométricas (estatura y peso). Aunque todas las mamás de niños entre los 0 y 6 años de edad que pertenecen a Sisbén 1 y 2 son elegibles para el programa, es muy probable que un conjunto de madres considere que el costo de inscribirse para participar en el programa es muy alto porque las filas son muy largas, el examen médico es muy demorado o el hospital en el que se lleva a cabo es muy lejos, por lo cual preferirán no recibir el mercado. Es decir, se podría pensar que las mamás que sí deciden participar son aquellas más proactivas y motivadas y que, a pesar del costo de participación, se preocupan por sus hijos y su bienestar lo suficiente (o tienen el tiempo disponible) como para ir hasta la oficina, hacer la fila, sacar la cita en el hospital, ir al hospital para asistir a la cita médica, volver a la oficina administradora a reclamar el mercado, etcétera.
Note entonces que las madres participantes y las madres no participantes son diferentes en cuanto a su perfil de madre, la disponibilidad de tiempo, su disposición a ocuparse de los hijos, etc. Estas características, algunas de las cuales no son observadas por el evaluador porque no existen mediciones o porque no fueron registradas en los datos (como qué tan dedicada es la mamá a sus hijos), pueden también afectar el estado nutricional de los niños participantes y no participantes. Por ejemplo, las mamás más proactivas y motivadas pueden ser también aquellas que se preocupan más por la nutrición de los niños y, por tanto, les ofrecen una dieta más balanceada, llevan a los niños a controles médicos, etc. Es decir, sería una variable contenida en ui porque explica la medida antropométrica (o variable de resultado), Yi .
Dado que existen características observadas y no observadas de los individuos, contenidas en ui, que explican tanto la decisión de participar en el programa como la variable de resultado, entonces
Es decir, la participación en el programa, Di, sí está correlacionada con el término de error en la regresión (3.4). Esto constituye la violación de uno de los supuestos fundamentales del modelo de regresión lineal (independencia condicional) y, por ende, los estimadores de mínimos cuadrados ordinarios no serán insesgados.19 Esto implica que el valor esperado del estimador del efecto del programa estimado por MCO no corresponde al efecto verdadero del programa sino que está subestimado o sobrestimado, según sean las características no observadas de los individuos. En otras palabras, el efecto del programa no se puede obtener por la simple comparación de medias de la variable de resultado entre el grupo de tratamiento y el grupo de control.
Intuitivamente, si hay variables que explican tanto la participación en el programa como la variable de resultado, la comparación de medias puede estar atribuyendo al programa un efecto que en realidad se debe a las diferencias preexistentes entre el grupo de tratamiento y el grupo de control. En nuestro ejemplo del programa Canasta, si las madres participantes son más dedicadas y están más motivadas que las madres no participantes, entonces podemos estar atribuyendo al programa un efecto positivo sobre el estado nutricional de los niños, cuando en realidad la diferencia en las medidas antropométricas a favor de los niños tratados se debe a que tienen madres más pendientes de su dieta que los niños de control, y no al programa en sí. Si la característica del individuo, Xi, que explica tanto la participación en el programa como la variable de resultado, es observable y está contenida en la base de datos disponible, entonces este problema se soluciona simplemente incluyéndola en la regresión (3.4) como una variable explicativa adicional:
donde Xi es una característica observable del individuo, que explica tanto la participación en el programa como la variable de resultado Yi.
Por ejemplo, si los individuos más pobres son aquellos que deciden participar en el programa Canasta, mientras que los individuos más ricos eligen no hacerlo, entonces Xi sería el índice de riqueza del hogar. Si esta es la única diferencia entre los participantes y los no participantes, entonces el estimador de β1 en la ecuación (3.5) por MCO es un estimador consistente e insesgado del efecto del programa.
Si las diferencias entre los participantes y no participantes son todas observables (y la base de datos contiene información acerca de todas ellas), entonces la regresión (3.5) se puede extender para incluir todas esas características. Si todas las diferencias entre el grupo de tratamiento y el grupo de control se incluyen en la regresión, entonces los factores restantes contenidos en ui son efectivamente independientes de la decisión de participar, Di , y, por ende, el estimador de β1 por MCO es un estimador insesgado y consistente del efecto del programa.
Sin embargo, en la mayoría de los casos, algunas de las diferencias entre los participantes y los no participantes no se observan o son características (en principio observables) que no están contenidas en la base de datos.20 Por ejemplo, las madres más dedicadas a sus hijos pueden ser más propensas a participar en el programa Canasta que las madres menos dedicadas. Pero qué tan dedicada es una madre no es una variable incluida en las encuestas. Por ende, aunque sabemos que ésta es una diferencia entre los beneficiarios y los no beneficiarios por la que debemos controlar en la ecuación (3.5), no tenemos los datos a disposición. En este caso, el estimador de MCO de β1 está sesgado, es decir:
La dirección precisa del sesgo (llamado sesgo de selección, por las razones que se han expuesto anteriormente) depende de la relación existente entre la participación en el programa y la variable que diferencia a los participantes de los no participantes (llamémosla W), y de la dirección del efecto de la variable excluida W sobre la variable de resultado Y.
Teniendo en mente el siguiente modelo:
donde W es una característica no observable (o no contenida en la encuesta), la dirección del sesgo de por MCO sobre la regresión (3.5) se puede resumir de la siguiente manera:
donde Corr (Di, Wi) es la correlación entre Di y Wi.
Por ejemplo, tomemos el caso de la primera celda (superior-izquierda). Si a mayor dedicación de la madre (variable W no observada), mayor es la probabilidad de participar en el programa Canasta, entonces Corr (Di, Wi) > 0. Si, además, la dedicación de la madre aumenta la estatura según la edad del niño (variable de resultado Yi) porque la dieta que ofrece la madre más dedicada es más balanceada, entonces β2 > 0. En este caso, el estimador de MCO de en la regresión (3.4) estaría sesgado hacia arriba E() > β1, es decir, el efecto estimado del programa sobre el peso según la estatura es mayor que el efecto verdadero del programa. Esto se presenta porque, al no poder incluir W en la regresión, le estamos atribuyendo al programa (a Di) parte del efecto positivo que tiene W sobre Y. Es decir, se le atribuye al programa parte del efecto positivo de la mayor motivación de las madres participantes sobre el estado nutricional de sus hijos. En otras palabras, Di absorbe tanto su efecto propio (sobre Y) como el efecto que tiene W directamente sobre Y, dando lugar a un efecto más grande de lo que en realidad es.
La gran mayoría de programas que se evalúan en la actualidad están caracterizados por el hecho de que los individuos deben elegir si participan o no. Esto implica que las diferencias que surgen entre los participantes y no participantes son, en buena parte, no observables. Así, el gran reto de la evaluación de impacto es encontrar metodologías que permitan obtener un estimador consistente e insesgado de β1 aun en presencia del sesgo de selección. Estas diversas metodologías se discuten en los capítulos a continuación.
