Читать книгу: «Guía práctica para la evaluación de impacto»
GUÍA PRÁCTICA PARA LA EVALUACIÓN DE IMPACTO
GUÍA PRÁCTICA PARA LA EVALUACIÓN DE IMPACTO
Raquel Bernal
Ximena Peña
Bernal Salazar, Raquel
Guía práctica para la evaluación de impacto / Raquel Bernal, Ximena Peña. -Bogotá: Universidad de los Andes, Facultad de Economía, Centro de Estudios sobre Desarrollo Económico; Ediciones Uniandes, 2011.
ISBN edición impresa 978-958-695-599-7
1. Investigaciones evaluativas (Programas de acción social) 2. Investigación social 3. Evaluación de proyectos 4. Acción social -Evaluación I. Peña-Parga, Ximena II. Universidad de los Andes (Colombia). Facultad de Economía. CEDE III. Tít.
| CDD. 361.25 | SBUA |
Primera edición: abril de 2011
Primera reimpresión: agosto de 2011
Segunda edición: marzo de 2012
© Raquel Bernal y Ximena Peña
© Universidad de los Andes
Facultad de Economía, Centro de Estudios sobre Desarrollo Económico (CEDE)
Ediciones Uniandes
Carrera 1 núm. 19-27, edificio AU 6
Bogotá, D. C., Colombia
Teléfonos: 339 49 49 – 339 49 99, ext. 2133
infeduni@uniandes.edu.co http://ediciones.uniandes.edu.co
ISBN edición impresa: 978-958-695-599-7
ISBN edición digital 978-956-14-2550-7
Corrección de pruebas: Santiago Melo
Diseño de carátula y armada electrónica: Proceditor Fotografía de carátula: Zandra Hurtado
Impresión: Nomos Impresores
Diagonal 18 bis núm. 41-14, Bogotá, D. C.
Teléfono: 208 6500
Diagramación digital: ebooks Patagonia
info@ebookspatagonia.com
Todos los derechos reservados. Esta publicación no puede ser reproducida ni en su todo ni en sus partes, ni registrada en o transmitida por un sistema de recuperación de información, en ninguna forma ni por ningún medio sea mecánico, fotoquímico, electrónico, magnético, electroóptico, por fotocopia o cualquier otro, sin el permiso previo por escrito de la editorial.
CONTENIDO
1. INTRODUCCIÓN
1.1. El impacto de las evaluaciones de impacto
1.2. Los pasos previos a la evaluación
1.3. Evaluación de proyectos vs. evaluación de impacto
1.4. Estructura del libro
Agradecimientos
Bibliografía
PARTE I. EL PROBLEMA DE EVALUACIÓN DE IMPACTO
2. DEFINICIÓN DE PARÁMETROS DE IMPACTO DEL TRATAMIENTO
Bibliografía
3. SESGO DE SELECCIÓN
Bibliografía
PARTE II. EXPERIMENTOS SOCIALES CONTROLADOS Y EXPERIMENTOS NATURALES
4. EXPERIMENTOS ALEATORIOS (SOCIALES)
4.1. Intervenciones a nivel individual vs. conglomerados
4.2. El modelo de diferencias
4.3. El estimador de diferencias con regresores adicionales
4.4. El estimador de diferencias con efectos heterogéneos
4.5. El estimador de diferencias en el tiempo
4.6. Problemas potenciales de la aleatorización
4.7. Verificación de la aleatorización
4.8. Desventajas de los métodos experimentales
4.9. Implementación del modelo de diferencias en Stata
4.10. Conclusiones y ejemplos
Bibliografía
5. EXPERIMENTOS NATURALES O CUASI EXPERIMENTOS
5.1. El modelo de diferencias-en-diferencias
5.2. El estimador de diferencias-en-diferencias con regresores adicionales
5.3. El estimador de diferencias-en-diferencias para múltiples períodos
5.4. Diferencias-en-diferencias utilizando datos de corte transversal repetidos
5.5. Implementación del modelo de diferencias-en-diferencias en Stata
5.6. Conclusiones y ejemplos
Bibliografía
PARTE III. ESTUDIOS NO EXPERIMENTALES
6. EL MÉTODO DE EMPAREJAMIENTO
6.1. Probabilidad de participación
6.2. Soporte común
6.3. Selección de un algoritmo de emparejamiento
6.4. Calidad del emparejamiento
6.5. Errores estándar
6.6. Pruebas de falsificación
6.7. Implementación del método de emparejamiento en Stata
6.8. Conclusiones y ejemplos
Bibliografía
7. MÉTODO DE VARIABLES INSTRUMENTALES
7.1. Definición de variable instrumental
7.2. Estimación por el método de variables instrumentales
7.3. Elección de los instrumentos
7.4. Evaluación de la variable instrumental
7.5. Problemas potenciales del estimador de variables instrumentales
7.6. Implementación empírica del estimador de variables instrumentales
7.7. Conclusiones y ejemplos
Bibliografía
8. MÉTODO DE REGRESIÓN DISCONTINUA (RD)
8.1. El diseño de regresión discontinua nítida
8.2. El diseño de regresión discontinua borrosa (RDB)
8.3. Implementación empírica del estimador de RD
8.4. Implementación del diseño RD en Stata
8.5. Conclusiones y ejemplos
Bibliografía
9. FUNCIONES DE CONTROL
9.1. Estimación del modelo
9.2. Implementación del modelo de funciones de control en Stata
9.3. Conclusiones y ejemplos
Bibliografía
10. ESTIMACIÓN DE MODELOS ESTRUCTURALES
10.1. El modelo estructural y la forma reducida del modelo
10.2. Métodos de estimación
10.2.1. Método de máxima verosimilitud
10.2.2. Método de momentos simulado
10.3. Modelos estructurales dinámicos
10.4. Conclusiones y ejemplos
Bibliografía
11. DURACIÓN DE LA EXPOSICIÓN AL TRATAMIENTO
11.1. Efectos de la duración de exposición al tratamiento con respecto al grupo de no participantes
11.2. Análisis de intensidad: comparando individuos tratados según la duración de exposición al programa
11.3. Conclusiones y ejemplos
Bibliografía
12. CONCLUSIONES
¿Qué técnica usar y cuándo?
Evaluadores y ejecutores
¿Evaluar o no evaluar?
Bibliografía
13. ANEXOS
Anexo 1: Estimación de mínimos cuadrados ordinarios
Anexo 2: El estimador de MCO es insesgado
Anexo 3: Estimador del impacto del programa por MCO en el modelo de diferencias
Anexo 4: Estimación de variables binarias: probabilidad lineal, logit y probit
Anexo 5: Traducción y explicación de una salida de Stata
1
INTRODUCCIÓN
El uso de métodos cuantitativos para medir el impacto de programas sociales ha cobrado un gran interés recientemente. En los últimos años han surgido organizaciones dedicadas a la elaboración y el financiamiento de evaluaciones de impacto. Las entidades multilaterales de crédito y las agencias de cooperación han enfatizado, cada vez con mayor fuerza, la necesidad de evaluar concienzudamente los proyectos de desarrollo. Muchos países han creado oficinas independientes de evaluación y monitoreo de programas públicos. Las evaluaciones de impacto han comenzado a desempeñar un papel preponderante en el diseño de políticas públicas y, por ende, en el control político y la controversia democrática.
Hace apenas unos años la evaluación de impacto era un tema casi desconocido en la gestión social. En el mejor de los casos, se percibía como una curiosidad de especialistas; en el peor, como un desperdicio de recursos y un obstáculo tecnocrático a las iniciativas sociales. El impacto de la mayoría de las políticas públicas era desconocido. La pregunta sobre el impacto no se planteaba y menos aún se respondía. Las buenas intenciones y la inercia operativa desplazaban cualquier intento de escrutinio cuantitativo.
White (2009) describe el caso del Programa Integrado de Nutrición de Bangladesh. Este programa identificaba, mediante mediciones en campo, a los niños desnutridos en aldeas rurales y los asignaba a un tratamiento que incluía alimentación suplementaria a los menores y educación nutricional a sus madres. Por muchos años el programa fue considerado como un gran éxito. Las cifras oficiales mostraban una aparente mejoría en los indicadores antropométricos de los niños. El Banco Mundial decidió, con base en esta evidencia incompleta, aumentar los recursos destinados al programa. Ni los financiadores ni los ejecutores parecían dudar de la bondad del programa.
Pero las primeras evaluaciones de impacto, realizadas por el Grupo Independiente de Evaluación del mismo Banco Mundial y por la ONG inglesa Save the Children, mostraron que la mejoría de los indicadores de los beneficiarios era similar (o inferior en algunos casos) a la de otros niños con características comparables que no hacían parte del programa. Las pesquisas que siguieron a la evaluación encontraron que la educación nutricional dada a las madres era irrelevante, pues ellas ni iban al mercado ni decidían sobre la elaboración de los alimentos. En suma, la evaluación señaló que las percepciones de los administradores del programa y de las entidades financiadores eran erradas, y sugirió algunos correctivos al programa.
El caso del programa colombiano Hogares Comunitarios de Bienestar también es ilustrativo. Este programa, creado en 1986, ofrece servicios de cuidado infantil y nutrición a niños de familias de escasos recursos. El servicio es prestado en sus viviendas por madres pertenecientes a las comunidades beneficiadas y la alimentación es provista por el Estado. Durante sus primeros quince años de operación, el programa nunca fue evaluado. La evaluación se consideraba innecesaria: el programa era visto mayoritariamente como costo-efectivo, es decir, de calidad aceptable y costo muy bajo (Perotti, 2005).
Las primeras evaluaciones permitieron conocer el impacto del programa y ayudaron a despejar algunos malentendidos (Attanasio y Vera-Hernández, 2004, y Bernal et ál., 2009). Las evaluaciones mostraron que el programa tiene un impacto sustancial sobre los niños más vulnerables, especialmente los que llegan en condiciones críticas de nutrición, pero no sobre el resto de los beneficiarios. Además, el impacto parece circunscrito a los niños entre 2 y 4 años. Para los niños menores, el impacto es incierto; para los mayores, adverso. En suma, las evaluaciones permitieron cuantificar el impacto y conocer quiénes se benefician y quiénes no de la existencia del programa, a la vez que facilitaron el diagnóstico de correctivos clave en el programa.
1.1. El impacto de las evaluaciones de impacto
Las evaluaciones de impacto ayudan a revelar la realidad de muchas políticas públicas y pueden afectar positivamente las decisiones por dos vías diferentes. La primera vía es la vía directa. En un esquema de presupuesto por resultados, por ejemplo, las evaluaciones inciden sobre la asignación de recursos. En términos generales, hacen que se asignen más recursos a los buenos programas y que se eliminen o corrijan los malos proyectos. De esta manera, las evaluaciones pueden aumentar la eficiencia del Estado o de la cooperación internacional.
La segunda vía es indirecta. La asignación de recursos no obedece siempre a criterios técnicos. Como han enfatizado repetidamente Buchanan y Tullock (1962), entre otros, el choque de intereses es inevitable. Muchos programas, buenos y malos, tienen defensores interesados. Las evaluaciones son un argumento insoslayable en un debate complejo, dominado frecuentemente por los intereses políticos.1 Las evaluaciones contribuyen a la fiscalización mediática y aumentan la calidad de la controversia democrática. Aunque no retroalimenten directamente la toma de decisiones, pueden incidir sobre la eficiencia del gasto por medio de su impacto sobre la calidad del debate público.
En suma, las evaluaciones corrigen muchos de los “juicios impresionistas” de los administradores públicos y pueden ayudar a contrarrestar algunos intereses políticos. Sin evaluaciones los juicios apresurados de la burocracia o las opiniones interesadas de los políticos prevalecen más fácilmente. Con evaluaciones ambos enfrentan mayor resistencia; un contrapeso técnico difícil de ignorar.
1.2. Los pasos previos a la evaluación
Como se discutirá en este libro, la evaluación de impacto debe responder un interrogante complejo: ¿qué habría pasado con los beneficiarios en ausencia del programa en cuestión? Esta pregunta consume buena parte del tiempo y el esfuerzo del evaluador. Pero no es la única pregunta relevante. El evaluador debe realizar dos tareas preliminares e indispensables: un rigoroso análisis factual y un análisis del contexto del programa.
El análisis factual comienza por una estimación del número de beneficiarios y la cobertura del programa en cuestión. En algunos casos, es importante contrastar los registros oficiales con información de encuestas que incluyen preguntas directas sobre la participación en el programa que se va a evaluar. En el caso de Colombia, por ejemplo, las cifras oficiales sobre el número de afiliados al Régimen Subsidiado de Salud o de inscritos en los cursos de capacitación del Servicio Nacional de Aprendizaje (SENA) no coinciden usualmente con los datos de las encuestas. Los registros oficiales contienen duplicaciones o no son actualizados con la frecuencia requerida. Las encuestas también pueden contener errores.
En general, el evaluador debe tener una idea aproximada del número de beneficiarios. Si hay discrepancias en las fuentes información, debe discutir las posibles explicaciones. Además, debe conocer los costos totales del programa y la distribución regional de los beneficiarios y los recursos. Los reportes de evaluación deberían ser profusos en información fáctica.
El análisis factual debe incluir también un análisis de incidencia, orientado a responder una pregunta específica: ¿quién se beneficia del programa? ¿Cómo se distribuyen los beneficiarios por categorías socioeconómicas? Usualmente, este análisis se realiza con base en encuestas representativas de la totalidad de la población: encuestas de hogares, de calidad de vida o las encuestas de demografía y salud (EDS) que existen para muchos países en desarrollo. Las EDS no incluyen preguntas directas sobre los ingresos del hogar. Sólo incluyen algunas preguntas sobre las características de las viviendas y la posesión de bienes durables. Filmer y Pritchett (2001) han propuesto la construcción de índices de nivel socioeconómico con base en estas preguntas, los cuales permiten llevar a cabo un análisis de incidencia aproximado.2
El análisis de incidencia permite, entre otras cosas, comparar la focalización real con la focalización prevista y con la correspondiente a otros programas. Lasso (2004) evalúa de manera exhaustiva la incidencia del gasto público social para el caso de Colombia. Algunos programas, como el Régimen Subsidiado de Salud o los Hogares Comunitarios del Instituto Colombiano de Bienestar Familiar (ICBF), benefician mayoritariamente a los hogares más pobres; otros, como el Subsidio Familiar, otorgado por las cajas de compensación, benefician a las clases medias; mientras que otros, como los subsidios pensionales, están concentrados en los individuos más ricos.
Los análisis de incidencia no dicen nada sobre el impacto. Un programa puede llegarles a los más pobres sin tener efectos claros, sin afectar la calidad de vida de los beneficiarios. A veces se supone con ligereza que los buenos programas son los programas mejor focalizados. Pero puede incluso ocurrir que una peor focalización esté asociada con un mayor impacto. La gráfica 1.1 muestra varios estimativos de la probabilidad de que un hogar reaccione ante un choque económico adverso obligando a que sus hijos interrumpan sus estudios. La probabilidad es mostrada para cada uno de los quintiles de nivel socioeconómico (Gaviria, 2002). Según la gráfica, la probabilidad de retirar a los hijos del colegio ante un choque económico adverso es mayor en el segundo quintil que en el primero. Esto, a su vez, implicaría que un subsidio en efectivo condicionado a la asistencia escolar tendría un impacto mayor si se entregase, no a las familias del primer quintil, sino a las familias del segundo quintil. En Colombia, el programa Familias en Acción, creado en un momento de desempleo creciente y caídas drásticas en los ingresos, buscaba prevenir la deserción escolar y pretendía al mismo tiempo llegarles a los más pobres de los pobres. Ambos objetivos pueden no ser enteramente compatibles. Estos resultados implican que la mejor focalización no siempre maximiza el impacto.
GRÁFICA 1.1. Probabilidad de deserción escolar ante un choque económico negativo
En términos más generales, la buena focalización no debe siempre considerase como un resultado positivo. Y a la inversa, la mala focalización no debe percibirse, en todos los casos, como un resultado negativo. Muchos programas autofocalizados llegan mayoritariamente a los más pobres de los pobres, pues los demás individuos los rechazan por ineficaces o poco efectivos. Otros programas se concentran en los estratos intermedios porque, por diseño, fueron concebidos como mecanismos de redistribución entre los de arriba y los del medio. Los subsidios a las universidades públicas no están bien focalizados, no llegan a los más pobres, pues fueron diseñados con otro propósito. La mala focalización no es en este caso un mal resultado, es una característica inherente, definitoria del programa en cuestión.
El análisis factual debe estar acompañado de un rigoroso análisis contextual. El evaluador debe conocer en detalle el marco institucional, las normas y leyes que sustentan el programa en cuestión, y debe también hacer un esfuerzo por entender la historia del programa, el nivel de compromiso de los beneficiarios, las percepciones ciudadanas, etc. Un buen entendimiento del contexto es muy útil para interpretar los resultados y puede ser útil incluso para encontrar fuentes de variación exógena que, en ausencia de experimentos aleatorios, ayudan a definir los grupos de comparación (Ravallion, 1999).3
Si bien este texto se enfoca en el estudio de técnicas cuantitativas, la evaluación cualitativa es un complemento muy importante. Así la evaluación no contemple formalmente la recolección de información cualitativa, el evaluador debe informalmente programar reuniones con grupos de administradores, beneficiarios y encuestadores. La información cualitativa sirve, entre otras cosas, para anticipar la heterogeneidad, para intuir algunas de las características y atributos de los individuos que afectan o confunden los impactos y, en general, para interpretar mejor los resultados de la evaluación de impacto cuantitativa. En el programa de Hogares Comunitarios ya mencionado, las visitas de campo pusieron de manifiesto las grandes diferencias en conocimiento, actitud y compromiso de las madres comunitarias, esto es, las visitas de campo alertaron sobre la gran heterogeneidad en el tratamiento, lo que, a su vez, influyó sobre el análisis cuantitativo (Bernal et ál., 2009).
Finalmente, el evaluador debería identificar los principales mecanismos o canales de transmisión a través de los cuales el programa podría incidir sobre los resultados. White (2009) presenta un ejemplo ilustrativo de un análisis causal para el Programa Integrado de Nutrición de Bangladesh, que, como ya se dijo, entrega alimentos y asesoría nutricional a las madres de niños desnutridos. La figura 1.1 resume los principales elementos del análisis. El diagrama muestra que la magnitud del impacto dependería de tres factores: 1) la identificación correcta de la población objetivo, 2) la relevancia del tratamiento (la cantidad y calidad de los alimentos y la pertinencia de la asesoría) y 3) la suficiencia de los cambios de comportamiento y de los alimentos entregados. El impacto depende de la simultaneidad de estos tres factores. Si alguno no funciona, el impacto sería nulo o despreciable.
FIGURA 1.1. Mapa causal para un proyecto de nutrición
Los mapas causales con frecuencia son incompletos, excluyen los efectos no lineales, los dinámicos y los no esperados, pero son fundamentales. Ordenan el trabajo empírico y orientan la elaboración de los cuestionarios. No hay análisis empírico sin al menos alguna teoría implícita que guíe la recolección y la interpretación de los resultados. Por transparencia conviene no sólo elaborar el mapa causal, sino también darlo a conocer a los interesados en los resultados de la evaluación. Finalmente, al identificar y entender los canales de transmisión del programa, es también más fácil definir variaciones o correctivos de la política que permitan amplificar los efectos positivos o disminuir los no deseados.
