El Sesgo al Estimar los Efectos de un Programa Usando Datos de las Clínicas Ashu Handa Universidad de Carolina del Norte en Chapel Hill Mari-Carmen Huerta Facultad de Economía de Londres

Objetivo ¿Pueden los datos de las clínicas proporcionar buenos estimados del impacto de un programa? La mayoría de las intervenciones de nutrición en gran escala no cuentan con el experimento social acompañante. Naturaleza del programa; costos; dificultades políticas Los datos sacados de las clínicas acerca del estado de nutrición se encuentran disponibles casi en todo sitio. Es útil saber si estos datos se pueden utilizar para la evaluación de un programa.

Enfoque Comparar los estimados no experimentales y los experimentales del impacto de un programa Intervención: Progresa Ya existen estimados de su impacto en la estatura infantil. Derivar el estimado no experimental utilizando datos sobre los beneficiarios sacados de las clínicas de salud. Comparar los dos estimados para evaluar el sesgo.

¿Por qué se deben hacer experimentos? El grupo de comparación seleccionado al azar permite El control de las características observadas que podrían afectar el resultado. El control de las características no observadas que podrían afectar el resultado (sesgo de selección). No es un problema en un programa obligatorio como Progresa. El sesgo causado por el uso de un grupo de comparación no experimental puede ser tanto negativo como positivo.

Resumen de resultados experimentales Gertler y otros y Behrman & Hoddinott (BH) Usan el mismo juego de datos básicos; dos mediciones con 12-16 meses de diferencia. La muestra son niños de 12-36 meses de edad en la línea de base. Gertler: Estima el crecimiento de la estatura en cms. BH: Estima el crecimiento de la estatura medido por el puntaje z. Ambos incluyen como variables de control al niño, el hogar y el nivel de la comunidad. Ambos informan estimados positivos y significativos en el rango del 15% del crecimiento medio (1 cm por año). Gertler: el único impacto es en los niños de 12-17 meses de edad.

Muestra con base en datos de las clínicas Datos individuales de todas las clínicas Progresa entre finales de 1997 y finales de 1999. Fechas distintas de incorporación. Se usa para identificar el impacto del programa. Selecciona niños con dos mediciones de la estatura tomadas con 6-18 meses de diferencia (mediana=13 meses). Medida 1 a principios de 1998; la medida 2 a principios de 1999 Estima el crecimiento de la estatura medido por el puntaje z (al igual que BH). Niños 0-48 meses de edad; no tiene variables de control.

Estrategia de identificación Usar la fecha de incorporación del niño para definir la duración de la exposición al programa (definir 9 grupos). Problema de selección – el grupo de ‘control’ era inicialmente más sano. La especificación del crecimiento eliminará cierto sesgo. Exposición Total Exposición Parcial Sin Exposición HAZ Inicial -1,67 -1,30 -0,98 Crecimiento en HAZ 0,016 -0,082 -0,187 Edad en meses 22 21 20 Exposición en meses 16 7 % de la muestra 75 14 11

Estimación

Estimados OLS de Tiempo de Exposición en el Crecimiento Muestra: Completa Completamente expuesto Exposición Beta T 0,108 1,21 1-12 0,229 2,63 13 excluído 14 0,186 1,88 0,125 1,31 15 0,297 3,29 0,228 2,66 16 0,357 4,05 0,282 3,36 17 0,309 3,49 0,239 2,81 18 2,58 0,162 1,86 19-21 0,206 2,25 0,142 1,58 Obs 5369 4027 R-sq 0,12 0,13

Completamente Expuesto Estimados OLS de Tiempo de Exposición en el Crecimiento: Interacciones con la edad Muestra: Completo Completamente Expuesto Beta T Log(exposición) -0,017 2,45 -0,278 0,70 Log(exposición) x 0-4 meses excluído 5-11 0,034 3,43 0,954 1,55 12-17 0,040 3,94 1,010 1,59 18-23 0,023 2,18 0,007 0,01 24-36 2,69 0,064 0,13 37-48 0,024 2,28 0,862 1,63 Obs 5369 4027 R-sq 0,12

Comparación de puntos estimados Muestra experimental de BH No Experimental Grupo de edad 12-36 12-48 12-36* 0-48** 12-48*** 12-36*** Beta 1,02 0,62 0,46 0,19 0,16 T 2,6 2,0 1,3 - 2,9 3,03 * Indicado en vez del tratamiento real ** Diferencia en lo predicho significa usar la ecuación de regresión *** Coeficiente de la variable ficticia indicando si el niño fue expuesto alguna vez Estimados no experimentales en relación con la referencia 20% para el grupo de edad de 12-36 años 25% para el grupo de edad de 12-48 años 40% para el grupo de edad de 12-36 años, usando el tratamiento indicado.

Discusión Los estimados con base en las clínicas son significativamente más bajos. De 20% a 40%, dependiendo de la especificación. Sesgo inferior debido a un error de medida. Tratamiento indicado no es igual que el tratamiento real. Tratamiento indicado mide el impacto promedio de todo el programa—un concepto diferente. Sesgo de la variable omitida reduce el estimado. Variables de control omitidas (no utilizadas en el estudio con base en las clínicas) se relacionan positivamente con la participación, pero se relaciona negativamente con el crecimiento. Conlleva al sesgo inferior en el impacto no experimental.

Entonces, ¿qué tan confiable es el estimado no experimental? El vaso está medio vacío Los estimados son positivos, pero son significativamente menores que la referencia. Llevan a la conclusión de que el programa es menos eficaz de lo que realmente es. El vaso está medio lleno Proporciona estimados positivos y significativos. El costo de medir el impacto es casi nulo. Entender la operación del programa permite la evaluación de la naturaleza del sesgo. ¿Qué tan cerca debemos estar realmente para crear políticas?