La evaluación de impacto de programas y políticas sanitarias Lima, 27 de mayo de 2015 Jorge Bacallao Gallestey.

Presentación del tema: "La evaluación de impacto de programas y políticas sanitarias Lima, 27 de mayo de 2015 Jorge Bacallao Gallestey."— Transcripción de la presentación:

1 La evaluación de impacto de programas y políticas sanitarias Lima, 27 de mayo de 2015 Jorge Bacallao Gallestey

2 In God we trust… the rest must bring evidence Anonimous

3

4 Las decisiones en cuanto a producción y distribución de alimentos no puede dejarse sólo en manos de intereses económicos…  Los gobiernos deben tomar medidas regulatorias sobre la operación de los mercados: Restricciones a la propaganda dirigida a los niños Mensajes de salud Establecimiento de límites en las grasas saturadas, el azúcar añadida y el contenido de sodio de los alimentos. Interpretación del etiquetado

5

6 El marco de referencia para el cumplimiento de las responsabilidades debe incluir información acerca del logro de las metas así como del progreso en la implementación de los programas y políticas.

7 Implementar un marco de referencia dentro del cual los progresos en el alcance de las metas y en la implementación de los compromisos pueda ser monitoreada y que sea un instrumento para el ejercicio de la responsabilidad.

8 ¿Qué es la evaluación de impacto? Es una evaluación CENTRADA EN LOS RESULTADOS Y CON CLAROS CRITERIOS DE ATRIBUCIÓN… … que responde a preguntas relevantes, que descansa en un nuevo paradigma de causalidad y que emplea técnicas modernas en la búsqueda de las atribuciones causales.

9 Glosario mínimo

10 Centrada en los resultados: Que responde a preguntas relevantes y concretas, con variables de respuesta explícitamente enunciadas y susceptibles de ser medidas. ¿La instalación de cocinas mejoradas en las regiones altoandinas reduce la frecuencia de la sintomatología respiratoria? ¿Los “cash transfers” incrementan los controles prenatales y el parto institucional? ¿El etiquetado responsable de los alimentos revierte o detiene la epidemia de obesidad en los niños?

11 Atribución: ¿A qué se deben exactamente los cambios observados o los resultados alcanzados? ¿En qué medida los efectos traen causa de la intervención (el programa, la política) que se evalúa y no de factores externos, factores de “confusión” o circunstancias aleatorias.

12 El enfoque contrafactual: base conceptual de la evaluación de impacto. ¿ Qué es el enfoque contrafactual?

13 Enfoque contrafactual: Es una definición de “causa” que implica comparar algo que ocurrió (lo factual, el resultado del programa o política) con algo que no ocurrió (contrafactual, lo que habría ocurrido sin el programa o política). (with vs without)  Comparar algo que se observó con algo que no se observó  el impacto (el efecto causal) NO SE PUEDE MEDIR, SÓLO SE PUEDE ESTIMAR

14 Objetivo Estimar el efecto causal (el impacto) de la intervención (el programa, la política) P sobre la variable de respuesta Y P : programa, política o intervención Y: medida de éxito Ejemplos: ¿Cuál es el impacto de los “cash transfer programs” sobre el acceso de las mujeres a programas de atención prenatal a la embarazada? ¿Cuál es el impacto del etiquetado normado y responsable sobre las tasas de obesidad infantil?

15 Inferencia causal ¿Cuál es el impacto de (P) sobre (Y) ? α= (Y | P=1)-(Y | P=0)

16 ¿Qué hacer entonces? Estimar lo que le habría ocurrido a Y en ausencia de P. Ya que a un sujeto se le observa sólo bajo la circunstancia de recibir la intervención, hay que conjeturar qué le habría ocurrido de no haberla recibido. A esto llamamos: “ESTIMACIÓN DEL CONTRAFACTUAL” La clave de una buena evaluación de impacto es un contrafactual apropiado

17 Objetivo: Determinar el efecto de la intervención (P=1, la puesta en vigor e implementación de la legislación sobre alimentación saludable) sobre ɤ, que es un parámetro de interés (Ej: la prevalencia de sobrepeso u obesidad infantil) del resultado Y en una población, en relación con la no intervención (P=0): ɤ 1 - ɤ 0, o ɤ 1/ ɤ 0. Problema: ɤ 1 es observable, pero ɤ 0 no es observable. Solución: Buscar un sucedáneo de ɤ 0. Asumiremos que ɤ 0 = ɤ B (B es otra población a la que no se aplicó la intervención). Habrá sesgo en la estimación si ɤ 0 ≠ ɤ B

18 Descomponiendo el efecto… Efecto observado = ɤ 1 - ɤ B = ( ɤ 1 - ɤ 0) + ( ɤ 0 - ɤ B) Efecto observado = IMPACTO + SESGO En términos relativos :

19 Ejemplo: ¿Cuál es el impacto de… Darle a Juan (P) (Y) ? Dinero adicional Sobre su consumo de caramelos

20 El perfecto clon de Juan JuanEl clon de Juan IMPACTO=6-4=2 Caramelos 6 caramelos4 caramelos X

21 A escala poblacional… estadísticas TratamientoControles Media Y=6 caramelosMedia Y=4 Caramelos IMPACTO=6-4=2 Caramelos X

22 La búsqueda de buenos “clones” Deseamos encontrar buenos clones (buenos controles) para los Juanes del estudio Los dos grupos deben comportarse del mismo modo respecto de características relevantes, salvo por el hecho de ser o no beneficiarios del programa o política.. En la práctica, se trata de aplicar reglas válidas de elegibilidad y asignación para identificar adecuados “contrafactuales ” Si se identifican controles adecuados, la única razón del hallazgo de un efecto sería la intervención

23 El monitoreo … “es un proceso continuo de recolección y análisis de la información con el propósito de:  evaluar el desempeño de una intervención, un programa o una política en relación con sus resultados esperados, con el fin, a su vez…  de retroalimentar el proceso de implementación y gerencia

24 La evaluación … “es la medición objetiva y sistemática de una intervención, programa o política en marcha o ya concluidos, su diseño, su implementación y sus resultados con el fin de:  determinar su relevancia y el cumplimiento de sus objetivos, así como su eficiencia, su efectividad, su impacto y su sostenibilidad, a su vez con el fin de…  generar experiencias útiles para el proceso de adopción de decisiones. La evaluación se orienta a preguntas y aspectos clave.

25 Recapitulando… La evaluación de impacto... “ es la medición de los efectos CAUSALES de una intervención programa o política sobre sus beneficiarios. El fundamento de la evaluación de impacto es el paradigma contrafactual de la causalidad y se lleva a cabo con el fin de …  Estimar la diferencia (en relación con “end-points” o variables de respuesta clave) entre lo ocurrido con la intervención, programa o política y lo que habría ocurrido sin ella  Identificar resultados o efectos intermedios o finales atribuibles a la intervención

26 EJEMPLOS La construcción e instalación de cocinas mejoradas en la región altoandina para reducir las IRA´S. La implementación de la estrategia “CRECER”: una estrategia focalizada a áreas pobres del Perú para la reducción de la desnutrición crónica. El empleo de los “cash transfers” en varios países del mundo para estimular la asistencia de las familias a unidades de atención primaria o secundaria y promover diferentes metas de salud (eg. crecimiento y desarrollo y atención perinatal). La promulgación e implementación de la ley de alimentación saludable.

27

28

29

30

31 Monitoreo vs Evaluación MonitoreoEvaluación Frecuencia ContinuoPeriódica Cobertura Todos los programasAspectos específicos de los programas Datos UniversalBasado en encuestas Profundidad de la información Rastrea la implementación. Se orienta al QUE Focalizada al desempeño y el impacto. Orientada al COMO Utilidad Perfeccionamiento continuo del programa Decisiones programáticas cruciales

32 ¿En qué circunstancias se realiza la evaluación de impacto? En proyectos  Innovadores  Replicables y escalables  Estratégicamente relevantes para alcanzar metas de salud importantes  Cuando la evaluación podría llenar vacíos importantes de conocimiento  Cuando es posible anticipar que el proyecto o programa tendrán un impacto político sustancial.

33 Tres preguntas clave  ¿Qué resultados se espera obtener con el programa?  ¿De qué modo se proyecta alcanzar dichos resultados?  ¿Cómo se sabrá si se han alcanzado los resultados proyectados?

34 Estas preguntas clave obligan a prever…  Los insumos  Las actividades  Las salidas  Los resultados

35 Un ejemplo en el ámbito de la desnutrición Nuevos fondos disponibles para implementar un proyecto para la reducción de la desnutrición crónica (insumo) Diseño de campañas informativas acerca de la importancia de la lactancia materna y de las buenas prácticas de alimentación y nutrición (actividad) Información disponible y accesible a los padres acerca de la importancia de la lactancia materna y las buenas prácticas de alimentación y nutrición (salida) Mayor número de mujeres en lactancia materna exclusiva (resultado) Menor incidencia de enfermedades diarreicas en los niños (resultado) Menor prevalencia de retardo en talla para la edad en los niños (resultado)

36 Otro ejemplo: instalación de cocinas mejoradas Fondos provenientes del programa de la cooperación española para países de América Latina y el Caribe (insumo) Una campaña de la primera dama con la participación de ONG´s y gobiernos locales para mejorar condiciones de familias altoandinas (insumo) Instalación de cocinas mejoradas que reducen los niveles de contaminación intradomiciliares (actividad) Charlas educativas a las familias para promover el uso de las cocinas y capacitarlas en su mantenimiento (actividad) Alto porcentaje de aceptación de las cocinas y altos niveles de participación en los cursos (salida) Reducción de los niveles de CO2 y otros contaminantes dentro del hogar (salida) Disminución de la frecuencia de enfermedades respiratorias crónicas (resultado) Mejoría de las variables espirométricas (resultado)

37 Un contrafactual inapropiado Y Tiempo T=0 T=1 A-B = 4 A-C = 2 ¿IMPACTO? B A C (contrafactual) Antes - Después

38 Caso 1: Antes - Después ¿ Cuál es el efecto de P sobre Y bajo el diseño antes – después? Y Tiempo T=0T=1 α = 35 IMPACTO=A-B= 35 B A 233 268 (1) Sólo se observa a los beneficiarios (P=1) (2) Dos observaciones en el tiempo: Y en T=0 y Y en T=1.

39 ¿Cuál es el problema del diseño antes – después? Y Tiempo T=0T=1 α = 35 B A 233 268 Mejora la economía: o Impacto=A-C o A-B sobrestima el impacto C ? D ? ¿Impacto? Empeora la economía o Impacto=A-D o A-B subestima el impacto Antes – después no controla las covariantes que cambian en el tiempo

40 Otro contrafactual inapropiado Hay datos post-intervención en: o Los incluidos: grupo beneficiario o Los no incluidos: grupo control (contrafactual) Fueron elegidos como beneficiarios sobre bases arbitrarias. Resolvieron no participar (no recibir la intervención) Sesgo de selección o La razón para no incluirse puede estar correlacionada con el resultado (Y) Puede haber confusores no observados o La estimación del impacto está sesgada (confundida por otros factores) Incluidos vs no incluidos

41 Elegibilidad y reclutamiento No elegibles E legibles Incluidos No incluidos

42 Resultados medidos después de la intervención (T=1) Incluidos y no incluidos Incluidos Y=268 No incluidos Y=290 No elegibles Elegibles ¿En qué aspectos relevantes pueden diferir los elegibles incluidos y los no incluidos?

43 A-D Comparar los mismos sujetos antes y después de recibir P Problema: Otras influencias pueden haber ocurrido en el tiempo I vs NI Comparar un grupo de sujetos enrolados en el programa con otros no enrolados. Problema: Sesgo de selección. No sabemos por qué no se enrolaron o no fueron enrolados Recordar Ambos contrafactuales pueden sesgar la estimación del impacto.

44 DISEÑOS Y RECURSOS ANALÍTICOS PARA LA EVALUACIÓN DE IMPACTO

45  Asignación aleatorizada  Uso de variables instrumentales (promoción u ofrecimiento aleatorizados)  Apareamiento basado en puntajes de susceptibilidad (“propensity scores”)  Método de la doble diferencia

46 Mejor diseño Control de fuentes extrañas de variación ¿En qué contextos serían aplicables los resultados? o Mejor grupo control + menor riesgo operacional o Validez externa o Efecto local vs efecto global o La evaluación puede extrapolarse a la población que nos interesa o Validez interna o Buen grupo control Elegir el mejor diseño y el mejor método posibles dado el contexto operacional

47 = no elegible Tratamientos aleatorizados y comparaciones = Elegible 1. Población Validez externa 2. Muestra para evaluación 3. Asignación aleatoria Validez interna Controles Tratados X

48 Dos casos posibles o Aleatorizar la condición de beneficiario o control oModo justo, equitativo y ético de asignar posibles beneficios a poblaciones con las mismas necesidades. I.No. de elegibles > No. de posibles beneficiarios II.No. de posibles beneficiarios > No. de elegibles o Que cada unidad tenga la misma probabilidad de ingresar primera, segunda, tercera… o Comparar los grupos según orden de ingreso al programa Aleatorización del momento de ingreso al programa Aleatorización de la asignación al programa

49 Unidad de aleatorización Elija según el tipo de programa o Individuo / vivienda o Escuela / centro de salud o Lotes/Municipios/Comunidades o Distrito/Área/Región Tenga en cuenta o Necesita un número mínimo de unidades para detectar un efecto relevante: POTENCIA o Derrames y contaminación o Costos operacionales Aleatorice al mínimo nivel de desagregación posible

50 Ejemplo ficticio: aleatorización del ingreso Comunidades beneficiarias 320 Comunidades controles 186 Tiempo T=1T=0 Tiempo de comparación

51 Asignación aleatoria ¿Cómo sabemos que tenemos buenos clones? En ausencia de la intervención los grupos deberían ser idénticos Comparamos sus características basales (T=0)

52 ¿Qué características basales? 1.Las que provoquen un desbalance entre beneficiarios y controles. 2.Las que puedan influir sobre el resultado (Y) en la población de no beneficiarios. 3.Las que no sean, ni una variable mediadora de la asociación entre P y Y, ni una consecuencia del resultado Y. ¡¡ La identificación de las características basales relevantes se hace sobre la base de criterios teóricos (“grounded theory”) y no mediante artificios estadísticos u otros recursos empíricos

53 INTERVENCIÓN POSIBLES VARIABLES A CONTROLAR Y INTERVENCIÓN POSIBLES VARIABLES A CONTROLAR Y NO CONTROLAR ? ?

54 INTERVENCIÓN POSIBLES VARIABLES A CONTROLAR Y INTERVENCIÓN POSIBLES VARIABLES A CONTROLAR Y NO CONTROLAR ? ?

55 INTERVENCIÓN POSIBLES VARIABLES A CONTROLAR Y CONTROLAR ?

56 Balance basal TratamientoControl X1 233.4233.47 X2 41.642.3 X3 36.8 X4 2.92.2 X5 2.72.6

57 Balance basal (continuación) TratamientoControl X6 0.07 X7 0.42 X8 5.7 X9 0.570.56 X10 1.671.71 X11 109106

58 Recuerde En la asignación aleatoria, las muestras suficiente grandes producen grupos intercambiables. Hemos identificado el clon ideal. Beneficiario aleatorizado Control aleatorizado Es factible en estudio prospectivos Muchos estudios piloto y nuevos programas caen en esta categoría

59 EL PRINCIPIO DE LAS VARIABLES INSTRUMENTALES OFRECIMIENTO Y PROMOCIÓN ALEATORIOS

60 Una variable instrumental es una variable generada por un mecanismo tal:  que no está afectada por variables de control relevantes,  que se asocia con la intervención  cuyo efecto sobre Y está totalmente mediado por la intervención

61 INTERVENCIÓN POSIBLES VARIABLES A CONTROLAR Y Variable instrumental (VI) A B C = EFECTO TOTAL DE LA VI SOBRE Y = A * B B (IMPACTO) = C / A

62 Bajo estas circunstancias: ASOC VI-Y = ASOC VI-P * ASOC P-Y  ASOC P-Y = ASOC VI-Y / ASOC VI-P

63 ¿Qué hacer si no podemos elegir? No siempre es posible elegir un grupo control. Por ejemplo: o Programas nacionales para los que todos son elegibles o Programas de participación voluntaria o Programas de los que no se puede excluir a nadie ¿ Se puede comparar los incluidos con los no incluidos? ¡Sesgo de selección!

64 Ofrecimiento o promoción aleatorias Si es posible excluir a algunas unidades pero no obligar a nadie : o Ofrezca el programa a una submuestra aleatoria o Muchos aceptarán o Otros no aceptarán Si no se puede excluir a nadie, ni obligar a nadie: o Haga el programa accesible para todos o Pero proporcione una promoción adicional o incentivos a una submuestra aleatoria. Información adicional Estúmulos para participar Pequeños incentivos materiales Por ejemplo, transporte si se requiriera Ofrecimiento aleatorio Promoción aleatoria

65 Programas con ofrecimiento o promoción aleatorias 1.Los grupos (con o sin ofrecimieto; con o sin promoción) son intercambiables: El ofrecimiento o la promoción no se asocia a características relevantes de la población conectadas con el resultado Normalmente esto lo garantiza la aleatorización 2.El grupo con ofrecimiento o promoción tiene mayor partipación en la intervención. 3.Ni el ofrecimiento ni la promoción afectan directamente el resultado Condiciones necesarias:

66 Con oferta o promoción Sin oferta ni promoción Nunca se enrolan Sólo se enrolan con oferta o promoción Siempre se enrolan X X X Programas con promoción y ofrecimiento aleatorios 3 grupos de unidades o individuos

67 0 Oferta o promoción aleatorias Elegibles Aleatorice promoción/oferta del programa Participación Con oferta o promoción Sin oferta o promociòn X X Sólo con oferta o promoción SiempreNunca

68 Oferta y promoción aleatorizadas La oferta/promoción aleatorizada es una “variable instrumental” (VI) o La VI se asocia al tratamiento pero no se asocia a ninguna variable controlable.. o Su efecto se ejerce sólo a través del tratamiento o intervención. (Promover u ofrecer per se no tienen ningún impacto) UUsando este método estimamos el efecto del tratamiento sobre los tratados o Es un efecto de tratamiento local, válido sólo para ) o En el ofrecimiento aleatorio: tratados=los que recibieron el ofrecimiento y aceptaron o En la promoción aleatorizada: tratados=los que recibieron la promoción y aceptaron

69 Con oferta o promoción. P=80%; Y=100 Sin oferta ni promoción. P=30%; Y=80 Nunca se enrolan Sólo se enrolan con oferta o promoción Siempre se enrolan Impacto ∆P=50% ∆Y=20 IMPACTO = 20 / 50 = 40

70 Ejemplo de ofrecimiento aleatorio Grupo al que se ofreció Grupo al que no se le ofreció Impacto Aceptaron = 92% Y media = 268 Aceptaron: 0% Y media = 239 ∆=0.92 ∆Y=29 Impacto= 29/0.92 =31 Nunca aceptan - Aceptan si se les ofrece Siempre aceptan -- -

71 Para recordar Ofrecimiento o promoción aleatorias La promoción aleatoria debe ser una estrategia de promoción efectiva. (Se recomienda prueba piloto previa ) La estrategia de promoción contribuirá a la comprensión de cómo incrementar la aceptación además del impacto del programa La estrategia depende del éxito o la validez del ofrecimiento o la promoción La estrategia estima un efecto promedio local. La estimación del impacto es válida sólo para beneficiarios con sombreros triangulares. (reducida validez externa) No se excluye a nadie, pero…

72 Pareamiento (Matching) Para cada sujeto (familia) beneficiada utilice el mejor “match” posible. Idea Los “matches” se seleccionan sobre la base de similitudes en características observadas. ¿Cómo? Si hay atributos no observados que influyen en la participación, esto entraña sesgo de selección ¡Problema!

73 Apareamiento por puntajes de susceptibilidad (propensity score matching ) Grupo de comparación: controles con las mismas características observables que los beneficiarios. o El apareamiento de este tipo es impracticable o Puede haber muchas características relevantes. Apareamiento sobre la base de un “propensity score”. Un valor que condensa la información de todas las variables relevantes conocidas.

74 Distribución de los puntajes de susceptibilidad Densidad Puntajes de susceptibilidad 0 1 Beneficiarios No beneficiarios Área de selección

75 Un ejemplo ficticio Rasgos basales Coeficientes estimados Regresión probit, Prob “benef”=1 X1 -0.022** X2 -0.017** X3 -0.059** X4 -0.03** X5 -0.067 X6 0.345** X7 0.216** X8 0.676** X9 -0.197** X10 -0.042** X11 0.001* Constante 0.664**

76

77

78

79

80 Pasos en el apareamiento según puntajes de susceptibilidad 1.Suele usarse en datos obtenidos a partir de encuestas probabilísticas y de gran tamaño 2.Se utiliza un modelo estadístico para construir el puntaje. 3.Restringir la comparación a los casos con similar puntaje de susceptibilidad. 4.Hay dos opciones: aparear según calibres de susceptibilidad o incluir el puntaje de susceptibilidad como variable de control en el análisis 5.Comparar los grupos en relación con las variables de respuesta.

81 Métodos para la medición de impacto El método de la doble diferencia

82 Diferencias en diferencias Y=Variable de respuesta (proporción) P : Intervención Dif en Dif: Impacto=(Y t1 -Y t0 )-(Y c1 -Y c0 ) Con intervención Sin intervención Antes 0.740.81 Después 0.600.78 Diferencia +0.14+0.03 0.11 -- - =

83 Diferencias en diferencias Dif-in-Dif: Impacto=(Y t1 -Y c1 )-(Y t0 -Y c0 ) Y=Variable de respuesta (proporción) P : Intervención Con intervención Sin intervención Antes 0.740.81 Después 0.600.78 Diferencia -0.07 -0.18 0.11 - - - =

84 Impacto =(A-B)-(C-D)=(A-C)-(B-D) Y B=0.60 C=0.81 D=0.78 T=0 Antes T=1 Después Tiempo Con intervención Sin intervención Impacto=0.11 A=0.74

85 Impact =(A-B)-(C-D)=(A-C)-(B-D) Y Impacto<0.11 B=0.60 A=0.74 C=0.81 D=0.78 T=0 Antes T=1 Después Tiempo Con intervención Sin intervención

86 Diferencias en diferencias ConSinDiferencia Después (T=1) (Y) 268.75290-21.25 Antes (T=0) (Y) 233.47281.74-48.27 Diferencia 35.288.2627.02 Impacto estimado sobre Y Regresión lineal 27.06** Regresión múltiple 25.53**

87 ¿Qué se puede concluir? Impacto de P sobre Y Case 1: Antes - Después 34.28** Case 2: Beneficiarios vs no benef -4.15 Case 3: Asignación aleatoria 29.75** Case 4: Ofrecimiento aleatorio 30.4** Case 5: Diseño por discontinuidad 30.58** Case 6: Doble diferencia 25.53**

88 Tomar en cuenta Doble diferencia Doble diferencia combina Con & Sin with Antes & Después Pendiente:: Generar un contrafactual para el cambio en Y Las tendencias son iguales en beneficiarios y no beneficiarios (Premisa fundamental) Se necesitan al menos tres observaciones en el tiempo o 2 observaciones antes o 1 observación después