La evaluación de impacto de programas y políticas sanitarias Lima, 27 de mayo de 2015 Jorge Bacallao Gallestey.

Slides:



Advertisements
Presentaciones similares
Claves para una adecuada definición conceptual
Advertisements

TIPOS DE INVESTIGACIÓN
EVALUACION DE 360 GRADOS.
Administración moderna de la seguridad
Estudios de Cohorte Dra. Pilar Jiménez M..
DISEÑO DE EXPERIMENTOS
CONTENIDOS Teoría del muestreo ¿Cómo seleccionar una muestra?
ESTADISTICA APLICADA A LAS COMUNICACIONES: CONCEPTOS EN LA INVESTIGACION POR MUESTREO Docente : Fernando Camones SESION 01 Lima, 26 de Octubre 2010.
SAN SALVADOR, EL SALVADOR, JULIO DE 2009
Evaluando Impactos: De Promesas a Evidencias
Sesión 2.1. Encuestas a Comerciantes y toma de decisiones en el PMA Una Visión General Programa de Aprendizaje Sobre Mercados del PMA1 Llevando a Cabo.
TEMA 6 INVESTIGACIÓN CUASI EXPERIMENTAL
Modelos de Variable Dependiente Binaria -Logit y Probit-
ESTUDIO DE MERCADO. MÉTODOS DE PROYECCIÓN
NIF A – 4 CARACTERÍSTICAS CUALITATIVAS DE LA INFORMACIÓN FINANCIERA
TIPOS DE ESTUDIOS CLINICO EPIDEMIOLOGICOS
“8 Principios de la Gestión Administrativa”
FUNDACIÓN UNIVERSITARIA AUTÓNOMA DE LAS AMÉRICAS
I. Indicadores ¿qué son y para qué sirven?
TALLER DE TRABAJO FINAL
Evaluación y Seguimiento
Muestreo Obtención de evidencia confiable y pertinente, suficiente para brindar una base razonable sobre la cual emitir una opinión. Procedimientos que.
Ciclo de formulación del proyecto.
Errores frecuentes en el diseño y análisis en la Investigación Médica... ¡y como evitarlos! Dr. Alfredo de Jesús Celis de la Rosa.
Electivo Integración Normas de Calidad, Seguridad, Medio Ambiente y Riesgos en la Gestión de la Empresa. Profesor : Fernando Vargas Gálvez Ingeniero Civil.
INTRODUCCIÓN GENERAL Causalidad e inferencia causal
TALLER DE ESTRATEGIAS E INSTRUMENTOS DE EVALUACIÓN
Medición del Mercado.
Curso de Evaluación, Monitoreo y Seguimiento Segunda parte
Impact Evaluation 4 Peace March 2014, Lisbon, Portugal 1 Métodos No- experimentales Latin America and the Caribbean’s Citizen Security Team Victor.
Requerimientos /Metas:
Capacitación y desarrollo de capital humano
Embarazo en la adolescencia.
Curso-Taller Capacitación para Coaches de Conservación
Foro Latinoamericano de Grupos de Ahorro
Importancia de las aplicaciones de estadística en el control de procesos Guatemala 2010.
DISEÑOS ESTADÍSTICOS: principios de la inferencia científica.
LA INVESTIGACIÓN CUANTITATIVA O EMPÍRICO- ANALÍTICA
TOPICOS DE ECONOMETRIA APLICADA Variables dependientes limitadas
POLÍTICAS PÚBLICAS Y GÉNERO DEPARTAMENTO DE ESTUDIOS SERNAM Mayo de 2004.
Investigación Experimental
Procedimiento para el establecimiento de indicadores de gestión
Métodos de calibración: regresión y correlación
La Investigación científica
Enfoque cuantitativo y Enfoque cualitativo
SISTEMA DE GESTIÓN AMBIENTAL (SGA), ISO y 14001
USS - Evaluación Enfoques Evaluativos
METODOLOGÍA Y TÉCNICAS DE INVESTIGACIÓN EN CIENCIAS SOCIALES
Normalidad Preparado por: Dr. Juan José García García.
FUNDAMENTOS DE MARKETING
Capitulo 1: “La ciencia en las ciencias sociales”
(Validez de un estudio)
Diseños Generales. 2 Propósito implícito del diseño experimental El propósito implícito de todo diseño experimental consiste en imponer restricciones.
EVALUACIÓN DE PROYECTOS DE DESARROLLO Y CODESARROLLO Sepideh Labani Tenerife,
Tomando decisiones sobre las unidades de análisis
Desnutrición en México
LA SELECCIÓN DE LAS MUESTRAS EN EL PROCESO DE INVESTIGACIÓN
1 Módulo de Fundamentos 5 Incidencia. 2 Sección 1 Roles y tipos de incidencia en situaciones de emergencia Sección 2 Principios del enfoque de derechos.
Control Estadístico de Procesos
Métodos de investigación en la psicología clínica
TUTORA: DRA. SARA AGUIRRE DISERTANTE: DR. JORGE ESTIGARRIBIA LOS IECA REDUCEN LA MORTALIDAD EN PACIENTES CON HIPERTENSIÓN Disminución de muertes.
Identificación de Resultados y Productos MUNICIPALIDAD METROPOLITANA DE LIMA Abril 2009 Documento elaborado por el Ministerio de Economía y Finanzas.
ESTADÍSTICA DESCRIPTIVA
TEMA 4 LA VALIDEZ DE LA INVESTIGACIÓN
ESTRATEGIA NACIONAL DE PROMOCIÓN Y PREVENCIÓN
1 Tema 8. Diseños evaluativos de alta intervención TALLER: DISEÑO Y EVALUACIÓN DE PROGRAMAS XIV CONGRESO DE METODOLOGÍA DE LAS CIENCIAS SOCIALES Y DE LA.
Programa Sobre Procesos de Negocios SCM y Logística. Integración de procesos que permite a empresas en crecimiento implementar las mejores prácticas en.
PROGRAMA PRESUPUESTAL CON ENFOQUE DE RESULTADOS 2013: Directiva N° MEF/50.01.
Identificación Multidimensional de Beneficiarios de programas de TMC Marcos Robles XI Reunión Hemisférica de la Red de Pobreza y Protección Social “Políticas.
1 INTRODUCCIÓN AL DISEÑO Y EVALUACIÓN DE PROGRAMAS SOCIALES, EDUCATIVOS Y DE LA SALUD Tema 7. Diseños evaluativos de intervención media (cuasi-experimentos)
Transcripción de la presentación:

La evaluación de impacto de programas y políticas sanitarias Lima, 27 de mayo de 2015 Jorge Bacallao Gallestey

In God we trust… the rest must bring evidence Anonimous

Las decisiones en cuanto a producción y distribución de alimentos no puede dejarse sólo en manos de intereses económicos…  Los gobiernos deben tomar medidas regulatorias sobre la operación de los mercados: Restricciones a la propaganda dirigida a los niños Mensajes de salud Establecimiento de límites en las grasas saturadas, el azúcar añadida y el contenido de sodio de los alimentos. Interpretación del etiquetado

El marco de referencia para el cumplimiento de las responsabilidades debe incluir información acerca del logro de las metas así como del progreso en la implementación de los programas y políticas.

Implementar un marco de referencia dentro del cual los progresos en el alcance de las metas y en la implementación de los compromisos pueda ser monitoreada y que sea un instrumento para el ejercicio de la responsabilidad.

¿Qué es la evaluación de impacto? Es una evaluación CENTRADA EN LOS RESULTADOS Y CON CLAROS CRITERIOS DE ATRIBUCIÓN… … que responde a preguntas relevantes, que descansa en un nuevo paradigma de causalidad y que emplea técnicas modernas en la búsqueda de las atribuciones causales.

Glosario mínimo

Centrada en los resultados: Que responde a preguntas relevantes y concretas, con variables de respuesta explícitamente enunciadas y susceptibles de ser medidas. ¿La instalación de cocinas mejoradas en las regiones altoandinas reduce la frecuencia de la sintomatología respiratoria? ¿Los “cash transfers” incrementan los controles prenatales y el parto institucional? ¿El etiquetado responsable de los alimentos revierte o detiene la epidemia de obesidad en los niños?

Atribución: ¿A qué se deben exactamente los cambios observados o los resultados alcanzados? ¿En qué medida los efectos traen causa de la intervención (el programa, la política) que se evalúa y no de factores externos, factores de “confusión” o circunstancias aleatorias.

El enfoque contrafactual: base conceptual de la evaluación de impacto. ¿ Qué es el enfoque contrafactual?

Enfoque contrafactual: Es una definición de “causa” que implica comparar algo que ocurrió (lo factual, el resultado del programa o política) con algo que no ocurrió (contrafactual, lo que habría ocurrido sin el programa o política). (with vs without)  Comparar algo que se observó con algo que no se observó  el impacto (el efecto causal) NO SE PUEDE MEDIR, SÓLO SE PUEDE ESTIMAR

Objetivo Estimar el efecto causal (el impacto) de la intervención (el programa, la política) P sobre la variable de respuesta Y P : programa, política o intervención Y: medida de éxito Ejemplos: ¿Cuál es el impacto de los “cash transfer programs” sobre el acceso de las mujeres a programas de atención prenatal a la embarazada? ¿Cuál es el impacto del etiquetado normado y responsable sobre las tasas de obesidad infantil?

Inferencia causal ¿Cuál es el impacto de (P) sobre (Y) ? α= (Y | P=1)-(Y | P=0)

¿Qué hacer entonces? Estimar lo que le habría ocurrido a Y en ausencia de P. Ya que a un sujeto se le observa sólo bajo la circunstancia de recibir la intervención, hay que conjeturar qué le habría ocurrido de no haberla recibido. A esto llamamos: “ESTIMACIÓN DEL CONTRAFACTUAL” La clave de una buena evaluación de impacto es un contrafactual apropiado

Objetivo: Determinar el efecto de la intervención (P=1, la puesta en vigor e implementación de la legislación sobre alimentación saludable) sobre ɤ, que es un parámetro de interés (Ej: la prevalencia de sobrepeso u obesidad infantil) del resultado Y en una población, en relación con la no intervención (P=0): ɤ 1 - ɤ 0, o ɤ 1/ ɤ 0. Problema: ɤ 1 es observable, pero ɤ 0 no es observable. Solución: Buscar un sucedáneo de ɤ 0. Asumiremos que ɤ 0 = ɤ B (B es otra población a la que no se aplicó la intervención). Habrá sesgo en la estimación si ɤ 0 ≠ ɤ B

Descomponiendo el efecto… Efecto observado = ɤ 1 - ɤ B = ( ɤ 1 - ɤ 0) + ( ɤ 0 - ɤ B) Efecto observado = IMPACTO + SESGO En términos relativos :

Ejemplo: ¿Cuál es el impacto de… Darle a Juan (P) (Y) ? Dinero adicional Sobre su consumo de caramelos

El perfecto clon de Juan JuanEl clon de Juan IMPACTO=6-4=2 Caramelos 6 caramelos4 caramelos X

A escala poblacional… estadísticas TratamientoControles Media Y=6 caramelosMedia Y=4 Caramelos IMPACTO=6-4=2 Caramelos X

La búsqueda de buenos “clones” Deseamos encontrar buenos clones (buenos controles) para los Juanes del estudio Los dos grupos deben comportarse del mismo modo respecto de características relevantes, salvo por el hecho de ser o no beneficiarios del programa o política.. En la práctica, se trata de aplicar reglas válidas de elegibilidad y asignación para identificar adecuados “contrafactuales ” Si se identifican controles adecuados, la única razón del hallazgo de un efecto sería la intervención

El monitoreo … “es un proceso continuo de recolección y análisis de la información con el propósito de:  evaluar el desempeño de una intervención, un programa o una política en relación con sus resultados esperados, con el fin, a su vez…  de retroalimentar el proceso de implementación y gerencia

La evaluación … “es la medición objetiva y sistemática de una intervención, programa o política en marcha o ya concluidos, su diseño, su implementación y sus resultados con el fin de:  determinar su relevancia y el cumplimiento de sus objetivos, así como su eficiencia, su efectividad, su impacto y su sostenibilidad, a su vez con el fin de…  generar experiencias útiles para el proceso de adopción de decisiones. La evaluación se orienta a preguntas y aspectos clave.

Recapitulando… La evaluación de impacto... “ es la medición de los efectos CAUSALES de una intervención programa o política sobre sus beneficiarios. El fundamento de la evaluación de impacto es el paradigma contrafactual de la causalidad y se lleva a cabo con el fin de …  Estimar la diferencia (en relación con “end-points” o variables de respuesta clave) entre lo ocurrido con la intervención, programa o política y lo que habría ocurrido sin ella  Identificar resultados o efectos intermedios o finales atribuibles a la intervención

EJEMPLOS La construcción e instalación de cocinas mejoradas en la región altoandina para reducir las IRA´S. La implementación de la estrategia “CRECER”: una estrategia focalizada a áreas pobres del Perú para la reducción de la desnutrición crónica. El empleo de los “cash transfers” en varios países del mundo para estimular la asistencia de las familias a unidades de atención primaria o secundaria y promover diferentes metas de salud (eg. crecimiento y desarrollo y atención perinatal). La promulgación e implementación de la ley de alimentación saludable.

Monitoreo vs Evaluación MonitoreoEvaluación Frecuencia ContinuoPeriódica Cobertura Todos los programasAspectos específicos de los programas Datos UniversalBasado en encuestas Profundidad de la información Rastrea la implementación. Se orienta al QUE Focalizada al desempeño y el impacto. Orientada al COMO Utilidad Perfeccionamiento continuo del programa Decisiones programáticas cruciales

¿En qué circunstancias se realiza la evaluación de impacto? En proyectos  Innovadores  Replicables y escalables  Estratégicamente relevantes para alcanzar metas de salud importantes  Cuando la evaluación podría llenar vacíos importantes de conocimiento  Cuando es posible anticipar que el proyecto o programa tendrán un impacto político sustancial.

Tres preguntas clave  ¿Qué resultados se espera obtener con el programa?  ¿De qué modo se proyecta alcanzar dichos resultados?  ¿Cómo se sabrá si se han alcanzado los resultados proyectados?

Estas preguntas clave obligan a prever…  Los insumos  Las actividades  Las salidas  Los resultados

Un ejemplo en el ámbito de la desnutrición Nuevos fondos disponibles para implementar un proyecto para la reducción de la desnutrición crónica (insumo) Diseño de campañas informativas acerca de la importancia de la lactancia materna y de las buenas prácticas de alimentación y nutrición (actividad) Información disponible y accesible a los padres acerca de la importancia de la lactancia materna y las buenas prácticas de alimentación y nutrición (salida) Mayor número de mujeres en lactancia materna exclusiva (resultado) Menor incidencia de enfermedades diarreicas en los niños (resultado) Menor prevalencia de retardo en talla para la edad en los niños (resultado)

Otro ejemplo: instalación de cocinas mejoradas Fondos provenientes del programa de la cooperación española para países de América Latina y el Caribe (insumo) Una campaña de la primera dama con la participación de ONG´s y gobiernos locales para mejorar condiciones de familias altoandinas (insumo) Instalación de cocinas mejoradas que reducen los niveles de contaminación intradomiciliares (actividad) Charlas educativas a las familias para promover el uso de las cocinas y capacitarlas en su mantenimiento (actividad) Alto porcentaje de aceptación de las cocinas y altos niveles de participación en los cursos (salida) Reducción de los niveles de CO2 y otros contaminantes dentro del hogar (salida) Disminución de la frecuencia de enfermedades respiratorias crónicas (resultado) Mejoría de las variables espirométricas (resultado)

Un contrafactual inapropiado Y Tiempo T=0 T=1 A-B = 4 A-C = 2 ¿IMPACTO? B A C (contrafactual) Antes - Después

Caso 1: Antes - Después ¿ Cuál es el efecto de P sobre Y bajo el diseño antes – después? Y Tiempo T=0T=1 α = 35 IMPACTO=A-B= 35 B A (1) Sólo se observa a los beneficiarios (P=1) (2) Dos observaciones en el tiempo: Y en T=0 y Y en T=1.

¿Cuál es el problema del diseño antes – después? Y Tiempo T=0T=1 α = 35 B A Mejora la economía: o Impacto=A-C o A-B sobrestima el impacto C ? D ? ¿Impacto? Empeora la economía o Impacto=A-D o A-B subestima el impacto Antes – después no controla las covariantes que cambian en el tiempo

Otro contrafactual inapropiado Hay datos post-intervención en: o Los incluidos: grupo beneficiario o Los no incluidos: grupo control (contrafactual) Fueron elegidos como beneficiarios sobre bases arbitrarias. Resolvieron no participar (no recibir la intervención) Sesgo de selección o La razón para no incluirse puede estar correlacionada con el resultado (Y) Puede haber confusores no observados o La estimación del impacto está sesgada (confundida por otros factores) Incluidos vs no incluidos

Elegibilidad y reclutamiento No elegibles E legibles Incluidos No incluidos

Resultados medidos después de la intervención (T=1) Incluidos y no incluidos Incluidos Y=268 No incluidos Y=290 No elegibles Elegibles ¿En qué aspectos relevantes pueden diferir los elegibles incluidos y los no incluidos?

A-D Comparar los mismos sujetos antes y después de recibir P Problema: Otras influencias pueden haber ocurrido en el tiempo I vs NI Comparar un grupo de sujetos enrolados en el programa con otros no enrolados. Problema: Sesgo de selección. No sabemos por qué no se enrolaron o no fueron enrolados Recordar Ambos contrafactuales pueden sesgar la estimación del impacto.

DISEÑOS Y RECURSOS ANALÍTICOS PARA LA EVALUACIÓN DE IMPACTO

 Asignación aleatorizada  Uso de variables instrumentales (promoción u ofrecimiento aleatorizados)  Apareamiento basado en puntajes de susceptibilidad (“propensity scores”)  Método de la doble diferencia

Mejor diseño Control de fuentes extrañas de variación ¿En qué contextos serían aplicables los resultados? o Mejor grupo control + menor riesgo operacional o Validez externa o Efecto local vs efecto global o La evaluación puede extrapolarse a la población que nos interesa o Validez interna o Buen grupo control Elegir el mejor diseño y el mejor método posibles dado el contexto operacional

= no elegible Tratamientos aleatorizados y comparaciones = Elegible 1. Población Validez externa 2. Muestra para evaluación 3. Asignación aleatoria Validez interna Controles Tratados X

Dos casos posibles o Aleatorizar la condición de beneficiario o control oModo justo, equitativo y ético de asignar posibles beneficios a poblaciones con las mismas necesidades. I.No. de elegibles > No. de posibles beneficiarios II.No. de posibles beneficiarios > No. de elegibles o Que cada unidad tenga la misma probabilidad de ingresar primera, segunda, tercera… o Comparar los grupos según orden de ingreso al programa Aleatorización del momento de ingreso al programa Aleatorización de la asignación al programa

Unidad de aleatorización Elija según el tipo de programa o Individuo / vivienda o Escuela / centro de salud o Lotes/Municipios/Comunidades o Distrito/Área/Región Tenga en cuenta o Necesita un número mínimo de unidades para detectar un efecto relevante: POTENCIA o Derrames y contaminación o Costos operacionales Aleatorice al mínimo nivel de desagregación posible

Ejemplo ficticio: aleatorización del ingreso Comunidades beneficiarias 320 Comunidades controles 186 Tiempo T=1T=0 Tiempo de comparación

Asignación aleatoria ¿Cómo sabemos que tenemos buenos clones? En ausencia de la intervención los grupos deberían ser idénticos Comparamos sus características basales (T=0)

¿Qué características basales? 1.Las que provoquen un desbalance entre beneficiarios y controles. 2.Las que puedan influir sobre el resultado (Y) en la población de no beneficiarios. 3.Las que no sean, ni una variable mediadora de la asociación entre P y Y, ni una consecuencia del resultado Y. ¡¡ La identificación de las características basales relevantes se hace sobre la base de criterios teóricos (“grounded theory”) y no mediante artificios estadísticos u otros recursos empíricos

INTERVENCIÓN POSIBLES VARIABLES A CONTROLAR Y INTERVENCIÓN POSIBLES VARIABLES A CONTROLAR Y NO CONTROLAR ? ?

INTERVENCIÓN POSIBLES VARIABLES A CONTROLAR Y INTERVENCIÓN POSIBLES VARIABLES A CONTROLAR Y NO CONTROLAR ? ?

INTERVENCIÓN POSIBLES VARIABLES A CONTROLAR Y CONTROLAR ?

Balance basal TratamientoControl X X X X X

Balance basal (continuación) TratamientoControl X X X8 5.7 X X X

Recuerde En la asignación aleatoria, las muestras suficiente grandes producen grupos intercambiables. Hemos identificado el clon ideal. Beneficiario aleatorizado Control aleatorizado Es factible en estudio prospectivos Muchos estudios piloto y nuevos programas caen en esta categoría

EL PRINCIPIO DE LAS VARIABLES INSTRUMENTALES OFRECIMIENTO Y PROMOCIÓN ALEATORIOS

Una variable instrumental es una variable generada por un mecanismo tal:  que no está afectada por variables de control relevantes,  que se asocia con la intervención  cuyo efecto sobre Y está totalmente mediado por la intervención

INTERVENCIÓN POSIBLES VARIABLES A CONTROLAR Y Variable instrumental (VI) A B C = EFECTO TOTAL DE LA VI SOBRE Y = A * B B (IMPACTO) = C / A

Bajo estas circunstancias: ASOC VI-Y = ASOC VI-P * ASOC P-Y  ASOC P-Y = ASOC VI-Y / ASOC VI-P

¿Qué hacer si no podemos elegir? No siempre es posible elegir un grupo control. Por ejemplo: o Programas nacionales para los que todos son elegibles o Programas de participación voluntaria o Programas de los que no se puede excluir a nadie ¿ Se puede comparar los incluidos con los no incluidos? ¡Sesgo de selección!

Ofrecimiento o promoción aleatorias Si es posible excluir a algunas unidades pero no obligar a nadie : o Ofrezca el programa a una submuestra aleatoria o Muchos aceptarán o Otros no aceptarán Si no se puede excluir a nadie, ni obligar a nadie: o Haga el programa accesible para todos o Pero proporcione una promoción adicional o incentivos a una submuestra aleatoria. Información adicional Estúmulos para participar Pequeños incentivos materiales Por ejemplo, transporte si se requiriera Ofrecimiento aleatorio Promoción aleatoria

Programas con ofrecimiento o promoción aleatorias 1.Los grupos (con o sin ofrecimieto; con o sin promoción) son intercambiables: El ofrecimiento o la promoción no se asocia a características relevantes de la población conectadas con el resultado Normalmente esto lo garantiza la aleatorización 2.El grupo con ofrecimiento o promoción tiene mayor partipación en la intervención. 3.Ni el ofrecimiento ni la promoción afectan directamente el resultado Condiciones necesarias:

Con oferta o promoción Sin oferta ni promoción Nunca se enrolan Sólo se enrolan con oferta o promoción Siempre se enrolan X X X Programas con promoción y ofrecimiento aleatorios 3 grupos de unidades o individuos

0 Oferta o promoción aleatorias Elegibles Aleatorice promoción/oferta del programa Participación Con oferta o promoción Sin oferta o promociòn X X Sólo con oferta o promoción SiempreNunca

Oferta y promoción aleatorizadas La oferta/promoción aleatorizada es una “variable instrumental” (VI) o La VI se asocia al tratamiento pero no se asocia a ninguna variable controlable.. o Su efecto se ejerce sólo a través del tratamiento o intervención. (Promover u ofrecer per se no tienen ningún impacto) UUsando este método estimamos el efecto del tratamiento sobre los tratados o Es un efecto de tratamiento local, válido sólo para ) o En el ofrecimiento aleatorio: tratados=los que recibieron el ofrecimiento y aceptaron o En la promoción aleatorizada: tratados=los que recibieron la promoción y aceptaron

Con oferta o promoción. P=80%; Y=100 Sin oferta ni promoción. P=30%; Y=80 Nunca se enrolan Sólo se enrolan con oferta o promoción Siempre se enrolan Impacto ∆P=50% ∆Y=20 IMPACTO = 20 / 50 = 40

Ejemplo de ofrecimiento aleatorio Grupo al que se ofreció Grupo al que no se le ofreció Impacto Aceptaron = 92% Y media = 268 Aceptaron: 0% Y media = 239 ∆=0.92 ∆Y=29 Impacto= 29/0.92 =31 Nunca aceptan - Aceptan si se les ofrece Siempre aceptan -- -

Para recordar Ofrecimiento o promoción aleatorias La promoción aleatoria debe ser una estrategia de promoción efectiva. (Se recomienda prueba piloto previa ) La estrategia de promoción contribuirá a la comprensión de cómo incrementar la aceptación además del impacto del programa La estrategia depende del éxito o la validez del ofrecimiento o la promoción La estrategia estima un efecto promedio local. La estimación del impacto es válida sólo para beneficiarios con sombreros triangulares. (reducida validez externa) No se excluye a nadie, pero…

Pareamiento (Matching) Para cada sujeto (familia) beneficiada utilice el mejor “match” posible. Idea Los “matches” se seleccionan sobre la base de similitudes en características observadas. ¿Cómo? Si hay atributos no observados que influyen en la participación, esto entraña sesgo de selección ¡Problema!

Apareamiento por puntajes de susceptibilidad (propensity score matching ) Grupo de comparación: controles con las mismas características observables que los beneficiarios. o El apareamiento de este tipo es impracticable o Puede haber muchas características relevantes. Apareamiento sobre la base de un “propensity score”. Un valor que condensa la información de todas las variables relevantes conocidas.

Distribución de los puntajes de susceptibilidad Densidad Puntajes de susceptibilidad 0 1 Beneficiarios No beneficiarios Área de selección

Un ejemplo ficticio Rasgos basales Coeficientes estimados Regresión probit, Prob “benef”=1 X ** X ** X ** X ** X X ** X ** X ** X ** X ** X * Constante 0.664**

Pasos en el apareamiento según puntajes de susceptibilidad 1.Suele usarse en datos obtenidos a partir de encuestas probabilísticas y de gran tamaño 2.Se utiliza un modelo estadístico para construir el puntaje. 3.Restringir la comparación a los casos con similar puntaje de susceptibilidad. 4.Hay dos opciones: aparear según calibres de susceptibilidad o incluir el puntaje de susceptibilidad como variable de control en el análisis 5.Comparar los grupos en relación con las variables de respuesta.

Métodos para la medición de impacto El método de la doble diferencia

Diferencias en diferencias Y=Variable de respuesta (proporción) P : Intervención Dif en Dif: Impacto=(Y t1 -Y t0 )-(Y c1 -Y c0 ) Con intervención Sin intervención Antes Después Diferencia =

Diferencias en diferencias Dif-in-Dif: Impacto=(Y t1 -Y c1 )-(Y t0 -Y c0 ) Y=Variable de respuesta (proporción) P : Intervención Con intervención Sin intervención Antes Después Diferencia =

Impacto =(A-B)-(C-D)=(A-C)-(B-D) Y B=0.60 C=0.81 D=0.78 T=0 Antes T=1 Después Tiempo Con intervención Sin intervención Impacto=0.11 A=0.74

Impact =(A-B)-(C-D)=(A-C)-(B-D) Y Impacto<0.11 B=0.60 A=0.74 C=0.81 D=0.78 T=0 Antes T=1 Después Tiempo Con intervención Sin intervención

Diferencias en diferencias ConSinDiferencia Después (T=1) (Y) Antes (T=0) (Y) Diferencia Impacto estimado sobre Y Regresión lineal 27.06** Regresión múltiple 25.53**

¿Qué se puede concluir? Impacto de P sobre Y Case 1: Antes - Después 34.28** Case 2: Beneficiarios vs no benef Case 3: Asignación aleatoria 29.75** Case 4: Ofrecimiento aleatorio 30.4** Case 5: Diseño por discontinuidad 30.58** Case 6: Doble diferencia 25.53**

Tomar en cuenta Doble diferencia Doble diferencia combina Con & Sin with Antes & Después Pendiente:: Generar un contrafactual para el cambio en Y Las tendencias son iguales en beneficiarios y no beneficiarios (Premisa fundamental) Se necesitan al menos tres observaciones en el tiempo o 2 observaciones antes o 1 observación después