Modelo de Evaluación, Seguimiento y Monitoreo El Programa de Desarrollo Humano del Gobierno de México Modelo de Evaluación, Seguimiento y Monitoreo

Introducción Oportunidades es el principal programa social del Gobierno de México Dirigido a romper la transmisión intergeneracional de la pobreza mediante transferencias en efectivo y acciones integradas en salud, educación y alimentación: Alivio de la pobreza + Desarrollo de capacidades (corto plazo) (largo plazo) Focaliza apoyos para las familias en condición de extrema pobreza mediante un sistema riguroso de incorporación basado en las variables socioeconómicas de cada hogar En 2004, tiene un presupuesto de US $ 2,000 millones y apoya a 5 millones de hogares (25 millones de personas)

+ + + Desarrollo Humano: Intervenciones con sinergia Educación Salud Ahorro para nuevas opciones Entrega de una cuenta de ahorros para los becarios que culminen la EMS + Becas escolares crecientes desde 3º de primaria hasta 3º de Educación Media Superior (12º grado) Educación + Paquete de servicios de salud básica y sesiones de educación para la salud Salud + Apoyo en efectivo para mejorar el ingreso y la alimentación Entrega de suplemento nutricional a infantes > 5 y mujeres embarazadas y en lactancia Nutrición

Coordinación Interinstitucional Sector y Zona Sector y Zona Formato S2 Formato E2 Coordinación Estatal Instituciones liquidadoras Listados de liquidación y recursos Oficinas centrales

Cobertura 2003 Hogares Tamaño Municipios Localidades beneficiarios Rural 2,294 68,439 68,439 2,990,344 Semiurbano 1,237 2,194 2,194 741,211 Urbano 391 419 419 508,446 T o t a l e s 2,356 71,052 4,240,000

Componentes del Modelo de Evaluación y Seguimiento Evaluación de Impacto Modelo de Seguimiento Operativo Seguimiento diario a la ejecución de procesos y cumplimiento de metas operativas anuales

Modelo de Evaluación de Impacto

Evaluación integral Análisis de corto, mediano y largo plazo TIEMPO Educación, salud, nutrición, trabajo, cambios en la localidad, costo-eficiencia... Participan diversas instituciones académicas y de investigación Enfoque cuantitativo y cualitativo Hogares beneficiarios y no beneficiarios, hogares incorporados en diferente tiempo EVALUADORES EXTERNOS HOGARES ESTUDIADOS ASPECTOS EVALUADOS EVALUACIÓN INTEGRAL

Temas de evaluación ENTORNO participación comunitaria abasto de enseres de consumo básico y precios aspectos generales de la localidad infraestructura calidad de los servicios educativos y de salud programas de gobierno

Indicadores de impacto corto plazo mediano plazo t largo plazo Inscripción y asistencia a la escuela Aprobación de grados escolares Transición de nivel escolar Reincorporación a la escuela Utilización de los servicios de salud Estado de salud Morbilidad Comportamientos de riesgo en adolescentes Diabetes, hipertensión arterial Salud reproductiva Nutrición (antropometría y anemia) Trabajo e ingreso Consumo, crédito y ahorro Relaciones de género

Indicadores de impacto corto plazo mediano plazo t largo plazo Conclusión de educación media superior Desarrollo cognoscitivo Aptitudes académicas Mortalidad materna e infantil Comportamientos de salud Migración Acumulación de activos productivos Tipo de empleo y remuneración de ex – becarios Capital social

Indicadores de impacto corto plazo t mediano plazo largo plazo RUPTURA DE TRANSMISIÓN INTERGENERACIONAL DE LA POBREZA Capacidades básicas: educación, salud y nutrición Empoderamiento de las mujeres Permanencia de impactos positivos Oportunidades laborales para jóvenes ex becarios Remuneración por trabajo para jóvenes ex becarios

Método de dobles diferencias Estimador de dobles diferencias (DD) Comparación entre el grupo tratamiento y el grupo control Tratamiento ( T ) T2 impacto T1 C2 Control ( C ) T0 C1 C0 t0 t1 t2 t3 Estimador de dobles diferencias (DD) DD1t = (T1 - T0) - (C1 - C0)  Programa  Control

E Evaluación rural valuación rural

Composición de la muestra 1998 1999 2000 2003 2004 3 GRUPOS DE COMPARACIÓN: Muestra original de localidades En 7 estados  Intervención: 320 Intervención 1998  Control: 186 intervención Intervención 2000 Selección aleatoria  no intervención : 152 No intervención Selección por pareamiento

Pruebas biológicas aplicadas 2003 Niños de 24 - 72 meses TOTAL: 8,938  Woodcock-Johnson de desarrollo cognitivo  McArthur de desarrollo comunicativo (24 a 35 meses)  Test de Vocabulario en Imágenes Peabody (36 a 72 meses)  Habilidades de McCarthy  Preguntas sobre comportamiento y salud Medidas antropométricas, pulso Hemoglobina en sangre Cortisol en saliva Adolescentes de 15 - 21 años TOTAL: 8,719  Woodcock-Johnson de habilidades  Conductas de riesgo, estado de salud, estrés, depresión, patrones alimenticios e historia educativa y laboral Medidas antropométricas Muestras de sangre  pruebas de anemia y Herpes simple tipo 2 (HSV-2) Muestras de orina  Clamydia y embarazos Adultos > 30 años y madres con hijos de 24 - 72 meses TOTAL: 12,431  Test de Vocabulario en Imágenes Peabody  Patrones alimenticios, conductas de riesgo vinculadas con enf. crónicas, salud, estrés y prevalencia de enfermedades Medidas antropométricas, pulso y presión arterial Muestras de sangre venosa y capilar  pruebas de glucosa y colesterol

Evaluación urbana

Composición de la muestra Áreas de no intervención Localidades Elegibles Cuasi-elegibles No elegibles Intervención 71 6,257* 2,214 2,252 No intervención 106 3,608 937 289 Ingreso elegibles no elegibles Áreas de intervención Cuasi- elegibles */ 3,171 son beneficiarios Base de datos ENCELURB 2002 Áreas de no intervención

Cuestionario socioeconómico Cuestionario biológico Levantamiento urbano 2003 HOGARES* (16,062) INDIVIDUOS Cuestionario de Características Socioeconómicas de los Hogares ELEG CUASI NO TOTAL 77,495 INT 5,718 2,615 2,059 10,392 NI 3,703 1,244 275 5,222 Cuestionario socioeconómico *448 hogares están en validación Cuestionario biológico Cuestionario de dieta tipo, frecuencia de consumo Niños de 6-47 meses en 2003 y sus madres Hemogolobina niños(as) de 12 a 35 meses (0-23 meses en ENCELURB 2002) Hemoglobina glicosilada 500 adultos diabéticos > 40 años + preguntas sobre diabetes Estado nutricional y consumo del suplemento (Fases I y II) Niños de 6-23 meses y sus madres que amamantan Desarrollo cognoscitivo Niños de 12-48 meses Aptitudes académicas Niños/adolescentes de 11-15 años

Resultados obtenidos

Nutrición Los suplementos alimenticios han contribuido a incrementar en 16% el crecimiento promedio anual de los niños entre 12 y 36 meses de edad. El 75% de las mujeres afirma que sí ha mejorado la alimentación de sus familias

Salud La presencia de enfermedades en los niños menores de 5 años se ha reducido 12%. Aumento del 59% en las consultas totales de 1997 a 2002 en zonas rurales. Aumento del 49% en las consultas de nutrición para niños menores de 5 años en zonas rurales entre 1997 y 2002. Reducción del 11% de la mortalidad materna y 2% de la mortalidad infantil entre 1997 y 2002.

Educación Incremento en la matrícula en secundarias urbanas y rurales en 4% y 24% respectivamente. Incremento en la matrícula de EMS de zonas rurales y urbanas para el primer grado de 85% y 10%. Disminución de la tasa de abandono en primarias rurales y urbanas en 17% y 4.5% respectivamente. Descenso en la reprobación escolar en primarias urbanas en 10.5% y en rurales en 6.5%.

Resultados cualitativos La incursión del Programa en zonas urbanas es positiva Las transferencias monetarias diversifican la dieta y aumentan la seguridad de los hogares No hay evidencia de violencia contra las mujeres relacionada con el Programa, hay mayor aceptación de su autonomía administrativa y fortalece redes de cooperación El proceso de incorporación por módulos representa un mejoría respecto de los anteriores pero se señalan limitaciones operativas El costo de estudiar en las zonas urbanas es mayor (costos directos e indirectos) El esquema de corresponsabilidades es menos compatible con las actividades remuneradas de las mujeres urbanas Es necesario reforzar la capacitación a maestros y personal de salud

Adecuaciones al Programa Resultados de evaluaciones Adecuaciones A mayor logro escolar hay un mayor rendimiento Otorgamiento de becas en el nivel medio superior (500,000 becarios) Ampliación de la cobertura en el medio urbano (un millón de familias beneficiarias) Resultados positivos en el medio rural Necesidad de articulación con otras iniciativas de desarrollo Vinculación con otros programas de desarrollo social (Plataforma, micro financiamiento, mejoramiento de vivienda, ahorro, educación adultos). Necesidad de afinar mecanismos de incorporación en zonas urbanas Mejoras en proceso de incorporación urbano 2004 (barrido en zonas de concentración )

Componentes del Modelo de Evaluación y Seguimiento Evaluación de Impacto Modelo de Seguimiento Operativo Seguimiento diario a la ejecución de procesos y cumplimiento de metas operativas anuales

Instrumentos de seguimiento operativo Indicadores de gestión de la operación Puntos Centinela Reportes de Atención Ciudadana Cédulas de Supervisión

Modelo de Seguimiento Operativo Puntos Centinela Acciones correctivas y preventivas Indicadores de Gestión y Resultados Atención Ciudadana Supervisión Operativa Otras fuentes (auditorias, encuestas de percepción, diagnósticos situacionales, entre otros) Identificación de desviaciones en la operación Seguimiento a puntos críticos Indicadores de Desempeño de las CE Tendencias de Indicadores Validación y medición de acciones preventivas y correctivas Evaluación Operativa Externa

Alcance Los instrumentos del Modelo de Seguimiento abarcan todo el ciclo operativo del Programa

Puntos Centinela Aspectos revisados Entrevista Titulares Escuela Componente educativo y de salud Entrega de apoyos monetarios Orientación y capacitación Papel de las vocales Contraloría Social Calidad en los servicios Escuela Condiciones físicas del plantel Asistencia del personal docente Certificación de corresponsabilidad Unidad de Salud Suficiencia de recursos (médicos, materiales y medicamentos) Orientación a beneficiarios

Aplicación Puntos Centinela Aplicación bimestral por grupo de estados 2 levantamientos al año por estado Integración semestral de informe nacional Presentación de resultados en Comité Técnico Estatal y Nacional

Muestra Puntos Centinela Muestra nacional con representatividad estatal de Titulares beneficiarias (17,575) Unidades de salud por institución de salud (4,480) Escuelas por nivel educativo (3,180 de EB y 1475 de EMS)

Puntos Centinela Resultados

Componentes del Modelo de Evaluación y Seguimiento Evaluación de Impacto Modelo de Seguimiento Operativo Seguimiento diario a la ejecución de procesos y cumplimiento de metas operativas anuales

Monitoreo de proyectos operativos Para el cumplimiento de metas operativas y el control de calidad de la operación contamos con sistemas de monitoreo: En línea (Intranet) En tiempo real Para revisión diaria y semanal en las Coordinaciones Estatales y en Oficinas Centrales Por ejemplo, en el Proyecto de Crecimiento de Cobertura 2004 para llegar a 5 millones de familias (760 mil nuevas familias + 150 mil para recuperación bajas del padrón)

ACCESO AL SISTEMA DE SEGUIMIENTO Monitoreo de Proyectos ACCESO AL SISTEMA DE SEGUIMIENTO

ACCESO A CIFRAS DIARIAS Monitoreo de Proyectos ACCESO A CIFRAS DIARIAS

Monitoreo de Proyectos SELECCIÓN DE REPORTE (NACIONAL O ESTATAL)

S ISTEMA DE SEGUIMIENTO SELECCIÓN DE REPORTE (NACIONAL O ESTATAL)

Monitoreo de Proyectos

forma parte de la estrategia ¡Muchas gracias!