Curso de Evaluación, Monitoreo y Seguimiento Segunda parte Investigación orientada a las políticas sociales: monitoreo y evaluación

La lógica de una política ...

Indicadores: mirada desde la gerencia para cobertura, calidad y resultados Mortalidad infantil, Aprendizaje, Prevalencia de enfermedad x Recursos materiales, humanos. Protocolos de atención, tiempo de espera, ausentismo, monto de prestación Frecuencia de asistencia, acceso, prestaciones por persona, etc Tasa bruta y neta de escolaridad, Tasa de cobertura formal de salud, Tasa de vacunación, Tasa de cobertura en seguridad social

Las cuatro funciones y formas básicas de la evaluación... Evaluación de necesidad y situación (needs assesment, state assesment and diagnosis) Evaluación de implementación y productos (implementation analysis, output and process evaluation) Evaluación de desempeño continuo y contra valores meta (performance evaluation) Evaluación de impacto (impact evaluation)

Desarrollo de la evaluabilidad Propósito: asegurar que el diseño de la iniciativa o la organización que se evaluará esté diseñado de manera que efectivamente podrá ser monitoreada y evaluada de manera relevante. Requiere: especificación del valor buscado y de los objetivos asociados verificabilidad de los objetivos viabilidad de los objetivos definición de indicadores o informaciones relevantes línea de base o referentes para diversos indicadores e informaciones especificación de procesos previstos para el uso de la información generada (****)

Identificación de problemas Especificación de problemas y su medición Evaluación de necesidad y situación (needs assesment, state assesment and diagnosis) Formación de agenda Identificación de problemas Especificación de problemas y su medición Identificación de correlaciones que sugieren causalidad Diagnóstico sectorial o generales, desde la política o desde los beneficiarios

Procesos desarrollados Productos generados Productos entregados Evaluación de implementación y productos (implementation analysis, output and process evaluation) Recursos disponibles Acciones realizadas Procesos desarrollados Productos generados Productos entregados Participación de beneficiarios Análisis de implementación

Comparación contra período anterior Comparación contra metas Evaluación de desempeño continuo y contra valores meta (performance evaluation) Comparación contra período anterior Comparación contra metas Comparación contra y entre unidades o areas Evaluación contra parámetros generalizados, normativos o acumulados por experiencia.

Actividades: monitoreo y evaluación de desempeño Propósito: realizar un seguimiento de los diversos procesos, productos y resultados y utilizar la información generada para guiar el desempeño de los diversos actores. Requiere: seguimiento de procesos internos y externos a la organización orientación al servicio de los ciudadanos-usuarios - seguimiento de entrega y calidad de productos y servicios consultas a la satisfacción de los clientes y ciudadanos - especificación de valores meta para ciertos indicadores - mecanismos y estrategias para asegurar que la información afecte los procesos y los actores relevantes (****)

Actividades: monitoreo y evaluación de desempeño ¿Quiénes monitorean y evaluan? ¿Uno puede ser juez y parte? - Aceptación creciente de auto-evaluación y co-evaluación. - Evaluaciones participativas: involucrados y participantes fuera de la organización ejecutora involucrados dentro de la organización ejecutora

CONTEXTOS RECURSOS COSTO-IMPACTO PROCESOS Y PRODUCTOS RESULTADOS AMBIENTE AMBIENTE DESIGUALDAD DISTRIBUTIVA CONTEXTOS RECURSOS DESIGUALDAD EFICIENCIA INTERNA COSTO-IMPACTO ESPECIFICACIÓN PROCESOS Y PRODUCTOS RESULTADOS EFICACIA, IMPACTO, MECANISMOS CAUSALES AMBIENTE AMBIENTE

Evaluación de impacto (impact evaluation)

VALOR SOCIAL LA LÓGICA DE UNA INTERVENCIÓN Cambios en unidades por efecto primario de producto o servicio: EFECTO PRODUCTOS Y SERVICIOS GENERADOS Cambio social en mi variable y unidades objetivo: IMPACTOS ACTIVIDADES E INVERSIONES VALOR SOCIAL (Transformación deseada y otras externalidades positivas)

LA LÓGICA DE UN SISTEMA DE EVALUACIÓN TRANSFORMACIÓN DESEADA Evaluar actividades Evaluar productos Evaluar Efectos Evaluar impactos

Posibles quiebres en la cadena causal... ACCIONES X ACCIONES PRODUCTOS X ACCIONES PRODUCTOS EFECTOS X

EL PROBLEMA DEL CONTEXTO... EFECTOS (propósitos) IMPACTOS (fines) ACCIONES PRODUCTO Otras intervenciones y dinamicas INTRAMURAL EXTRAMURAL

¿Hasta cuál eslabón de la cadena? ¿Hasta dónde evaluar? ¿Hasta cuál eslabón de la cadena? Tres consideraciones 1. Se podría analizar el logro (o no) de TODOS los cambios esperados, o sea, todos los elementos del marco conceptual. 2. Se podría evaluar hasta el eslabón que corresponde a un cambio que se podría justificar por si solo. En si, sería un cambio que la sociedad buscaría, aunque no se produjeran ningunos efectos adicionales. 3. Se podría evaluar hasta asegurar que se produzca aquel cambio que provoca otros cambios (otros eslabones de la cadena) en forma ¨automática¨.

Que modelos de análisis Modelo experimental y no experimental de evaluación Modelos descriptivos: Definición de realidad, selección de indicadores, mediciones sistemáticas, muestreo y censos, aperturas descriptivas, medidas de tendencia central y distribuciones de frecuencias, series históricas Usos: Necesidad, monitoreo y performance. Modelos experimentales y cuasiexperimentales Manipulación de la realidad Medición en dos tiempos o más Grupo de control y grupo de tratamiento Notación O X O O O * Usos: Evaluación de Impacto Modelo de analisis causal no experimental Control ex-post Manipulación de variables Medición en uno o más tiempos (series históricas) Notación: x y Necesidad, Performance, Impacto

Las cuatro formas de la validez Validez estadística (puedo establecer co-variación) Validez del constructo (representa mi indicador el concepto relevante) Validez interna (es mi programa o política la responsable de los cambios en mis unidades en los indicadores selecionados) Validez externa (puedo considerar mis conclusiones válidas más allá de mis casos considerados)

Los riesgos de la validez interna Imputar el cambio a mi intervención cuando en realidad se debió a otros factores. Maduración Historia Selectividad Regresión a la media Instrumentación Testing

Modelo simple y sus riesgos de validez interna % de niños que no asisten a la escuela entre 9 y 12 años Maduración Historia Instrumentación Regresión a la media T1 int T2

Modelo con grupo de control sin aleatorización y sus riesgos de validez interna % de niños que no asisten a la escuela entre 9 y 12 años Maduración selectivo Historia selectiva T1 int T2

Modelo con grupo de control sin aleatorización, con series históricas y sus riesgos de validez interna % de niños que no asisten a la escuela entre 9 y 12 años T T T T1 Int T2

MODELO DE REGRESIÓN DISCONTINUA % de niños que no asisten a la escuela entre 9 y 12 años Punto de elegibilidad Renta media municipal