Evaluación de Resultados: Metodologías Curso Internacional Políticas presupuestarias y gestión por resultados: INDETEC Guadalajara, 20-31 Agosto 2007 Evaluación de Resultados: Metodologías Marianela Armijo Consultora Área de Políticas Presupuestarias y Gestión Pública ILPES/CEPAL Marianela.armijo@cepal.org

EVALUACION “Proceso de medición sistemática y continua de los resultados obtenidos de un programa, proyecto, política y la comparación de esos resultados con estándares u objetivos previamente definidos “ OCDE. “Un estudio en profundidad, que se realiza en un tiempo definido y en el cual se utilizan instrumentos de investigación en forma sistemática y analítica, para generar un juicio sobre el valor de una intervención.....…”Evaluación del Gasto de Programas en la Unión Europea. Comisión Europea “Conocimiento para la acción” Mejores Prácticas para la Evaluación. Public Management Public

OBJETIVOS DE LA EVALUACION APOYAR EL PROCESO DE TOMA DE DECISIONES INFORMACION SOBRE IMPACTO DE LAS POLITICAS AYUDA A VALORAR LA CONTRIBUCION PUBLICA DE LAS ACCIONES GUBERNAMENTALES EN LA EJECUCION DE POLITICAS Y PROGRAMAS MEJORAR EL RESULTADO DE LAS INTERVENCIONES PUBLICAS

(ENTIDADES QUE EJECUTAN PROGRAMAS Y PROVEEN BIENES Y SERVICIOS) INTERVENCIONES PUBLICAS (CATEGORIAS) POLITICAS PROGRAMAS OPERATIVO (ENTIDADES QUE EJECUTAN PROGRAMAS Y PROVEEN BIENES Y SERVICIOS)

ETAPAS DEL PROCESO DE EVALUACION EX -ANTES ETAPAS Diseño de Programas y Proyectos OPERATIVA Ejecución del Programa o Proyecto, Productos, Servicios EX-POST Medición del desempeño o Impacto

EVALUACION GUBERNAMENTAL EX POST DISEÑO Y FORMULACIÓN DE POLÍTICAS Y PROGRAMAS EVALUACION TOMA DE DECISIONES POLITICAS, PROGRAMAS DESEMPEÑO, GESTION EJECUCIÓN E IMPLEMENTACIÓN

TIPO DE ACCION GUBERNAMENTAL EVALUACION Y GESTION POR RESULTADOS TIPO DE ACCION GUBERNAMENTAL QUE SE EVALUA METODOLOGIA Estrategias Nacionales Metas nacionales Proceso Político Ciudadanía, Encuestas, Escrutinio Público Políticas Metas sectoriales Comités Científicos de Evaluación, Paneles de Expertos Operativa-Instituciones Cumplimiento de metas de gestión y resultados finales Indicadores de Eficiencia, Eficacia, Calidad, Economía Sistema de Indicadores de Desempeño Cuadro de Mando Integral Programas Resultados, gestión, impacto Marco Lógico Evaluación de Impacto Inversiones Rentabilidad Social Costo-Beneficio Evaluación costo-beneficio ex-ante

EVALUACION DE POLITICAS SINERGIA COLOMBIA SINE COSTA RICA

RAZON DE SER DE SINERGIA Evaluar las políticas públicas expresadas en el Plan Nacional de Desarrollo {PND--) el documento que plasma las preferencias ciudadanas} Enfasis: nivel macro de la gestión Enfasis: meta-evaluación

Razón de ser Generar mecanismos para exigir el rendimiento de cuentas sobre el uso de los recursos públicos destinados a cumplir las promesas realizadas a la ciudadanía a partir del programa de un gobierno elegido democráticamente Referencia: Plan Nacional de Desarrollo

El ciclo de la evaluación Plan de Gobierno (4 años) Definicion de compromisos cuatrienales y distribucion proyectada con metas cuantificables OBJETIVOS DE POLITICA SECTORIAL PLAN INDICATIVO Sector 1 (anual) PLAN INDICATIVO Sector 2 Seguimiento Semestral (DEGR) PLAN INDICATIVO Entidad 1 PLAN INDICATIVO Entidad 2 CONPES de Compromisos (anual) Auto-evaluacion (meso-evaluacion descentralizada) (anual) CALIFICACION: Entidad Sector Gobierno Nacional (anual) PLAN INDICATIVO Entidad 3 Vigencia año 2 CONPES anual de evaluacion Vigencia año 3 CONPES del cuatrenio: EVALUACION DEL PERIODO DE GOBIERNO (meta-evaluacion) Vigencia año 4 Evaluaciones Externas

COSTA RICA

Sistema Nacional de Evaluación (SINE) Costa Rica (1994) MIDEPLAN Objetivo: “Dotar a la Presidencia de la República de un instrumento de gerencia pública para evaluar las acciones estratégicas incluidas en el Plan Nacional de Desarrollo (PND) y promover la rendición de cuentas.”

El proceso de evaluación AUTOEVALUACIÓN EVALUACIÓN ESTRATÉGICA Plan Operativo Anual Compromiso de Resultados (CDR)

TIPOS DE EVALUACIONES:Chile Evaluaciones de Programas Gubernamentales (EPG) Evaluación de consistencia en diseño, gestión y resultados Basado en la metodología de marco lógico Realizadas por paneles de 3 expertos independientes, seleccionados por concurso público Informe Final en 6 meses Evaluación de Impacto (EI) Evaluación de los resultados finales de programas en base a mediciones de impacto Metodología considera recolección de datos, técnicas de medición más sofisticadas (“Matching”, LATE), grupos de control Realizadas por consultoras privadas, universidades, seleccionadas a través de licitación pública Informe Final en 1-1/2 años Evaluación Comprehensiva del Gasto (ECG) Evaluación del diseño y gestión institucional y resultados y uso de recursos en la provisión de los productos estratégicos. Se evalúa la posible existencia de duplicidades, inconsistencias, oportunidades para generar sinergías y ahorros

EVALUACION DE PROGRAMAS OBJETIVOS DE LA EVALUACION METODOLOGIA USO DE LA EVALUACION Y CONSECUENCIAS PARA EL PRESUPUESTO

OBJETIVOS DE LA EVALUACION Apoyar la gestión, el análisis y toma de decisiones de asignación de recursos públicos. Mejorar la gestión a través del aprendizaje institucional de los administradores o encargados de implementar las políticas y programas Generar aprendizajes derivados del desarrollo de la evaluación y análisis de los resultados, contribuyendo así al objetivo de eficiencia operacional del sistema presupuestario. Contribuir a la transparencia y accountability o rendición de cuentas.

Ambitos de la evaluación Justificación del Programa Diseño. Organización y Gestión.. Resultados: Eficacia, Eficiencia, Economia, Calidad Sostenibilidad/Continuidad. Conclusiones y Recomendaciones.  

Metodología: Marco Lógico

RESULTADOS DE EVALUACIÓN DE PROGRAMAS Y SUS EFECTOS USO DE LA EVALUACION DE PROGRAMAS RESULTADOS DE EVALUACIÓN DE PROGRAMAS Y SUS EFECTOS FONDO DE PROMOCIÓN DE EXPORTACIONES (FPE) – PROCHILE (evaluación año 2002) RESULTADOS Y EFECTOS El FPE financia proyectos y actividades de promoción de exportaciones que permiten aumentar y diversificar la oferta exportable y elevar el valor agregado de los bienes y servicios producidos en Chile, además de promover el desarrollo exportador de las regiones y ampliar las oportunidades de exportación de las pequeñas y medianas empresas. El FPE ha ha beneficiado a más de 2.500 empresas en el período 1996-2001 a través del cofinanciamiento de proyectos de promoción de exportaciones. La evaluación no muestra resultados significativos del programa sobre el volumen de exportaciones o el nivel de las ventas de las empresas beneficiarias respecto de aquellas del grupo de control. Sobre la base de los hallazgos de la evaluación, el presupuesto se redujo para el año 2004, incluyéndose también una reestructuración de las partidas presupuestarias y la elaboración de compromisos en materia de gestión interna para asegurar un mejor desempeño. DESCRIPCIÓN

UTILIZACION DE LA EVALUACION DE PROGRAMAS EN EL PRESUPUESTO Y EN EL MEJORAMIENTO DE LOS PROGRAMAS

Costo de la evaluación

Evaluación Comprehensiva del Gasto

Objetivos Evaluar el diseño institucional, la gestión de los procesos claves, y los resultados y uso de recursos en la provisión de los productos estratégicos (bienes y servicios). Utiliza como información base las prioridades gubernamentales, las definiciones estratégicas institucionales, las estadísticas de los beneficiarios/usuarios/clientes respecto de cada uno de los productos estratégicos, los indicadores que dan cuenta del desempeño de éstos, y los gastos asociados a la provisión de dichos productos. .

Modelo de Evaluación Comprehensiva del Gasto Sistema de Control de Gestión y Presupuestos por Resultados. La Experiencia Chilena. 2005 www.dipres.cl

EVALUACION DE IMPACTO

ESTRUCTURA DE LA EVALUACION DE IMPACTO: CASO CHILE INTEGRAN LA EVALUACION DE LOS RESULTADOS DE CORTO, MEDIANO Y LARGO PLAZO DE LOS PROGRAMAS (EFICACIA), CON LOS PRINCIPALES ASPECTOS DE EFICIENCIA Y ECONOMIA EN EL USO DE LOS RECURSOS.

PREGUNTAS QUE SE HACE LA EVALUACION DE IMPACTO Efectos de mediano y largo plazo sobre la población beneficiaria que espera obtener el Programa ¿Cuáles serán los beneficios con que quedará la población beneficiaria una vez que concluya su participación en el programa? Incremento en el nivel de remuneraciones Reducción de la tasa de morbilidad de menores beneficiados con un programa de vacunación Aumento del rendimiento escolar de los alumnos participante en un programa de reforzamiento educativo

OBJETIVOS Conocer si el programa produjo los efectos deseados en los beneficiarios. Conocer si los cambios observados en los beneficiarios, pueden asociarse a los efectos del programa (causalidad). ¿Cómo debiera mejorarse el programa para maximizar sus beneficios en las variables de impacto? 

METODOLOGIAS Diseño experimental tradicional y aleatorio Método de doble diferencias Métodos de comparaciones Pareadas (matching) Selección de modelos ( variables instrumentales) Evaluaciones cualitativas

METODOLOGIAS Requiere de la aplicación de técnicas, que permitan conocer lo que habría ocurrido en caso de que el programa no se hubiese puesto en marcha. Identificar las VARIABLES QUE DEBEN SER MEDIDAS para determinar si el Programa ha generado realmente los beneficios o resultados finales o impacto esperados  

El impacto del programa es: La diferencia en la variable resultado (Y) que registra el individuo (i) con y sin la intervención del programa αi = Y1i − Yoi αi es el impacto del programa (tratamiento) sobre la persona i, Yoi es resultado potencial que registraría el individuo i sin el tratamiento, Y1i es el resultado potencial que registraría el individuo i con el tratamiento.

Problema fundamental de identificación No es posible observar Yoi e Y1i, para un mismo individuo en un momento del tiempo. Un individuo i en un momento del tiempo puede presentar solo uno de los dos estados posibles: Intervención en el programa No intervención en el programa

Problemas metodológicos de la medición Medir el impacto esperado o promedio del programa sobre el conjunto de los individuos. Sesgo de selección: Selección de los individuos que participan en el programa responde a ciertos criterios de focalización u otros. Programa de Capacitación, Ingresos beneficiarios menores antes de la capacitación. En ausencia del Programa los ingresos potenciales de los beneficiarios serán menores a los de los no beneficiarios en el mismo período

METODOLOGIAS Se requiere disponer de información para el llamado grupo de control o de comparación. Estos grupos deben seleccionarse de manera aleatoria, de la misma población de la que provienen los participantes. Ambos grupos deben tener las mismas características

METODOLOGIAS Un grupo de control es básicamente un segmento de no beneficiarios que son parte de la población objetivo, es decir, un grupo que comparte las características sociales, económicas, educacionales, etc, del grupo beneficiario. (dos grupos estadísticamente idénticos entre sí) La única diferencia entre los individuos del grupo de control y los beneficiarios efectivos debe ser su participación en el programa. 

Diseño experimental o aleatorio Aislar los efectos que tienen sobre la variable resultado (Y) factores externos al Programa Selección de individuos beneficiarios del programa sea independiente de sus resultados potenciales. Selección aleatoria de los individuos que se beneficien del programa La medición de impacto consiste en cuantificar, una vez transcurrido el tiempo pertinente de intervención del programa, la(s) variable(s) de impacto,tanto para el grupo de tratamiento y como para el grupo de control – en ambos simultáneamente y para el mismo período de tiempo – para luego analizar las diferencias que existen entre ambos.

Grupo de control aleatorio entre la población de individuos elegibles, garantizándose que en el inicio ambos grupos son estadísticamente iguales en términos de sus características como de sus respectivas distribuciones

Diseño experimental o aleatorio n1=número de individuos en el grupo de tratamiento N0=número de individuos en el grupo de control. Principal distorsión: posibles cambios del grupo de control Durante el período de evaluación (abandono área geográfica en ese lapso=Grupo de control contaminado. Viabilidad política de excluir de la cobertura de un programa aleatoriamente a un grupo de beneficiarios elegibles y como tal necesitan los beneficios del programa

Diseño cuasi experimental Selección de beneficiarios no es aleatoria, se basa en criterios de elegibilidad y focalización que establecen diferencias observables como no observables, entre el grupo de tratamiento y los no beneficiarios (grupo de control) Diferencias observables: responden a los criterios de selección del programa Diferencias no observables: características de la población que afectan su participación pero para la cual no hay información (habilidad individual, voluntad de participar, procesos subjetivos y no formales que determinan que una persona acceda a los beneficios del programa

Diseño cuasi experimental El impacto del programa no podrá ser estimado a través de la simple diferencia de medias entre la variable resultado del grupo de tratamiento y el grupo control ya que las diferentes características observables y no observables de los beneficiarios y no beneficiarios implicará la existencia de sesgo de selección, la medición del impacto del programa resultará sesgada. Solución: diseño cuasi-experimental, que permita controlar por las distintas características que posee el grupo de beneficiarios del programa (tratamiento) respecto de los no beneficiarios (grupo control) que pudiesen afectar el resultado o impacto del programa.

Metodología Construcción de dos escenarios. Un escenario prefactual, es decir,la identificación y medición de las condiciones del grupo de beneficiarios y no beneficiarios (control) antes de la ejecución del programa(construcción de la línea de base o situación sin programa) y un escenario contrafactual, que implica la medición del cambio en las condiciones del grupo beneficiario y grupo control, de modo de estimar lo ocurrido como consecuencia directa de la intervención del programa. ¿Cuál sería la situación actual de estos beneficiarios si no hubieran participado en el programa?, comparando los resultados finales del programa en los beneficiarios con respecto a un grupo de no beneficiarios de características similares (grupo control), de modo de aislar los efectos de otros factores externos al programa?

Condiciones Existencia de una base de datos (o varias bases que permitan formar una común) de beneficiarios y no-beneficiarios, que contenga para ambos grupos información sobre los criterios de elegibilidad del programa: Condición socioeconómica, tamaño de la familia, escolaridad, ubicación geográfica o cualquier otra característica que se haya utilizado para seleccionar a los beneficiarios) e información sobre las variables que permitirán medir los resultados finales o impactos esperados de la intervención (por ejemplo: nivel de ingresos, condición laboral, nivel de salud, etc.).

Metodologías cualitativas Evaluación participativa: incorpora a ls beneficiarios en el diseño, la ejecución y la evaluación de un programa. Focus group Entrevistas a informantes claves

RESULTADOS DE EVALUACIÓN DE PROGRAMAS Y SUS EFECTOS USO DE LA EVALUACION Y CONSECUENCIAS PARA EL PRESUPUESTO RESULTADOS DE EVALUACIÓN DE PROGRAMAS Y SUS EFECTOS PROGRAMA DE SALUD BUCAL – JUNAEB (evaluación año 2004) RESULTADOS Y EFECTOS El programa de atiende a estudiantes de enseñanza básica de escuelas subvencionadas vulnerables para mejorar su salud bucal mediante acciones clínicas y educativo-preventivas. La cobertura de la Atención Odontológica Integral en el año 2003 alcanzó al 8% de la población objetivo. Un análisis más específico para la cohorte de 6 años de edad muestra que el sector público atiende al 69% de los niños de esta edad, de los cuales el 49% es atendido en los módulos del programa, lo que se evalúa positivamente. El índice COP-D (C: caries; O: Obturados y P: perdidos) muestra que las caries entre el ingreso y el alta de los escolares atendidos en el módulo dental en primer año básico disminuyen en 98% en el año 2003. Como resultado de la evaluación, el Presupuesto 2005 considera un incremento de cobertura del programa en relación a acciones educativas, preventivas y curativas de atención dental. DESCRIPCIÓN VARIABLES DE IMPACTO