Evaluación de Programas

Presentación del tema: "Evaluación de Programas"— Transcripción de la presentación:

1 Evaluación de Programas
MAURICIO OLAVARRIA GAMBI, Ph.D. Instituto de Asuntos Públicos Universidad de Chile

2 Estructura de la Presentación
Introducción Tipos de Evaluación Ex – Antes Intermedia Ex – Post Ejemplos de aplicación de métodos de evaluación

3 ¿Qué es la Evaluación de Programas?
Es la aplicación sistemática de procedimientos y métodos de investigación social para juzgar la utilidad de programas de intervención social (Rossi y Freeman 1993) Involucra, por un lado, la comparación de un patrón de deseabilidad con la realidad y, por otro, la preocupación por alcanzar eficazmente los objetivos alcanzados (Cohen y Franco 2000)

4 Propósitos de la Evaluación
Estimar el aporte de las políticas y programas en ejecución Ponderar la utilidad de las modificaciones propuestas Juzgar la contribución de nuevas iniciativas Incrementar la efectividad de la gerencia de políticas y programas Establecer mecanismos de control y responsabilidad pública (accountability)

5 Evaluación de Programas
Tipos de preguntas que buscamos responder ¿Se implementó el programa como se pensó? (monitoreo) ¿Estamos llegando a la población objetivo? (monitoreo) ¿Cómo es la distribución del beneficio? (monitoreo) ¿Ha cambiado la realidad/problema? (impacto) ¿Son mayores los beneficios? (Costo beneficio) ¿Alternativas más eficientes? (Costo efectividad)

6 Efectos Políticos de la Evaluación
El Evaluador se ubica en el centro de una red en que diversos intereses se confrontan Quienes promovieron, apoyaron, financiaron, impulsaron o decidieron la puesta en práctica del programa Quienes reciben beneficios del programa Quienes se opusieron Quienes no satisficieron sus intereses Los evaluadores interesados en los aspectos metodológicos de la evaluación

7 Tipos de Evaluación Evaluación Ex – Ante Evaluación Intermedia
Evaluación de Diseño Evaluación de Eficiencia Evaluación Intermedia Seguimiento y Monitoreo Evaluación Ex – Post Evaluación de Resultados Evaluación de Impacto

8 Evaluación Ex - Ante Evaluación de diseño: consistencia entre
Características del Problema que será abordado Objetivos del programa Actividades consideradas en el programa Evaluación de eficiencia: relaciona costos incurridos y resultados alcanzados por el programa Análisis Costo – Beneficio Análisis Costo - Efectividad

9 Evaluación de Eficiencia
Análisis Costo – Beneficio: es una comparación de costos y beneficios expresados en términos monetarios Análisis Costo – Efectividad: Los resultados del análisis se expresan en términos sustantivos … cuánto producto se alcanza por unidad de costo incurrido Ambos métodos permiten jerarquizar racionalmente los programas según la relación entre sus costos y beneficios/efectividad

10 Análisis Costo Beneficio
Utilidad: ¿Es la iniciativa beneficiosa? Entre varias ¿cuál es la iniciativa que genera los mayores beneficios (excedentes)? Consideraciones: ¿Qué costos? ¿Qué beneficios? ¿Costos y beneficios para quién? Dificultad de acceso a la información

11 Ejemplo: Costos del Delito. ¿Por qué?
¿Son eficientes nuestras políticas de contención del crimen? ¿Alternativas más eficientes? ¿Sólo prevención? ¿Qué tipo de contención? ¿Combinación de intervenciones? ¿Cuanto debemos invertir para contener o reducir el crimen?

12 Consideraciones y Métodos para identificar Costos del Delito y Beneficios de PSC
Unidad de medida: dinero Valoración contingente Precios hedónicos Contabilización de pérdidas y gastos Precios sombras Costos de Oportunidad Externalidades Tasa de Descuento Costos y gastos directos Consideraciones éticas

13 Noción de Costos Económicos del Delito
Pérdida de bienestar que sufren las víctimas y la sociedad – y que son susceptibles de ser valoradas económicamente –, las inversiones, gastos o acciones que deben realizar los ciudadanos para evitar ser víctimas de un delito y el gasto público orientado a prevenir el crimen, identificar, perseguir y hacer efectiva la responsabilidad de los delincuentes (Olavarría 2005)

14 Tipos de Delitos Analizados
Contra las personas: homicidio, lesiones, violación y delitos sexuales, lesiones, violencia intrafamiliar. Contra la propiedad: robo y hurto. Delitos económicos: estafa, cheques, tributarios y similares

15 Tipos de Costos Costos sociales Ingreso no percibido
Costo de oportunidad social de los delincuentes Costo de bienes robados y hurtados Costos médicos Costos del Estado: Agencias del Gobierno Policías Tribunales Cárceles

16 Cuestiones Metodológicas
Algunos Delitos: Homicidio Lesiones Violencia intrafamiliar Robo, hurto Delitos Económicos

17 Matriz de Costos del Delito

18 Cifra Negra del Delito Delitos Porcentaje de Denuncias
Porcentaje de ratificaciones Inflactor Robo o Hurto de Vehículo Motorizado 86,11% 54,84% 1,16 Robo con fuerza en las cosas 41,63% 27,17% 2,40 Robo con Violencia 40,83% 35,96% 2,45 Hurto 28,33% 22,00% 3,53 Lesiones 59,26% Sin Datos 1,69 Violación 50,00% 63,64% 2.00 Otros 30,77% Sin Información 3,25 Fuente: Elaboración propia con datos provenientes de la “Encuesta de Victimización y Percepción Región Metropolitana 2001” (n = observaciones), División de Seguridad Ciudadana, Ministerio del Interior.

19 Monitoreo y Seguimiento
¿Por qué la intervención (no) tuvo impacto? Objetivos del Monitoreo: Ajustar implementación con diseño Evaluación sistemática de cobertura e implementación Preguntas de Monitoreo: ¿Llega el programa a la población objetivo? ¿Es la implementación del programa consistente con el diseño? ¿Cuánto cuesta la implementación?

20 Monitoreo y Seguimiento
Monitoreo sobre la Cobertura: Población objetivo Cobertura sub-cobertura sobre-cobertura Sesgos

21 Monitoreo y Seguimiento
Monitoreo de la entrega de servicios Inexistencia de programa o tratamiento incompleto Tratamiento equivocado Tratamiento no estandarizado

22 Evaluación Ex - Post Evaluación de Resultados Evaluación de Impacto
Programas de Cobertura Parcial Diseño Experimental Diseño Cuasi – Experimental Programas de Cobertura Total Controles Reflexivos Controles Sombras

23 Evaluación Ex - Post Evaluación de Resultados Evaluación de Impacto
Busca identificar la pertinencia y el grado de logro de los objetivos planteados originalmente al programa Evaluación de Impacto ¿Qué cambios ocurridos en la realidad pueden ser razonablemente identificados como una consecuencia del programa en análisis?

24 Evaluación de Impacto Objetivo de la E.I. ¿Cómo se hace una E.I.?
Se aplica a programas de cobertura parcial Comparación ¿Qué es el resultado bruto de la E.I.?

25 Modelo Experimental Comparación entre dos grupos y antes / después
Uno recibe el tratamiento y el otro no La asignación a los grupos se hace al azar Si hay perfecta comparabilidad, la diferencia puede ser atribuida a la intervención Idéntica composición Idénticas experiencias Idéntica predisposición

26 Impacto = (GTt1 – GTt0) – (GCt1 – GCt0)
Modelo Experimental Estimación del Impacto: la doble diferencia Impacto = (GTt1 – GTt0) – (GCt1 – GCt0)

27 Limitaciones del Modelo Experimental
Consideraciones éticas Tiempo y costo Problemas de validez interna Falla en la aplicación del “tratamiento” (cumplimiento parcial) Abandono o deterioro de la muestra (atrición) Efectos del experimento (efecto Hawthorne) Muestra pequeña Problemas de validez externa Muestra no representativa Diferencias entre el experimento y tratamiento real

28 Diseño Cuasi-Experimental
Grupo de comparación no es determinado al azar Grupo de comparación debe asemejarse lo más posible al grupo de tratamiento Cuidado con el sesgo de selección

29 Diseño Cuasi-Experimental
Alternativas de construcción grupo de comparación: Pareo Individual Grupal Procedimientos Estadísticos Controles Genéricos

30 Limitaciones del Cuasi – Experimento
Consideraciones éticas Tiempo y costo Problemas de validez interna Problemas de comparabilidad en los grupos Cumplimiento parcial Abandono o deterioro de la muestra (atrición) Sesgo de selección Problemas de validez externa Diferencias entre el grupo estudiado y otras poblaciones o diferencias en los contextos de esas poblaciones

31 E.I. Programas de Cobertura Total
Controles Reflexivos Controles Sombras Evaluación de Expertos Juicios de Administradores de Programas Juicio de Participantes

32 Diseño Cuasi-Experimental
CASO: Pobreza, Crecimiento Económico y Políticas Sociales Análisis comparado de Chile, Uruguay, Costa Rica, Bolivia y Paraguay

33 Política Social en perspectiva a) Propósito de la evaluación
Comprobar si la reducción de la pobreza observada en Chile entre 1987 y 2003 se debe en un 80 o 90% al crecimiento económico Establecer contextos para la asociación entre crecimiento económico y reducción de la pobreza y desarrollo social Determinar si hay asociación entre largas tradiciones de política social y reducción de la pobreza y desarrollo social

34 Política Social en perspectiva b) Diseño
Comparación de casos: Caso central: Chile Casos similares: Uruguay y Costa Rica Casos diferentes (contrafactual): Bolivia y Paraguay Comparaciones ex-post (con similar origen) y análisis de procesos económicos, políticos e intervenciones de política social Unidad de análisis: país

35 Política Social en perspectiva c) Tratamiento
Existencia (o no) de largas tradiciones de intervención de política social en contextos de: Diferentes tendencias de crecimiento económico Diferentes contextos político-institucionales

36 Política Social en perspectiva d) Análisis
Asociación entre variables Variables dependientes: Variaciones en incidencia de la pobreza Variaciones en desarrollo social Variables independientes: Tendencias en el crecimiento económico Evolución político institucional Tradiciones de intervenciones de política social

37 Política Social en perspectiva e) Resultados del análisis
Asociación entre desarrollo social - baja pobreza y crecimiento en contextos de largas tradiciones de política social (Chile y CR) Baja pobreza, alto desarrollo social y lento crecimiento de largo plazo (Uruguay) Crecimiento no se traduce en mas dinámico desarrollo social y disminución de la pobreza cuando hay carencia de una larga tradición de políticas sociales (Bolivia y Paraguay)

38 Política Social en perspectiva e) Implicancias del análisis
¿Requiere el crecimiento económico de precondiciones para ser efectivo en la reducción de la pobreza? El análisis sugiere que consistentes esfuerzos en educación, salud y protección permitirían la acumulación de capital humano necesario para aprovechar las oportunidades que da el crecimiento

39 Diseño Cuasi-Experimental
CASO: Proyecto “Los vecinos nos cuidamos comunicándonos” Municipio de Nogales

40 Proyecto Municipio de Nogales
Objetivo Disminuir delitos y sensación de temor de los vecinos de Villa El Esfuerzo Localización Territorio de Villa El Esfuerzo Intervención Instalación de sistema de alarma comunitaria Actividades comunitarias de apoyo a la instalación del sistema de alarmas

41 Proyecto Municipio de Nogales: Alternativas de Evaluación
Control Reflexivo Comparación antes – después La población es comparada consigo misma Control Genérico La evolución de los indicadores de la Villa son comparados con la evolución de los indicadores del Municipio, Provincia o País Diseño cuasi – experimental ex – post Debe identificarse una “Villa comparable” que no haya implementado el sistema de alarma comunitaria ¿Cómo era la situación antes de la alarma? ¿Periodo de implementación?

42 Ideas Centrales La evaluación de programas Requiere:
Es la aplicación de métodos de investigación en ciencias sociales al análisis de una intervención y/o problema público Requiere: Rigor Atender a cuestiones prácticas El evaluador está en el centro de una red de intereses