Evaluación cualitativa (y cuantitativa) en programas sociales

Presentación del tema: "Evaluación cualitativa (y cuantitativa) en programas sociales"— Transcripción de la presentación:

1 Evaluación cualitativa (y cuantitativa) en programas sociales
Algunos elementos sobre la importancia de la Evaluación en los Programas del DIF XIV Encuentro Nacional y Desarrollo Comunitario Desarrollo Integral de la Familia (DIF) Gabriela Vázquez Cermeño Con la colaboración de: Ana Núñez Interiano y Silvia A. Vázquez Hernández Noviembre 26, 2014 Huatulco, Oaxaca

2 CONTENIDO Aspectos generales sobre la evaluación de los programas sociales. Evaluación de impacto: Metodología Cualitativa – Cuantitativa o Métodos Mixtos. Presentación de algunos ejemplos de evaluación: Progresa- Oportunidades – PROSPERA. Programa de Desarrollo Comunitario del DIF: Comunidad DIFerente. Algunas recomendaciones para la evaluación de los programas del DIF.

3 ¿Por qué es necesario evaluar los programas sociales?
Importancia de la evaluación de programas sociales Importancia de a ¿Por qué es necesario evaluar los programas sociales? Para conocer las características, resultados y/o efectividad de las intervenciones públicas y hacer las correcciones pertinentes. Dependiendo del tipo de evaluación que se diseñe e implemente, se puede obtener información específica de interés.

4 Importancia de la evaluación de programas sociales
Importancia de a ¿La intervención está produciendo los beneficios previstos? ¿Cuál es el impacto general que tiene el programa en la población? ¿Se podría diseñar mejor el programa o proyecto para lograr los resultados previstos? ¿Se están empleando los recursos en forma eficiente? La evaluación de un programa social debería poder responder las siguientes preguntas:

5 Normatividad de la evaluación de programas sociales en México
Importancia de a Desde el año se creó el Consejo Nacional de Evaluación de la Política de Desarrollo Social (CONEVAL). Es el órgano encargado de normar y coordinar la evaluación de la Política Nacional de Desarrollo Social y las políticas, programas y acciones que ejecuten las dependencias públicas. Se encarga de establecer los criterios y lineamientos para las metodologías de evaluación sobre la política y los programas de desarrollo social. Lineamientos generales para la evaluación de los Programas Federales, CONEVAL, 2007.

6 Normatividad de la evaluación de programas sociales en México
Importancia de a Evaluación Es el análisis sistemático y objetivo de los programas federales y que tiene como finalidad determinar la pertinencia y el logro de sus objetivos y metas, así como su eficiencia, eficacia, calidad, resultados, impacto y sostenibilidad. Mediante la evaluación, se busca generar insumos relevantes que apoyen la toma de decisiones sobre ajustes y mejoras al diseño y operación del programa, mejorando así la efectividad y eficiencia del uso de los recursos y la rendición de cuentas. Lineamientos generales para la evaluación de los Programas Federales, CONEVAL, 2007.

7 Tipos de Evaluación según el CONEVAL
Importancia de a Evaluación de Consistencia y Resultados Evaluación de Indicadores Evaluación de Procesos Evaluación de Impacto. Identifica con metodologías rigurosas el cambio en los indicadores a nivel de resultados atribuible a la ejecución del programa federal. Evaluación Específica Evaluaciones Estratégicas Lineamientos generales para la evaluación de los Programas Federales, CONEVAL, 2007.

8 Sistema de Evaluación del Desempeño - CONEVAL
Importancia de a Las evaluaciones normadas por el CONEVAL tienen requisitos específicos. Estas evaluaciones y sus resultados forman parte del Sistema de Evaluación del Desempeño y se articularán sistemáticamente con la planeación y el proceso presupuestario.

9 Evaluación de impacto: Metodología Cualitativa – Cuantitativa o Métodos Mixtos.

10 Evaluación de Impacto Importancia de a El impacto (α) de un programa es la diferencia entre los resultados (Y) de la misma persona cuando ha participado y cuando no ha participado en el programa. Fuente: Gertler et al. (2011) y Martínez (2014).

11 Evaluación de Impacto … Esto no es posible, por lo tanto…
Importancia de a … Esto no es posible, por lo tanto… Fuente: Gertler et al. (2011) y Martínez (2014).

12 Durante la identificación y preparación del proyecto
Principales pasos en el diseño e implementación de una Evaluación de Impacto Importancia de a Durante la identificación y preparación del proyecto 1. Determinar si realizar o no una evaluación e identificar las preguntas de política pública relevantes 2. Aclarar los objetivos de la evaluación 3. Examinar la disponibilidad de datos 4. Diseñar la evaluación 5. Formar el equipo de evaluación 6. Si se recopilan datos: (a) Diseñar y seleccionar muestras (b) Elaborar instrumentos de recopilación de datos (c) Reunir y capacitar personal para trabajo en terreno (d) Realizar pruebas piloto (e) Recopilar datos (f) Administrar datos y acceder a ellos Durante la implementación del proyecto 7. Recopilar datos actuales 8. Analizar los datos 9. Redactar los resultados y analizarlos con las autoridades responsables y otras partes interesadas 10. Incorporar los resultados en el diseño del proyecto Tomado de Baker, (2000:17)

13 Diseños de Evaluaciones: Cualitativas vs. Cuantitativas
Importancia de a Tradicionalmente la evaluación de impacto se realiza utilizando metodologías cuantitativa, aunque también se utiliza métodos mixtos. Metodología Cuantitativa Diseños de control experimental o aleatorio Diseños no experimentales o cuasi experimentales Metodología Cualitativa Estudios de caso Etnografía

14 Características de los Métodos Cualitativos
Importancia de a El propósito de los Métodos Cualitativos es explorar las relaciones sociales y describir la realidad tal como la experimentan sus protagonistas. La investigación cualitativa requiere un profundo entendimiento del comportamiento humano y las razones que lo gobiernan. A diferencia de la investigación cuantitativa, la investigación cualitativa busca explicar las razones de los diferentes aspectos de tal comportamiento. En otras palabras, investiga el por qué y el cómo se tomó una decisión, en contraste con la investigación cuantitativa, que busca responder preguntas tales como cuál, dónde, cuándo, cuánto. La investigación cualitativa se basa en la toma de muestras pequeñas, esto es la observación de grupos de población reducidos, como salas de clase, una comunidad, etcétera.

15 Diseños de Evaluaciones: Métodos Mixtos
Importancia de a Cuando se utilizan de forma aislada, los métodos Cuantitativos y Cualitativos de evaluación tienen ventajas y desventajas. Ventajas: M. Cuantitativo: se pueden medir y analizar los datos; se pueden probar hipótesis en diseños experimentales o quasi-experimentales utilizando información estadística. M. Cualitativo: es flexible; se obtiene información detallada; se puede observar el contexto y el sentido del sujeto que se estudia. Desventajas: M. Cuantitativo: no se toma en cuenta el contexto particular de la población de estudio; requiere una muestra más amplia para obtener resultados estadísticamente representativa y generalizable. M. Cualitativo: requiere mucho tiempo y puede presentar sesgos del investigador. El objetivo de los Métodos Mixtos es aprovechar las ventajas de ambos enfoques e integrarlos para superar sus desventajas y potenciar sus ventajas.

16 Presentación de algunos ejemplos de evaluación:
Progresa- Oportunidades – PROSPERA. Programa de Desarrollo Comunitario del DIF: Comunidad Diferente

17 Externa e independiente
Un ejemplo de un Programa Multievaluado: Progresa - Oportunidades - PROSPERA Modelo integral de la evaluación de impacto Importancia de a Externa e independiente Grupos Asesores de la Evaluación Reconocidas instituciones académicas y de investigación Acompañamiento del BID, se suma CONEVAL Enfoques Cuantitativo Cualitativo Niveles de Análisis Hogares e Individuos Grupos etarios, étnicos Localidades Clínicas (proveedores de servicios) y Escuelas modalidad de escuela) Dimensión Temporal Transversal Longitudinal (Corto, Mediano y Largo Plazo) Ex ante y ex post Grupos de Estudio Grupos de tratamiento Grupos de comparación: sin Programa, por tiempos de exposición al Programa Temáticas Socioeconómicos y/o Demográficos Biológicos/antropométricos Desarrollo cognitivo, habilidades, logro educativo Dinámica familiar Infraestructura y dinámica comunitaria Otras INTEGRALIDAD

18 Resultados de la Evaluación de Impacto del PDHO
Importancia de a Logros en Educación Logros en Nutrición 1 Hubo una reducción de 23.7% en el abandono escolar de los jóvenes de 16 a 19 años de zonas urbanas. Se logró un grado adicional en la escolaridad esperada de jóvenes de 15 a 18 años en zonas rurales. En zonas rurales se incrementó la probabilidad de entrar a la secundaria de los niños y niñas de 12 a 14 años en 42 y 33 % respectivamente. 2 3 La prevalencia de anemia en zonas rurales fue 7.2% menor en niños beneficiarios de 48 a 59 meses de edad. 1 2 Los niños beneficiarios en zonas rurales de 24 a 71 meses de edad crecieron en promedio 0.67 cm. más que los niños no beneficiarios.

19 Muestra Analítica de Hogares
Un ejemplo de un Programa Multievaluado: Progresa - Oportunidades - PROSPERA Evaluación de Impacto Cualitativa La evaluación cualitativa de impacto de Oportunidades en zonas rurales Coordinadora de la evaluación: Mercedes González de la Rocha – CIESAS Occidente Investigadores: Alejandro Agudo Sanchíz, Armando Haro, Juan Luis Sariego, Gabriela Sánchez. Objetivo principal Esclarecimiento de los procesos que llevan a un impacto diferencial en la población incorporada al programa, según su condición étnica. Muestra Analítica de Hogares Se eligieron doce microrregiones rurales étnicamente diversas en cuatro estados del país. Se eligieron Hogares según las variables: ETNICIDAD E INCORPORACIÓN O NO AL PROGRAMA. Cuatro casos de cada uno de los siguientes tipos: Indígenas Beneficiarios (N=4) No Indígenas Beneficiarios (N=4) Indígenas No Beneficiarios (N=4) No Indígenas No Beneficiarios (N=4) En total 16 hogares por micro-región. Tipos de hogares . En los 8 casos de estudio de hogares beneficiarios se seleccionaron aquellos de larga exposición al Programa.

20 Resultados de la Evaluación de Impacto del PDHO
Importancia de a Evaluación Cualitativa El Programa ha contribuido a cerrar dos importantes brechas en escolaridad: étnica y de género. La prolongación de las trayectorias educativas es mayor entre indígenas que entre no indígenas, y también mayor entre mujeres que entre hombres. 1 2

21 Mejoras al PHDO- PROSPERA a partir de las recomendaciones de la evaluación de impacto
Acciones implementadas Cambiar el formato de hierro utilizado en los complementos para mejorar la efectividad de los impactos en la nutrición Cambio en la fórmula de hierro para mejorar la biodisponibilidad. Se aumentó la cantidad de algunas vitaminas y minerales. Realización de un estudio de eficacia de tres tipos de complementos para mejorar el crecimiento y desarrollo en niños, y el estado de nutrición en mujeres. Mejorar la promoción para asegurar el uso adecuado del Nutrisano Mejora de la comunicación educativa para la preparación y uso del complemento. Mejora en la distribución y entrega del complemento. Mejorar las sesiones educativas de autocuidado de la salud Sustitución de las “pláticas” por talleres de capacitación y mejoramiento del Paquete Básico de Servicios de Salud. 21 21

22 Duración de la evaluación: 1 a 2 años
Ejemplo de Investigación sobre el Programa de Desarrollo Comunitario del DIF: Comunidad DIFerente: Tesis de Luz Helena Salgado Importancia de a Duración de la evaluación: 1 a 2 años Métodos y técnicas empleados: Mixto. Cuantitativo -Encuesta y Cualitativo – Entrevistas semiestructuradas Tamaño y representatividad muestral: Baja California 25 grupos – solo una ronda Nuevo León 66 grupos (primera ronda), 46 grupos (segunda ronda) Principales resultados: Hay autonomía en la definición del Programa a nivel estatal. Su viabilidad depende de decisiones a nivel estatal. Actualmente se está realizando un Diagnóstico del Programa por un evaluador externo.

23 Algunas recomendaciones para la evaluación de los programas del DIF

24 Consejos para realizar evaluaciones con recursos escasos
Importancia de a Cuando se cuenta con poco tiempo y recursos limitados para invertir en evaluaciones de impacto y poca experiencia profesional en evaluaciones, pueden seguir los siguientes consejos: Comience gradualmente y extienda el alcance a medida que obtiene experiencia. Por ejemplo: realizar un estudio diagnóstico rápido para diseñar un cuestionario. Asegúrese de que los hallazgos sean metodológica­mente correctos y creíbles para las partes interesadas. No gaste todos sus recursos en encuestas de muestras extensas si las partes interesadas aceptan estudios de caso y descripciones exhaustivas de cómo funciona realmente el programa. El muestreo puede asegurar que se pueda seleccionar una pequeña cantidad de estudios de caso para garantizar que sea representativa en líneas generales del total de la población objetivo, y así, aumentar la validez/credibilidad de los hallazgos. Bamberger, M. (2012). Introducción a los métodos mixtos de la evaluación de impacto

25 Consejos para realizar evaluaciones con recursos escasos
Importancia de a Manténgase dentro de su presupuesto y nivel de experiencia profesional. Algunas universidades enseñan sobre métodos mixtos y quizás sea posible colaborar con un miembro del cuerpo docente o estudiante de forma gratuita o por un costo simbólico para una de sus asignaciones de campo. Muchos estudiantes de posgrado podrían considerar la preparación de un estudio de caso. Obtenga ayuda. Existen muchos seminarios web y otros recursos en Internet sobre el diseño y el uso de evaluación de programas sociales. Bamberger, M. (2012). Introducción a los métodos mixtos de la evaluación de impacto

26 Fuentes utilizadas Importancia de a Baker, Judy (2000). Evaluación del impacto de los proyectos de desarrollo en la pobreza. Manual para profesionales. Banco Mundial, Washington, D.C. Bamberger, M. (2012). Introducción a los métodos mixtos de la evaluación de impacto. Disponible en : CONEVAL (2007). Lineamientos Generales para la Evaluación de los Programas Federales de la Administración Pública Federal. Gertler, et al. (2011). La evaluación de impacto en la práctica. Banco Mundial, Washington, D.C. Martínez, Sebastián (2014). Midiendo el Impacto: Resumen de Principales Metodologías. Presentación de Power Point, BID- CEGA, Berkeley Salgado Locela, Luz Helena(2010). Autogestión Comunitaria en Programas de Desarrollo Social. Comunidad Diferente en Nuevo León y Baja California, Tesis Doctoral, El Colegio de la Frontera Norte.

27 ¡Gracias por su atención! Contacto: gabriela.vazquezc@prospera.gob.mx