Departamento Federal de Asuntos Exteriores DFAE Agencia Suiza para el Desarrollo y la Cooperación COSUDE Panorama de los MÉTODOS cualitativos y cuantitativos reconocidos para la medición y la evaluación en la cooperación al desarrollo Simon Zbinden Seminario sobre el MONITOREO DE EFECTOS La Habana, Junio 2009 Una presentación basada en: DeGeVal, 2009. Verfahren der Wirkungsanalyse – Eine Landkarte für die entwicklungspolitische Praxis. Arbeitskreis Evaluation von Entwiclungspolitik, Arbeitsgruppe Wirkungsanalyse. Berlin, Germany.

Porqué un tal panorama - objetivos Conocer los métodos existentes más reconocidos -> saber donde recoger mayor información Métodos comprobados y reconocidos, todos con características y usos diferentes -> no hay solución "one-size-fits-all" -> hacer una selección à medida Aplicar métodos comprobados y reconocidos versus desarrollar métodos propios -> crear mayor validad y credibilidad Mezclar para optimizar evaluación -> seleccionar métodos cualitativos y cuantitativos

Centros de recursos Metodologías, ejemplos & casos Network of Networks on Impact Evaluation (NONIE) www.worldbank.org/ieg/nonie International Initiative for Impact Evaluation (3ie) www.3ieimpact.org DAC Network on Development Evaluation www.oecd.org/dac/evaluationnetwork Poverty Action Lab http://www.povertyactionlab.org/ Metodologías, ejemplos & casos

DAC estándares de calidad1 para evaluaciones exigen: Análisis del contexto socio-político-institucional y otros factores externos que influencian las intervenciones Descripción detallada del método y técnica (incluso tomar la muestra) de la colección y el análisis de los datos / informaciones Participación de todos los actores involucrados Transparencia de todas las fuentes de información Validación de los fuentes de información 1 DAC Guidelines and Reference Series: Quality Standards for Development Evaluation.

Un granito de teoría

Dos preguntas fundamentales Funciona? Porqué funciona? Ambas son crucial, pero raramente abordado simultáneamente

1era Pregunta: Funciona? -> atribución y causalidad "Curtis, necesito que me busques un método para echar toda la culpa de esto a el niño"

1era Pregunta: Funciona? Problema fundamental: la misma persona no puede ser observado simultáneamente "con" y "sin" la intervención Conclusión: "evidencia" solo con lo contrafactual –> que hubiera pasado al grupo meta sin la intervención, politica o medida el efecto neto validad interna-> concluir que x causo y

1era Pregunta: Funciona? Perspectiva investigación social empírica trabajar con grupo de control = comparación "sin y con" -> única manera para evidenciar causalidad, pero método de más alto valor informativo En practica no siempre posible (25 – 40% de los casos) -> metodo alternativo: "antes-después"

2nda Pregunta: Porqué y como funciona? Dos formas para abordarlos Enfoques con regresiones de datos cuantitativos -> comprobar un modelo teórica Métodos cualitativos

Conclusiones Idealmente aspirar a… comparación contrafactual "sin y con", combinado con "antes – después" (funciona?) mezcla de métodos cuantitativos y cualitativos (porqué y como funciona?)

Los métodos "Carlito, puedes quitar tu método de orientación, el día laboral está terminado"

Métodos cuantitativos - rigurosas -> Para generar información primaria diseños cuantitativos experimentales diseños cuantitativos quasi-experimentales -> Feria

Métodos cualitativos - participativos -> Para generar información primaria Enfoque CeVal según Stockmann Do-No-Harm (DNH) e-Val® Drivers of Change (DoC) by DFID Impact Monitoring Assessment según Herweg&Steiner Impact Pathway KAP (Knowledge, Attitude and Practice) Method for Impact Assessment of Programs and Projects (MAPP) Most Significant Change (MSC) NGO-IDEA Toolbox Outcome Mapping (OM) Participatory Impact Monitoring / FAKT Participatory Impact Monitoring / SLE Participatory Livelihood System Analysis (PalSa) Participatory Methodology for Measuring the Contribution of Volunteering to Dev Peace and Conflict Assessment (PCA) Programm-integriertes Planungs-, Monitoring- und Evaluationssystem (PriMe) según InWent Real Time Evaluation RTE Tracer Study Monitoreo hacia efectos de la GTZ -> Feria

Most Significante Change Technique (MSC) Técnica acerca del cambio más significativo Método de monitoreo y evaluación participativo de efectos e impactos Durante y al fin del ciclo de proyecto Principio de base: actores "identifican" posibles cambios por el proyecto (abierto, no hay indicadores pre-definidos) coleccionar cuentos de cambios significativos análisis sistemática participativa por los actores selección del historia más significativo

Most Significante Change Technique (MSC) Técnica acerca del cambio más significativo

Tracer Studies Método para estudiar "rastros" en formación / capacitación Método para monitorear formación y capacitación en los sectores educación, caplab, universidades Autoevaluación de los graduados (abierto, sin indicadores predefinidos) Medición antes, después y después + x años Principio de base establecer población de base establecer indicadores, áreas de observación (cuestionarios semi-abiertos) seleccionar muestra significativa (voluntaria) de graduados antes, después y después + x años triangulacion con evaluaciones de empleadores

Gracias – ahora Sí, medimos! MCR