Desde los indicadores hacia la EVALUACIÓN Reunión “Cuestionario para el Informe de la Cooperación Sur-Sur en Iberoamérica 2012: revisión, mejora e incorporación de indicadores” Montevideo, 27 a 29 de marzo de 2012 28/03/2012 JMª Larrú

PUNTO DE PARTIDA 28/03/2012 JMª Larrú

ACLARANDO TÉRMINOS EVALUACIÓN NO ES AUDITORÍA Puede compartir la “presión” por el orden EVALUACIÓN NO ES RENDICIÓN DE CUENTAS Para eso está el Informe Anual de CSS Pero aumenta la transparencia LOS 3 FINES DE LA EVALUACIÓN Aprender (lado amable) Controlar operaciones (lado amenazante) Tomar decisiones (lado político) 28/03/2012 JMª Larrú

TRES DEFINICIONES Arte de hacer preguntas sobre políticas públicas con intención de mejorarlas Juzgar el mérito y valor de las intervenciones La del CAD-OCDE: Apreciación sistemática y objetiva de acciones terminadas o en marcha de su diseño, implementación y resultados para determinar su pertinencia, eficacia, eficiencia, impacto y viabilidad Que proporcione información creíble y útil para ser incorporada como lecciones aprendidas, tomar decisiones tanto de receptores como de donantes 28/03/2012 JMª Larrú

MÉRITO Y VALOR VALOR MÉRITO ALTO CSS “SANTA” CSS-SORPRESA CSS sólo Técnica ANTI-CSS BAJO ALTO BAJO MÉRITO 28/03/2012 JMª Larrú

LA DIMENSIÓN POLÍTICA EVALUACIÓN 28/03/2012 JMª Larrú

TIPOS Y CUESTIONES Interna-Externa-Mixta Individual-Conjunta Objetiva vs subjetiva Individual-Conjunta Participar-negociar-aprender juntos (CSS) Formativa-Sumativa Mérito-Valor Estratégica-Operativa-Inútil Publica(da)-Invisible(opacidad) Con medida e historia – Opiniones diversas 28/03/2012 JMª Larrú

LAS 3 CUALIDADES POSIBLE ÚTIL CREÍBLE SÍ, también existe la Meta-evaluación 28/03/2012 JMª Larrú

DE INDICADORES A EVALUACIÓN EJEMPLOS 28/03/2012 JMª Larrú

INDICADOR DE EFICACIA METAS LOGRADAS/METAS PREVISTAS >1 EFICAZ <1 NO EFICAZ ¿RAZONES? EJEMPLO: CAPACITACIONES (PREVISTAS VS REALIZADAS) ZAPATERÍA 35 vs 30 METÁLICA 20 vs 30 TEXTIL 55 vs 20 JUZGAR LA EFICACIA 10 28/03/2012 JMª Larrú

SOLUCIÓN 30+30+20 / 35+20+55 = 80 / 110 = 0.72 INEFICAZ ¿causas? Mala planificación Desgaste de los cursillistas Emigración… TIEMPO: Mr*Tp / Mp*Tr Si Tp = 12 meses y Tr = 14 meses E = 80*12 / 110*14 = 960/1450 = 0.66 11 28/03/2012 JMª Larrú

EFICIENCIA GESTIÓN ADEUCADA DE LOS RECURSOS PARA LOGRAR LAS METAS INDICADOR: Ef = EFICACIA * Cp / Cr) CASO ANTERIOR COSTE PREVISTO: 500 € COSTE REAL: 350€ 12

SOLUCIÓN EFICIENCIA Ef = 0.72 * (500 / 350) = 252 / 500 = 1.02 EFICIENTE: ¿causas? Descuento por compras Subvenciones imprevistas Disminución de precios Tipos de cambio favorables…. 13

EFICIENCIA ESCOLARIZACIÓN 14 28/03/2012 JMª Larrú

EVALUACIÓN DE IMPACTO RESPONDER AL CONTRAFACTUAL ASIGNAR CAUSA (ATRIBUCIÓN) ELIMINAR EL SESGO DE SELECCIÓN CUANTIFICAR EL CAMBIO 15 15

¿ES CARO EVALUAR? ¿Cuál es el coste de la ignorancia? Evaluación “amateur” vs. Profesional Auto-Evaluación o internas Buena selección de las “en profundidad” Inmensas oportunidades de acción colectiva para mejorar 28/03/2012 JMª Larrú