Metodologías innovadoras en M&E: ¿Cómo medir las capacidades institucionales e individuales para realizar evaluaciones? Susana Guevara, Eva Miranda, Patricia Mostajo, Emma Rotondo, Adriana Torres, Proyecto Evaluations Conversatorio sobre la Conferencia conjunta ReLAC, RedLACME e IDEAS “La evaluación frente a los Objetivos de Desarrollo Sostenible: transformando la vida a través de la colaboración global y regional, con énfasis en América Latina y El Caribe Lima, 6 de Enero del 2018

Modelo HICD sobre Desarrollo de Capacidades Medición de Desempeño Estrategias de Desarrollo de Capacidades Desarrollo de Capacidades Institucionales Buenas Prácticas M&E Plan de Mejora Individuales Perfil de Competencias M&E Capacitación

Las Instituciones 11/15/2018 FOOTER GOES HERE

Medición de Buenas Prácticas Momento I Equipo Responsable Medición basal e identificación de brechas Momento II Análisis de brechas e identificación de causas raíz Momento III Plan de mejora del desempeño Momento IV Implementación del plan Retroalimentación y reconocimiento

Buenas Prácticas por Funciones La institución … BP 1 BP 2 BP 3 BP 4 Planificación BP 5 BP 6 BP 7 BP 8 Monitoreo BP 9: Cuenta con un área que realiza la función de evaluación BP 10: Realiza o solicita estudios de evaluación de acuerdo a estándares Evaluación BP 11 BP 12 Gestión y uso de evidencias BP 13 BP 14 Desarrollo de capacidades Buena Práctica 01: La institución cuenta con un área que realiza la función de planificación, considerando criterios de calidad y riesgos Buena Práctica 02: La Institución cuenta con un plan estratégico institucional (PEI), o documento similar, articulado a las políticas del Estado. Buena Práctica 03: La institución formula e implementa planes, programas y proyectos (PPP) a partir de su plan estratégico o documento similar. Buena Práctica 04: La institución formula planes operativos anuales (POA) para cada plan, programa y proyecto que implementa, los cuales están alineados al plan estratégico institucional o documento similar. Buena Práctica 05: La institución cuenta con un área que realiza la función de monitoreo de los planes, programas y proyectos, considerando criterios de calidad y gestión de riesgos. Buena Práctica 06: La institución cuenta con un Plan de MyE del Plan Estratégico Institucional (o documento similar), el cual establece indicadores mediante los cuales monitorea y evalúa el cumplimiento de los objetivos del PEI. Buena Práctica 07: La institución cuenta con un Plan de MyE de cada uno de sus PPP, estableciendo en ellos, indicadores mediante los cuales monitorea y evalúa el cumplimiento de sus objetivos, incorporando criterios de calidad y gestión de riesgos. Buena Práctica 08: La institución diseña e implementa algún sistema de información en apoyo a la gestión y toma de decisiones. Buena Práctica 09: La institución cuenta con un área que realiza la función de evaluación de los planes, programas y proyectos, incorporando criterios de calidad y de gestión de riesgos. Buena Práctica 10: La institución realiza o solicita estudios de evaluación de acuerdo a estándares. Buena Práctica 11: La institución cuenta con personal y procesos para la gestión y uso de evidencias Buena Práctica 12: La institución gestiona y usa evidencias obtenidas en los procesos de monitoreo y evaluación de sus PPP y otras fuentes. Buena Práctica 13: La institución fortalece las capacidades e impulsa el desarrollo del personal encargado del monitoreo, evaluación, gestión y uso de evidencias Buena Práctica 14: La institución cuenta con un código de ética para la gestión del MyE

Ejemplo 1: Verificando la Mejora del Desempeño

Las Personas 11/15/2018 FOOTER GOES HERE

Medición de Competencias para M&E Identificación de Competencias Formulación del Perfil de Competencias Validación del Mapa de Competencias Diagnóstico de Necesidades Oferta de Desarrollo de Competencias Medición Basal Medición Final Seguimiento En el Perú y en la región de América Latina no existe la certificación profesional por competencias de monitores y evaluadores. Existen algunos perfiles de competencias pero no profundizan lo relacionado a la evaluación de políticas, programas y proyectos de desarrollo. Definiciòn: Se refieren a la capacidad efectiva de un(a) evaluador(a) para llevar a cabo exitosamente una actividad laboral plenamente identificada y se define como el conjunto de conocimientos, habilidades y actitudes verificables que debe aplicar una persona durante su desempeño.

Funciones, Competencias Específicas, Desempeños Clave Monitoreo Diseñar el plan Elaborar los términos de referencia Diseñar según el tipo de evaluación Elaborar instrumentos de recolección Recolectar la información …… Evaluación: Solicitar y/o diseñar evaluaciones; desarrollar evaluaciones según tipo y técnicas Gestión de la Evidencia Análisis del contexto Identificación de necesidades de usuarios Teoría de Cambio Costeo y Cronograma Búsqueda de información Diseñar el Plan: Análisis del contexto, Identificación de necesidades de usuarios, Teoría de Cambio, Costeo y Cronograma, Búsqueda de fuentes de información secundaria Elaborar TdR: Objetivos de la evaluación: Alcance y Preguntas, Criterios de elección de postores, Plazos y Costos, Actividades y productos Elaborar el diseño según tipo de evaluación: Hipótesis y preguntas según tipo, Enfoques apropiados al diseño, Técnicas (cualitativas, cuantitativas, mixtas), Plan de Recolección y Análisis Elaborar instrumentos de recolección de información: Dimensiones y variables a medir/verificar, Confiabilidad de Instrumentos, Validación de instrumentos Recolectar información aplicando técnicas apropiadas: Aplicación técnicas, Muestreo, Elaboración Criterios control calidad Procesar la información: Construcción de base de datos. Revisión de la calidad de la data. Consistencia de datos Categorizar la información: Categorías según dimensiones y variables. Presentación de datos, Reducir los datos, Uso de modelos para el análisis cuantitativo, Uso de modelos para el análisis cualitativo Identificar los hallazgos significativos: Hallazgos con evidencias, triangulando, Síntesis con interpretaciones según análisis Redactar las conclusiones: Categorización/interpretación con juicios de valor o de mérito. Síntesis de los hallazgos según criterios, Atribución/contribución de causalidades Formular recomendaciones: Prescripciones sobre acciones, Articulación de conclusiones con cursos de acción Formular lecciones aprendidas: Identificación del nuevo conocimiento Elaborar el informe final: Contenido básico de resultados, Contenido básico de conclusiones, Contenido básico de recomendaciones Diseñar el plan de uso: Identificación de necesidades de usuarios. Evaluar el diseño de evaluación: Aplicación de la lógica evaluativa, Metodología para el establecimiento de criterios, Estándares de comparación.

Competencias Claves Facilitación de procesos Liderazgo de equipos Desarrollo profesional y autodesarrollo del talento Escucha activa Facilitación de procesos Liderazgo de equipos Negociación Práctica de valores democráticos y participativos Facilitación de procesos: Capacidad para acompañar y propiciar espacios para el aprendizaje significativo (útil para el cambio). Desarrollo profesional y autodesarrollo del talento: Búsqueda del aprendizaje continuo, mantenerse actualizado y poder incorporar nuevos conocimientos a su área de trabajo para obtener mejores resultados. Escucha Activa: Capacidad de entender el juicio del otro con respeto y apertura. Comportamiento guiado por valores y principios éticos: Capacidad de sentir y obrar en todo momento de acuerdo con los valores morales, respetando a las personas y políticas organizacionales. Práctica de valores democráticos y participativos: Capacidad para aplicar enfoques y perspectivas incluyentes y no discriminatorias. Negociación: Capacidad para persuadir a otras personas, utilizando argumentos honestos y basados en evidencias, acercando posiciones de las partes interesadas, para construir acuerdos guiados por el concepto de ganar-ganar. Liderazgo de equipos: Capacidad para asegurar una adecuada conducción de personas, desarrollar el talento, lograr y mantener un clima de trabajo armónico. Comportamiento guiado por valores y principios éticos

Ejemplo 2: Necesidades de Capacitación

M&E aplicado al M&E Lo avanzado: Lo pendiente: Herramientas de medición Propuesta de desarrollo de capacidades Aplicación en fortalecimiento del sistema Lo pendiente: Aplicaciones del perfil de competencias Áreas de mejora Profesionalización de la práctica