Mejorando los sistemas de Medición del Desempeño y Evaluación en la Banca Pública de América Latina Morelia, México Noviembre 6-7, 2018

Situación actual M&E en Bancos de Desarrollo Isabel Haro | BID

Metodología: Cuestionario estructurado Objetivo: evaluar opiniones (perspectiva de la BPD) sobre características propias del proceso de M&E de sus programas o productos de financiamiento Herramienta (ventajas): bancos de la región como auto-informadores; recogida, cuantificación y registro de datos de forma remota Estructura: 22 preguntas cerradas; 3 dimensiones: estructura organizacional, sistemas de información, sistematización y/o institucionalización; objetivo y alcance del sistema existente; y capacidad y recursos Forma remota = (naturaleza regional)

Metodología: Cuestionario estructurado Encuestados: 30+ bancos de la región, vía correo electrónico Respuestas: 20 bancos en 11 países: Argentina, Brasil, Chile, Colombia, Ecuador, El Salvador, Jamaica, México, Paraguay, Perú y Uruguay 75% de encuestados operación de 2ndo piso de igual o mayor importancia que la de 1er piso, o únicamente operan en 2ndo piso

¿Qué está haciendo la BPD? – M vs. E Actividades de monitoreo presentes en 100% de los casos, mayoritariamente sistematizados y aplicados a todos los programas y/o productos. Proceso de evaluación depende en gran medida de que un tercero lo exija (financiador, por ejm) Avances en monitoreo por encima de actividades relacionadas con evaluación

¿Qué está haciendo la BPD? – Progreso 5 reportan tener un manual o política establecida 50% reporta contar con registros centralizados 1/2 hace evaluaciones de impacto ex post 1/3 diseña indicadores de monitoreo para sus productos 60% de encuestados +3 años 53% de los que no tienen registro central registra información de M&E con cada encargado de proyecto Formalización y sofisticación de sistemas de M&E relativamente lenta

¿Cómo se lleva a cabo el M&E? – Procesos procesos estandarizados en mucho mayor medida en el caso de elementos asociados al monitoreo que para evaluaciones de impacto ex post Diferentes conceptos de “evaluación”  necesidad de definir conceptos

¿Cómo se lleva a cabo el M&E? – Estructura 60% de encuestados Cuentan con unidad especifica M&E Eficiencia: estructura organizativa sector volumen de operaciones recursos Estrategia: se quiere capacitar al personal a nivel transversal? Eficiencia: Justifica? Estrategia: quienes desarrollan/operan los programas/productos cuenten con capacidades de levantamiento de información, monitoreo y evaluación por si mismos Modelo del sistema M&E debe discutirse en el contexto de cada organización *Del total de aquellos que no tienen una unidad especifica de M&E

¿Quién realiza el M&E? – Responsabilidades Evaluaciones de impacto dependen de contratación de especialistas externos en mayor medida, comparado con actividades de recolección y análisis de indicadores de monitoreo

¿Quién realiza el M&E? – Responsabilidades Responsabilidad compartida: en actividades asociadas a resultados Responsabilidad compartida entre gerencia y áreas operativas

¿Para quién se realiza M&E? – Reporte y diseminación 89% realiza informes periódicos Solo 45% los hace públicos Fines de distribución interna y externa Elevado grado de importancia a documentar actividades M&E 45% bajo, a pesar de herramientas de la informática, el internet y las redes sociales. 8 de 9 encuestados, a través de páginas webs institucionales

¿Cómo se emplea el M&E? – Aplicación 30% de encuestados criterio para incorporar acciones concretas a partir del M&E mejoras en planificación y diseño de programas y/o productos Acciones: Rediseño, Seguimiento a recomendaciones, Mejora del proceso de planificación de programas e indicadores, Planes de accion, Correccion presupuestaria, exclusion de programas, redefinicion de metas rendición de cuentas, tanto a clientes internos como a clientes externos

Acceso a la información

Necesidad de recursos 50% indica que existen recursos estables dedicados al M&E. 70% de las evaluaciones de impacto se financian con presupuesto administrativo interno 50% no ha tenido capacitación Aparente inconsistencia: evaluaciones de impacto son las que normalmente se realizan de manera excepcional y por ello no se consideran “recursos estables”. De las que si han tenido capacitación, 53% han sido hechas por expertos y organismos internacionales

Conclusiones El análisis provee idea general del estado de los sistemas de M&E Busca promover discusión No profundiza sobre problemática en cada banco: Variedad de percepciones sobre lo que implica monitorear y evaluar proyectos Diferentes sectores de actuación Conviene destacar: conciencia generalizada sobre importancia del M&E para el desarrollo y mejora de sus operaciones: Compromiso: ejecución eficaz de programas y uso eficiente de recursos públicos Relevancia: rendición de cuentas, ajuste/adaptación de programas para atender mejor a los clientes Interés por capacitarse: mejorar uso de herramientas disponibles en el contexto de su actividad No profundiza: mucho menos concluye sobre lo que se está haciendo bien o mal Compromiso: Internalizado y adoptado como suyo

Conclusiones – ¿Qué esperamos? Contribuir al fortalecimiento del M&E en la región: mejoramiento de la eficiencia, eficacia y transparencia de la gestión de sus programas Sistema M&E Hoja de ruta adaptada a capacidades, necesidades y metas de cada institución Internalizado y adoptado como suyo Variables que se ajusten a operación y visión de negocio Guía estándar para M&E Base conceptual homogénea