Monitoreo y Evaluación para Políticas Públicas Héctor Sanín Ángel hsanin@gerencial.org

Héctor Sanín Ángel - Consultor ILPES El Alcalde de una gran ciudad ha constituido varias comisiones para la formulación de las políticas públicas sectoriales, que provean líneas estratégicas para la planificación del desarrollo de la ciudad. Usted forma parte de la Comisión de Educación. En su equipo se ha convenido, como punto de partida, seleccionar los 3 indicadores con mayor sentido estratégico. Héctor Sanín Ángel - Consultor ILPES

Héctor Sanín Ángel - Consultor ILPES Caso Educación Analizar Texto del Informe Gerencial vs. Gráfico ¿Qué faltó en cada uno? “Cobertura en básica primaria y secundaria Si bien en ambos niveles la TCB se encuentra por encima del 100%, el registro de las tasas de deserción en los grados 1, 6, 7, 8 y 9 preocupa al programa BCV, dado que esto no garantiza la continuidad de los estudiantes desde un nivel inferior a uno superior. Actualmente, el Distrito lidera estrategias que apuntan al aumento y a la permanencia, como la inversión en la adecuación y construcción de mega colegios, en la alimentación y en el transporte escolar. La gratuidad hasta grado once es la meta más importante en estas estrategias.” Héctor Sanín Ángel - Consultor ILPES

Héctor Sanín Ángel - Consultor ILPES Caso Educación “Calidad en la educación El Distrito a nivel nacional e internacional se ha caracterizado por ser una mejor práctica en las estrategias de inclusión y captación de estudiantes. Sin embargo esto mismo no sucede en la calidad de la enseñanza oficial y por tanto el rendimiento académico de los estudiantes. Los resultados en las pruebas ICFES no han sido los mejores desde el 2007. Se observa en promedio que el 80% de los colegios oficiales se encuentran en la categoría media y baja frente a un 39% de los no oficiales.” Héctor Sanín Ángel - Consultor ILPES

Héctor Sanín Ángel - Consultor ILPES “Cuando ya le tenía las respuestas a la vida, me cambiaron las preguntas” (anónimo) La formulación de Políticas Públicas exige: Plantear las preguntas que son Interpretar adecuadamente los indicadores. Héctor Sanín Ángel - Consultor ILPES

Héctor Sanín Ángel - Consultor ILPES ¿Qué referentes informativos incluiría, que le permitieran fortalecer la formulación de una política pública? ¿Qué otro tipo de información? Héctor Sanín Ángel - Consultor ILPES

¿Qué enfoque aplicaría? Héctor Sanín Ángel - Consultor ILPES

Héctor Sanín Ángel - Consultor ILPES "La perfección de los medios y la confusión de los fines parecen caracterizar nuestra época“ (Einstein) Las preguntas fundamentales Interpretación Los 5 referentes: Línea de base (sin intervención) Meta Período n-1 Estándar aceptado Paradigma Enfoque paretiano (80-20) -> Focalización Comunicación: ¿Informe para quién y cómo? Para qué y qué información necesita (rol y valor agregado) Llegarle con lo que es En el lenguaje que es Sin dejar vacíos, ni ambigüedades, ni inconsistencias. Correspondencia entre texto y gráficos La información que no brinde valor al uso por el destinatario (entendimiento, análisis, decisión, control), no sirve. Es desperdicio: costo sin beneficio Héctor Sanín Ángel - Consultor ILPES

Héctor Sanín Ángel - Consultor ILPES Fortalecer nuestras competencias para formulación de PP en cuanto al dominio de la información Habilidad para preguntar por lo esencial Pensamiento Paretiano Capacidad interpretativa Capacidad de comunicación (lenguajes textual, estadístico, gráfico y simbólico) con pertinencia, contundencia, sentido de valor, claridad, eficiencia y amenidad. Sentido de utilidad de la información estadística Actitud para escuchar. Pensamiento sistémico (anticipo) Héctor Sanín Ángel - Consultor ILPES

Enfoque sistémico para PP Diferentes lógicas de aproximación Héctor Sanín Ángel - Consultor ILPES

Héctor Sanín Ángel - Consultor ILPES Los ciclos Proyecto/Programa Institucional Gerencial Sistema Cadena de Valor Marco Lógico Héctor Sanín Ángel - Consultor ILPES

1. El Ciclo del Proyecto/Programa FORMULACIÓN (EVALUACION EX-ANTE) ALTERNATIVA SELECCIONADA PROBLEMA EL PROYECTO ÁRBOLES OBJETIVOS ALTERNATIVAS INVOLUCRADOS EVALUACION DE RESULTADOS (EX-POST) Impactos Sostenibilidad EJECUCIÓN Capacidad generada Término de Proyecto OPERACION Solución del Problema MADURACION

EL CICLO DEL PROYECTO DE INVERSIÓN PÚBLICA 5 nodos de Verificación Preinversión Formulación Programación Políticas Públicas Planes de Desarrollo Nacional-Sectorial Territorial 1 Proyecto viable Proyecto con recursos asignados Problema Sistema de Inversión Pública SIP 5 Evaluación Expost (Integral) Contribución de Desarrollo 3 2 Seguimiento a la ejecución 4 Operación Inversión Héctor Sanín Ángel - Consultor ILPES

2. CICLO INSTITUCIONAL – S&E Ámbito Directrices EVALUACION de la meta-evaluación del Plan Global ESTRATEGICA GLOBAL Entorno Objetivos estratégicos EVALUACION Misión DE RESULTADOS Visión Clientes Procesos S&E DE PROCESO EVALUACION EX-POST S& E DE PROYECTO Proyectos Ámbito de la evaluación institucional Gerencial Ltda - Héctor Sanín Angel

3. Un sistema en funcionamiento Frontera: EFICACIA OBJETIVO SATISFACER DEMANDAS DE USUARIOS INSUMOS PROCESO PRODUCTO RESULTADOS ESPERADOS IMPACTO: CAMBIOS EN EL ENTORNO RETROALIMENTACION CONTROL DE GESTION Sistema interno: EFICIENCIA EVALUACION DE RESULTADOS Sistema externo: EFECTIVIDAD Héctor Sanín Ángel - Consultor ILPES

Eficiencia y Efectividad Ejercicio Héctor Sanín Ángel - Consultor ILPES

¿De dónde viene la palabra GOBERNAR y qué significa? 4. Ciclo de Gobierno ¿De dónde viene la palabra GOBERNAR y qué significa? Héctor Sanín Ángel - Consultor ILPES

Héctor Sanín Ángel - Consultor ILPES GOBERNAR = CONDUCIR = LIDERAR 3 Lentes: uso simultáneo y complementario Visión de largo alcance: Hacia dónde nos dirigimos (rumbo) Lo que vendrá más adelante Visión inmediata: Por dónde voy Lo que pasa en este momento Visión retroactiva: De dónde vengo Qué pasa atrás Héctor Sanín Ángel - Consultor ILPES

EL CICLO 1 2 3 PLAN EFECTOS PROACCION EJECUCION GERENCIA FORMULACION FUTURO PRESENTE PROACCION GERENCIA EFECTOS PASADO PROYECTOS Y PROCESOS REALIZADOS RETROALIMENTACION 3 GERENCIAL LTDA - Héctor Sanín Angel EVALUACION

Héctor Sanín Ángel - Consultor ILPES EL CICLO DE GOBIERNO 1 2 3 Héctor Sanín Ángel - Consultor ILPES

Héctor Sanín Ángel - Consultor ILPES EL FLUJO LINEAL 1 2 3 Héctor Sanín Ángel - Consultor ILPES

Ciclo de Gobierno vs. Flujo Lineal Concepto Flujo Lineal Ciclo Gerencial Sentido Unidireccional Multidireccional Retroalimentación No Sí Tiempo Secuencial Intertemporal Enfoque Insumo-Producto Sistémico Plan Estático Dinámico Resultados Hasta productos Hasta impactos Evaluación Acumulativa Formativa Aprendizaje Bajo Alto Héctor Sanín Ángel - Consultor ILPES

5. Cadena de Valor (Porter) Héctor Sanín Ángel - Consultor ILPES

Cadena de Valor (Porter) Héctor Sanín Ángel - Consultor ILPES

Héctor Sanín Ángel - Consultor ILPES 6. Marco Lógico Héctor Sanín Ángel - Consultor ILPES

ENFOQUE CONTRIBUTIVO (MARCO LÓGICO) IMPACTOS EFECTO DIRECTO PRODUCTOS INSUMOS Flujo de Diseño Ejecución Retroalimentación Héctor Sanín Ángel - Consultor ILPES

ENFOQUE DE MARCO LÓGICO LÓGICA DE: PROGRAMA PROYECTO IMPACTOS FOCO EN EL FIN PROYECTO CONTRIBUYE A FIN EFECTO DIRECTO PROGRAMA PIDE PROYECTO FOCO EN EL PROPÓSITO PRODUCTOS INSUMOS Héctor Sanín Ángel - Consultor ILPES

GERENCIAL® admin@gerencial.org www.gerencial.org Tablero Gerencial GERENCIAL® admin@gerencial.org www.gerencial.org Héctor Sanín Ángel - Consultor ILPES

Información-Monitoreo-Evaluación del Sistema Gubernamental Insumos Transformación Productos Resultados (C&M Plazo) Desarrollo (Impactos) (M&L Plazo) Docentes Material educativo $ Proyectos y Procesos educativos Aulas construidas Colegios en Operación Aumento de Cobertura Mejoramiento del Capital Humano Héctor Sanín Ángel - Consultor ILPES

Alcance del Sistema de S&E Gerencial Insumos Transformación Productos Resultados (C&M Plazo) Desarrollo (Impactos) (M&L Plazo) Intensidad Información para S&E Gerencial Alcance Héctor Sanín Ángel - Consultor ILPES

Focos gerenciales 2 1 3 7 4 6 5 Alcance del Sistema de Información Gerencial 7 4 6 5 Héctor Sanín Ángel - Consultor ILPES

Héctor Sanín Ángel - Consultor ILPES Sistema Gerencial Municipal Sistema de contribuciones interdependientes Productos Insumos Proceso Desarrollo (Impactos) Resultados Eficiencia Capacidad Eficacia Efectividad Gestión Gerencia Héctor Sanín Ángel - Consultor ILPES

Héctor Sanín Ángel - Consultor ILPES Modelo GERENCIAL DESARROLLO LOCAL INTEGRAL EL MUNICIPIO COMPETITIVO Y SOSTENIBLE Económico Naturaleza (Ambiental) soCIAL La GERencia municipal interviene para maximizar y articular los 3 subsistemas Modelo GERENCIAL: GERencial-Económico-Naturaleza-soCIAL Héctor Sanín Ángel - Consultor ILPES

Tablero Gerencial Municipal Plan de Desarrollo (Control de Metas) Desempeño Territorial Objetivos del Milenio Evaluación Supramunicipal Gestión 1. Erradicar la pobreza extrema Económico Ejes Estratégicos Programas Bandera 2. Lograr la enseñanza primaria universal Desempeño (DDTS/DNP) Social Ambiental 3. Promover la igualdad entre los sexos y la autonomía de la mujer Eficacia (PDM) Áreas de desempeño para cada sector Eficiencia Sectores Proyectos (Componentes) 4. Reducir la mortalidad de los niños menores de 5 años Cumplimiento SGP Indicadores 5. Mejorar la salud materna Gestión Capacidad Componentes Proyectos Emergentes 6. Combatir el VIH/SIDA, el paludismo y otras enfermedades Eficiencia Entorno Eficacia 7. Garantizar la sostenibilidad del medio ambiente. Efectividad Programas Desempeño Integral 8. Fomentar una asociación mundial para el desarrollo Héctor Sanín Ángel - Consultor ILPES GERENCIAL®

TABLERO GERENCIAL® – TABLERO RESUMEN Última fecha de control DD/MM/AA Meta Línea de Base Índice a la fecha Índice/ Meta Índice/LB Índice t/t-1 Paradigma Responsable AREAS DE DESEMPEÑO 1 PLAN DE DESARROLLO 2 RESULTADOS DE GESTIÓN 3 RESULTADOS SECTORIALES 4 DESARROLLO Y CALIDAD DE VIDA 5 OBJETIVOS DEL MILENIO 6 DESEMPEÑO (DNP) Héctor Sanín Ángel - Consultor ILPES ® GERENCIAL

Ejes y categorías de indicadores Modelo GERENCIAL Eje o Subsistema Sector Capacidad SOCIAL Eficiencia ECONÓMICO Eficacia Eficiencia Efectividad IDS IDM GESTIÓN AMBIENTAL IDS=Índice de Desempeño Sectorial IDM=Índice de Desempeño Global

12 Condiciones para la funcionalidad y efectividad del Sistema Sistema Retroalimentador 12 Condiciones para la funcionalidad y efectividad del Sistema Sistema intergerencial Nodos de Evaluación Estímulos para el uso de información p/ evaluación IMPACTOS Gerencia estratégica Monitoreo y Evaluación Expost 5 Retroalimentación: Aprendizaje sobre marcha Gerencias articuladas, señales en dos vías EFECTO DIRECTO Sistema orientado por los objetivos superiores Gerencia de Operación 4 Monitoreo Gerencias comparten razón de ser: Impactos Sistema de Evaluación: Durante, no solo expost PRODUCTOS 3 Evaluación Evaluación p/ aprendizaje, no fiscalizadora Gerencias empoderadas en todos los niveles Gerencia de Ejecución Valor de oportunidad: Correctivo en el momento INSUMOS 2 Seguimiento Valor de pertinencia: Correctivo en el punto Valor de uso de la información: No a pedido Gerencia de Formulación Formulación 1 Evaluación Exante Generador de información primer usuario Héctor Sanín Ángel - Consultor ILPES

Sistemas de alertas Las 8 acciones Que se instale el sistema de alertas Que se encienda la señal Que se vea la señal Que se comunique Que se reaccione Que se corrija Que se informe Que se aprenda Héctor Sanín Ángel - Consultor Héctor Sanín Ángel - Consultor ILPES

Horizonte de Aprendizaje (1) “La experiencia constituye un potente medio de aprendizaje. Aprendemos a comer, a gatear, a caminar y a comunicarnos mediante ensayo y error. Realizamos un acto y vemos las consecuencias de ese acto; luego realizamos un acto nuevo y diferente. ¿Pero qué ocurre cuando ya no vemos las consecuencias de nuestros actos? ¿Qué sucede si las consecuencias de nuestros actos están en el futuro distante o en una parte distante del sistema más amplio dentro del cual operamos?” Héctor Sanín Ángel - Consultor Héctor Sanín Ángel - Consultor ILPES

“La vida entera no es lo bastante larga para explicarnos qué ocurre en nuestro entorno”. (Doug Larson) “Cada uno de nosotros posee un horizonte de aprendizaje, un ancho de visión en el tiempo y en el espacio, dentro del cual evaluamos nuestra eficacia. Cuando nuestros actos tienen consecuencias que trascienden el horizonte de aprendizaje, se vuelve imposible aprender de la experiencia directa. Dilema de aprendizaje de las organizaciones: se aprende mejor de la experiencia, pero nunca experimentamos directamente las consecuencias de muchas de nuestras decisiones más importantes Los ciclos son muy difíciles de ver, y por tanto es difícil aprender de ellos si duran más de un año o dos”* *Peter Senge, La Quinta Disciplina. Héctor Sanín Ángel - Consultor Héctor Sanín Ángel - Consultor ILPES

APRENDIZAJE PROYECTIVO IMPACTOS (Fines) Salida Aprendizaje de Desarrollo Gerencia estratégica EFECTO DIRECTO (Propósito) Aprendizaje de Operación Gerencia de Operación Monitoreo PRODUCTOS (Componentes) Nuevo Ciclo Aprendizaje de Ejecución Gerencia de Ejecución INSUMOS (Actividades, Recursos) Gerencia de Formulación Formulación Aprendizaje de Diseño Entrada Héctor Sanín Ángel - Consultor ILPES

¿Existe una Gerencia Integral de Proyecto? Preinversión Formulación Programación Proyecto viable Proyecto con recursos asignados Problema Evaluación Expost (Integral) ¿Existe una Gerencia Integral de Proyecto? Seguimiento a la ejecución Operación Inversión Héctor Sanín Ángel - Consultor ILPES

Héctor Sanín Ángel - Consultor ILPES Aprendizaje Dos alcances del Aprendizaje Aprendizaje Retroalimentador (Intracíclico) Aprendizaje Proyectivo (Extracíclico) Si el sistema de gestión no incorpora los dos aprendizajes, la PP se va a pique, pues no hay seguridad: Ni de hacer las cosas bien ahora NI de hacerlas mejor mañana Héctor Sanín Ángel - Consultor ILPES

OBJETIVOS DEL MILENIO Erradicar la pobreza extrema y el hambre Educación universal Igualdad entre los géneros Reducir la mortalidad de los niños Mejorar la salud materna Combatir el VIH/SIDA Sostenibilidad del medio ambiente Fomentar una asociación mundial Héctor Sanín Ángel - Consultor Héctor Sanín Ángel - Consultor ILPES

La necesidad de territorializarlos: ODM-PP-ED-SIP Los 8 ODM Hay que aterrizarlos desde “adhesión internacional a compromiso nacional” La necesidad de territorializarlos: Ponerlos en indicadores monitoreables Criterios en el SIP para priorizar proyectos Sistemas de Información ligados al SIP Sistemas de gestión territorial Héctor Sanín Ángel - Consultor Héctor Sanín Ángel - Consultor ILPES