Monitoreo y Evaluación para Políticas Públicas Héctor Sanín Ángel

Presentación del tema: "Monitoreo y Evaluación para Políticas Públicas Héctor Sanín Ángel"— Transcripción de la presentación:

1

2 Monitoreo y Evaluación para Políticas Públicas Héctor Sanín Ángel hsanin@gerencial.org

3 Héctor Sanín Ángel - Consultor ILPES El Alcalde de una gran ciudad ha constituido varias comisiones para la formulación de las políticas públicas sectoriales, que provean líneas estratégicas para la planificación del desarrollo de la ciudad. Usted forma parte de la Comisión de Educación. En su equipo se ha convenido, como punto de partida, seleccionar los 3 indicadores con mayor sentido estratégico.

4 Héctor Sanín Ángel - Consultor ILPES Caso Educación Analizar Texto del Informe Gerencial vs. Gráfico ¿Qué faltó en cada uno? “Cobertura en básica primaria y secundaria Si bien en ambos niveles la TCB se encuentra por encima del 100%, el registro de las tasas de deserción en los grados 1, 6, 7, 8 y 9 preocupa al programa BCV, dado que esto no garantiza la continuidad de los estudiantes desde un nivel inferior a uno superior. Actualmente, el Distrito lidera estrategias que apuntan al aumento y a la permanencia, como la inversión en la adecuación y construcción de mega colegios, en la alimentación y en el transporte escolar. La gratuidad hasta grado once es la meta más importante en estas estrategias.”

5 Héctor Sanín Ángel - Consultor ILPES Caso Educación “Calidad en la educación El Distrito a nivel nacional e internacional se ha caracterizado por ser una mejor práctica en las estrategias de inclusión y captación de estudiantes. Sin embargo esto mismo no sucede en la calidad de la enseñanza oficial y por tanto el rendimiento académico de los estudiantes. Los resultados en las pruebas ICFES no han sido los mejores desde el 2007. Se observa en promedio que el 80% de los colegios oficiales se encuentran en la categoría media y baja frente a un 39% de los no oficiales.”

6 Héctor Sanín Ángel - Consultor ILPES “Cuando ya le tenía las respuestas a la vida, me cambiaron las preguntas” (anónimo) La formulación de Políticas Públicas exige: Plantear las preguntas que son Interpretar adecuadamente los indicadores.

7 Héctor Sanín Ángel - Consultor ILPES ¿Qué referentes informativos incluiría, que le permitieran fortalecer la formulación de una política pública? ¿Qué otro tipo de información?

8 Héctor Sanín Ángel - Consultor ILPES ¿Qué enfoque aplicaría?

9 Héctor Sanín Ángel - Consultor ILPES "La perfección de los medios y la confusión de los fines parecen caracterizar nuestra época“ (Einstein) Las preguntas fundamentales Interpretación Los 5 referentes: 1.Línea de base (sin intervención) 2.Meta 3.Período n-1 4.Estándar aceptado 5.Paradigma Enfoque paretiano (80-20) -> Focalización Comunicación: ¿Informe para quién y cómo? –Para qué y qué información necesita (rol y valor agregado) –Llegarle con lo que es –En el lenguaje que es –Sin dejar vacíos, ni ambigüedades, ni inconsistencias. –Correspondencia entre texto y gráficos La información que no brinde valor al uso por el destinatario (entendimiento, análisis, decisión, control), no sirve. Es desperdicio: costo sin beneficio

10 Héctor Sanín Ángel - Consultor ILPES Fortalecer nuestras competencias para formulación de PP en cuanto al dominio de la información 1.Habilidad para preguntar por lo esencial 2.Pensamiento Paretiano 3.Capacidad interpretativa 4.Capacidad de comunicación (lenguajes textual, estadístico, gráfico y simbólico) con pertinencia, contundencia, sentido de valor, claridad, eficiencia y amenidad. 5.Sentido de utilidad de la información estadística 6.Actitud para escuchar. 7.Pensamiento sistémico (anticipo)

11 Héctor Sanín Ángel - Consultor ILPES Enfoque sistémico para PP Diferentes lógicas de aproximación

12 Héctor Sanín Ángel - Consultor ILPES Los ciclos 1.Proyecto/Programa 2.Institucional 3.Gerencial 4.Sistema 5.Cadena de Valor 6.Marco Lógico

13 1. El Ciclo del Proyecto/Programa EJECUCIÓN Capacidad generada Término de Proyecto MADURACION OPERACION Solución del Problema EVALUACION DE RESULTADOS (EX-POST) Impactos Sostenibilidad FORMULACIÓN (EVALUACION EX-ANTE) ALTERNATIVA SELECCIONADA PROBLEMA EL PROYECTO ÁRBOLES PROBLEMAOBJETIVOS ALTERNATIVAS INVOLUCRADOS

14 Héctor Sanín Ángel - Consultor ILPES EL CICLO DEL PROYECTO DE INVERSIÓN PÚBLICA 5 nodos de Verificación Preinversión Inversión Evaluación Expost (Integral) Problema Proyecto viable Proyecto con recursos asignados Formulación Operación Seguimiento a la ejecución Programación Sistema de Inversión Pública SIP Políticas Públicas Planes de Desarrollo Nacional-Sectorial Territorial Contribución de Desarrollo 1 2 3 4 5

15 Gerencial Ltda - Héctor Sanín Angel Procesos Directrices del Plan Global Objetivos estratégicos Proyectos Entorno Misión Visión Clientes Ámbito de la evaluación institucional Ámbito de la meta-evaluación 2. CICLO INSTITUCIONAL – S&E S& E DE PROYECTO EVALUACION EX-POST S&E DE PROCESO EVALUACION DE RESULTADOS EVALUACION ESTRATEGICA GLOBAL

16 Héctor Sanín Ángel - Consultor ILPES INSUMOSPROCESO PRODUCTO OBJETIVO SATISFACER DEMANDAS DE USUARIOS RESULTADOS ESPERADOS IMPACTO: CAMBIOS EN EL ENTORNO RETROALIMENTACION EVALUACION DE RESULTADOS Sistema interno: EFICIENCIA Sistema externo: EFECTIVIDAD CONTROL DE GESTION 3. Un sistema en funcionamiento Frontera: EFICACIA

17 Héctor Sanín Ángel - Consultor ILPES Eficiencia y Efectividad Ejercicio

18 Héctor Sanín Ángel - Consultor ILPES 4. Ciclo de Gobierno ¿De dónde viene la palabra GOBERNAR y qué significa?

19 Héctor Sanín Ángel - Consultor ILPES GOBERNAR = CONDUCIR = LIDERAR 3 Lentes: uso simultáneo y complementario Visión de largo alcance: Hacia dónde nos dirigimos (rumbo) Lo que vendrá más adelante Visión inmediata: Por dónde voy Lo que pasa en este momento Visión retroactiva: De dónde vengo Qué pasa atrás

20 EL CICLO PROACCION FORMULACION PRESENTE GERENCIA PLAN PROYECTOS Y PROCESOS REALIZADOS EJECUCION EVALUACION EFECTOS PASADO 3 2 1 RETROALIMENTACION FUTURO GERENCIAL LTDA - Héctor Sanín Angel

21 Héctor Sanín Ángel - Consultor ILPES 12 3 EL CICLO DE GOBIERNO

22 Héctor Sanín Ángel - Consultor ILPES EL FLUJO LINEAL 12 3

23 Héctor Sanín Ángel - Consultor ILPES ConceptoFlujo LinealCiclo Gerencial Ciclo de Gobierno vs. Flujo Lineal SentidoUnidireccionalMultidireccional RetroalimentaciónNoSí EnfoqueInsumo-ProductoSistémico PlanEstáticoDinámico ResultadosHasta productosHasta impactos EvaluaciónAcumulativaFormativa AprendizajeBajoAlto TiempoSecuencialIntertemporal

24 Héctor Sanín Ángel - Consultor ILPES 5. Cadena de Valor (Porter)

25 Héctor Sanín Ángel - Consultor ILPES Cadena de Valor (Porter)

26 Héctor Sanín Ángel - Consultor ILPES 6. Marco Lógico

27 Héctor Sanín Ángel - Consultor ILPES ENFOQUE CONTRIBUTIVO (MARCO LÓGICO) IMPACTOS EFECTO DIRECTO PRODUCTOS INSUMOS Flujo de Diseño Flujo de Ejecución Flujo de Retroalimentación

28 Héctor Sanín Ángel - Consultor ILPES ENFOQUE DE MARCO LÓGICO IMPACTOS EFECTO DIRECTO PRODUCTOS INSUMOS FOCO EN EL FIN PROGRAMA PIDE PROYECTO PROYECTO CONTRIBUYE A FIN FOCO EN EL PROPÓSITO LÓGICA DE: PROGRAMAPROYECTO

29 Héctor Sanín Ángel - Consultor ILPES Tablero Gerencial GERENCIAL® admin@gerencial.org www.gerencial.org

30 Héctor Sanín Ángel - Consultor ILPES InsumosProductos Transformación Docentes Material educativo $ Desarrollo (Impactos) (M&L Plazo) Proyectos y Procesos educativos Aulas construidas Colegios en Operación Resultados (C&M Plazo) Aumento de Cobertura Mejoramiento del Capital Humano Información-Monitoreo-Evaluación del Sistema Gubernamental

31 Héctor Sanín Ángel - Consultor ILPES InsumosProductos Transformación Desarrollo (Impactos) (M&L Plazo) Resultados (C&M Plazo) Alcance del Sistema de S&E Gerencial Información para S&E Gerencial Intensidad Alcance

32 Héctor Sanín Ángel - Consultor ILPES Focos gerenciales Alcance del Sistema de Información Gerencial 1 7 65 3 2 4

33 Héctor Sanín Ángel - Consultor ILPES Sistema Gerencial Municipal Sistema de contribuciones interdependientes Insumos Productos Proceso Desarrollo (Impactos) Resultados Capacidad EficaciaEfectividad Eficiencia Gerencia Gestión

34 Héctor Sanín Ángel - Consultor ILPES La GERencia municipal interviene para maximizar y articular los 3 subsistemas Modelo GERENCIAL DESARROLLO LOCAL INTEGRAL EL MUNICIPIO COMPETITIVO Y SOSTENIBLE Económico Naturaleza (Ambiental) soCIAL Modelo GERENCIAL: GERencial-Económico-Naturaleza-soCIAL

35 Héctor Sanín Ángel - Consultor ILPES Desempeño Territorial Indicadores Tablero Gerencial Municipal Sectores Programas Ejes Estratégicos Proyectos (Componentes) Programas Bandera Gestión Componentes Plan de Desarrollo (Control de Metas) Económico Desempeño (DDTS/DNP) Proyectos Emergentes Eficacia (PDM) Eficiencia Cumplimiento SGP Gestión Entorno Social Ambiental Capacidad Eficiencia Eficacia Efectividad Evaluación Supramunicipal Desempeño Integral Áreas de desempeño para cada sector Objetivos del Milenio 1. Erradicar la pobreza extrema 2. Lograr la enseñanza primaria universal 3. Promover la igualdad entre los sexos y la autonomía de la mujer 4. Reducir la mortalidad de los niños menores de 5 años 5. Mejorar la salud materna 6. Combatir el VIH/SIDA, el paludismo y otras enfermedades 7. Garantizar la sostenibilidad del medio ambiente. 8. Fomentar una asociación mundial para el desarrollo GERENCIAL®

36 Héctor Sanín Ángel - Consultor ILPES TABLERO GERENCIAL ® – TABLERO RESUMEN AREAS DE DESEMPEÑO 1 PLAN DE DESARROLLO 2 RESULTADOS DE GESTIÓN 3 RESULTADOS SECTORIALES 4 DESARROLLO Y CALIDAD DE VIDA 5 OBJETIVOS DEL MILENIO 6 DESEMPEÑO (DNP) DD/MM/AAÚltima fecha de control Meta Línea de Base Índice a la fecha Índice/LB Índice t/t-1 Paradigma Responsable ® GERENCIAL Índice/ Meta

37 Eficiencia Capacidad Eficiencia Eficacia Ejes y categorías de indicadores Efectividad IDS=Índice de Desempeño Sectorial IDS IDM ECONÓMICO AMBIENTAL GESTIÓN SOCIAL IDM=Índice de Desempeño Global Sector Eje o Subsistema Modelo GERENCIAL

38 Héctor Sanín Ángel - Consultor ILPES Evaluación Exante IMPACTOS EFECTO DIRECTO PRODUCTOS INSUMOS Gerencia de Formulación Gerencia de Ejecución Gerencia de Operación Gerencia estratégica Formulación Sistema intergerencial Gerencias empoderadas en todos los niveles 1 2 3 4 5 Nodos de Evaluación Sistema orientado por los objetivos superiores Sistema de Evaluación: Durante, no solo expost Evaluación p/ aprendizaje, no fiscalizadora Valor de oportunidad: Correctivo en el momento Valor de pertinencia: Correctivo en el punto Estímulos para el uso de información p/ evaluación Generador de información primer usuario Retroalimentación: Aprendizaje sobre marcha Gerencias articuladas, señales en dos vías Gerencias comparten razón de ser: Impactos Valor de uso de la información: No a pedido 12 Condiciones para la funcionalidad y efectividad del Sistema Sistema Retroalimentador Seguimiento Evaluación Monitoreo Monitoreo y Evaluación Expost

39 Héctor Sanín Ángel - Consultor ILPES Héctor Sanín Ángel - Consultor Sistemas de alertas Las 8 acciones 1.Que se instale el sistema de alertas 2.Que se encienda la señal 3.Que se vea la señal 4.Que se comunique 5.Que se reaccione 6.Que se corrija 7.Que se informe 8.Que se aprenda

40 Héctor Sanín Ángel - Consultor ILPES Héctor Sanín Ángel - Consultor Horizonte de Aprendizaje (1) “La experiencia constituye un potente medio de aprendizaje. Aprendemos a comer, a gatear, a caminar y a comunicarnos mediante ensayo y error. Realizamos un acto y vemos las consecuencias de ese acto; luego realizamos un acto nuevo y diferente. ¿Pero qué ocurre cuando ya no vemos las consecuencias de nuestros actos? ¿Qué sucede si las consecuencias de nuestros actos están en el futuro distante o en una parte distante del sistema más amplio dentro del cual operamos?”

41 Héctor Sanín Ángel - Consultor ILPES Héctor Sanín Ángel - Consultor “La vida entera no es lo bastante larga para explicarnos qué ocurre en nuestro entorno”. (Doug Larson) horizonte de aprendizaje “Cada uno de nosotros posee un horizonte de aprendizaje, un ancho de visión en el tiempo y en el espacio, dentro del cual evaluamos nuestra eficacia. Cuando nuestros actos tienen consecuencias que trascienden el horizonte de aprendizaje, se vuelve imposible aprender de la experiencia directa. Dilema de aprendizaje de las organizaciones: se aprende mejor de la experiencia, pero nunca experimentamos directamente las consecuencias de muchas de nuestras decisiones más importantes Los ciclos son muy difíciles de ver, y por tanto es difícil aprender de ellos si duran más de un año o dos”*. *Peter Senge, La Quinta Disciplina.

42 Héctor Sanín Ángel - Consultor ILPES Entrada IMPACTOS (Fines) EFECTO DIRECTO (Propósito) PRODUCTOS (Componentes) INSUMOS (Actividades, Recursos) Salida Gerencia de Formulación Gerencia de Ejecución Gerencia de Operación Gerencia estratégica Formulación APRENDIZAJE PROYECTIVO Nuevo Ciclo Aprendizaje de Diseño Monitoreo Aprendizaje de Operación Aprendizaje de Desarrollo Aprendizaje de Ejecución

43 Héctor Sanín Ángel - Consultor ILPES ¿Existe una Gerencia Integral de Proyecto? Preinversión Inversión Evaluación Expost (Integral) Problema Proyecto viable Proyecto con recursos asignados Formulación Operación Seguimiento a la ejecución Programación ¿Existe una Gerencia Integral de Proyecto?

44 Héctor Sanín Ángel - Consultor ILPES Aprendizaje Dos alcances del Aprendizaje Aprendizaje Retroalimentador (Intracíclico) Aprendizaje Proyectivo (Extracíclico) Si el sistema de gestión no incorpora los dos aprendizajes, la PP se va a pique, pues no hay seguridad: Ni de hacer las cosas bien ahora NI de hacerlas mejor mañana

45 Héctor Sanín Ángel - Consultor ILPES Héctor Sanín Ángel - Consultor OBJETIVOS DEL MILENIO 1.Erradicar la pobreza extrema y el hambreErradicar la pobreza extrema y el hambre 2.Educación universalEducación universal 3.Igualdad entre los génerosIgualdad entre los géneros 4.Reducir la mortalidad de los niñosReducir la mortalidad de los niños 5.Mejorar la salud maternaMejorar la salud materna 6.Combatir el VIH/SIDACombatir el VIH/SIDA 7.Sostenibilidad del medio ambienteSostenibilidad del medio ambiente 8.Fomentar una asociación mundialFomentar una asociación mundial

46 Héctor Sanín Ángel - Consultor ILPES ODM-PP-ED-SIP Los 8 ODM Hay que aterrizarlos desde “adhesión internacional a compromiso nacional” La necesidad de territorializarlos: Ponerlos en indicadores monitoreables Criterios en el SIP para priorizar proyectos Sistemas de Información ligados al SIP Sistemas de gestión territorial Héctor Sanín Ángel - Consultor