“Nociones Básicas de Sistemas de PSE. Factores de Éxito y Fracaso. Emma Lucía Rotondo Coordinadora PREVAL www.preval.org Emma Rotondo

INSTITUCIONALIZACIÓN DEL PSE GLOSARIO Contenido DEFINICIONES CRONOLOGÍA DE PSE ENFOQUES ACTUALES INSTITUCIONALIZACIÓN DEL PSE GLOSARIO

Investigación/Auditoría/Control DEFINICIONES PLANIFICACIÓN SEGUIMIENTO/MONITOREO EVALUACIÓN Investigación/Auditoría/Control

Evaluación en políticas públicas en EUA CRONOLOGÍA DE PSE Década de los sesenta Entre 50´s y 60´evaluación educativa, investigadores en ciencias sociales de unviersidades. Evaluación en políticas públicas en EUA

SyE herramienta de gerencia y planificación centralizada. CRONOLOGÍA PSES Década de los setenta SyE herramienta de gerencia y planificación centralizada. SyE orientado a generar información Predominan métodos cuantitativos. Sistematización y Educación Popular Evaluación/ámbitos académicos. 1976 Surgen sociedades de evaluación profesional

CRONOLOGÍA PSE Década de los ochenta Surge Evaluación Participativa; métodos de participación extractivos y consultivos son adoptados ampliamente. Inicio de actividades SyE a lo largo del ciclo del proyecto. Se perfeccionan herramientas de planificación (Marco Lógico, teorías de cambio, causalidad). Se forman las Unidades de PSE o de evaluación interna

CRONOLOGÍA PSE Década de los noventa Cambia dirección de proyectos y políticas hacia reducción/alivio a la pobreza; exclusión. Se desarrollan SEPs. Transparencia y eficiencia en gestión; sistemas de información, datos e indicadores. Se desarrollan las evaluaciones para mejorar el desempeño y mejorar el aprendizaje organizacional en sectorpúblico y privado. Indicadores para el SyE de las políticas públicas; reforzamiento sistema estadístico nacional.

CRONOLOGÍA DEL PSE Década de 2000 Políticas, Proyectos, programas y localidades. Multidimensionalidad del cambio; orientación hacia resultados e impactos. Enfoque de demanda; descentralización; incorporación de actores en gestión. PSE territorial con gobiernos locales; automonitoreo. Nuevos SEPs: Vigilancia Ciudadana, Auditoría Social; Observatorio; CLAR. Desarrollo de la capacidad evaluativa en organizaciones; sistemas PSES; gestión del conocimiento

Enfoques Actuales Externa: independiente, a cargo de donantes o financiadores, opinión pública. Interna y continua: sistemas PSE como parte de la gestión; organizacional; desempeño y rendición de cuentas. Aprendizaje. Ambas se complementan

Enfoques Actuales Enfoque de Demanda Cambios en proyectos de desarrollo rural Enfoque de Demanda Incorporación de actores en diseño y planificación Tendencia a descentralización Asignación de responsabilidades y autonomía relativa a actores (Coejecución / Cogestión) para: Ejecución de proyectos y gestión de recursos Diálogo para negociación de intereses y perspectivas Mayor complejidad en objetivos y escenarios para proyectos de desarrollo rural (multidimensionalidad)

Enfoques Actuales Preocupaciones en impactos y sostenibilidad Avance hacia los impactos (tendencias) en la reducción de la pobreza. La orientación del SyE hacia impacto implica responder las siguientes preguntas: ¿de qué modo se está contribuyendo a reducir la pobreza rural?; ¿se han incrementado los ingresos y activos de los pobres, en qué medida?; y ¿se están desarrollando capacidades en los actores, hombres y mujeres?

DOS OBJETIVOS - DOS DIMENSIONES: Enfoques Actuales DOS OBJETIVOS - DOS DIMENSIONES: Informar sobre los avances y resultados en la reducción de la pobreza: IMPACTO 2. Fortalecimiento de capacidades: EMPODERAMIENTO generación, análisis y USO DE INFORMACION. Aprendizaje social

SISTEMAS PSES ORGANIZACIONALES ENFOQUES ACTUALES SISTEMAS PSES ORGANIZACIONALES FUNCIÓN DE LA GESTIÓN DE PROYECTOS/PROGRAMAS/POLÍTICAS. ESPACIOS DE REFLEXION Y COMUNICACION SOBRE LOS CAMBIOS RECOLECCION Y GESTION DE INFORMACION/CONOCIMIENTO PARA DETERMINAR Y APRECIAR LOS CAMBIOS CON EVIDENCIAS (RESULTADOS DE UNA INTERVENCIÓN)

ENFOQUES ACTUALES (1) la medición del desempeño orientada a resultados es una función del liderazgo de cada gerente/a, y no solamente como una función de presentación de informes; (2) la responsabilidad general por el uso de la evaluación reside en los niveles más altos de la institución, en el equipo técnico; y en los actores y aliados. (3) La USE tiene la responsabilidad explícita de impulsar el aprendizaje institucional y el desarrollo organizacional, y no solamente de producir informes. (Adaptado de Patton, 2005)

OBJETIVOS DE LOS SISTEMAS PSE Enfoques actuales OBJETIVOS DE LOS SISTEMAS PSE Contribuir a una mejor gestión Desarrollar capacidades en los actores para mejorar la toma de sus propias decisiones y negociaciones. Mostrar resultados. Generar conocimientos, lecciones sobre la práctica Aprendizaje social e institucional. Transparencia y rendición de cuentas. Debe responder a las necesidades de los actores y usuarios.

INSTITUCIONALIZACIÓN DEL PSE Marco Operacional Existencia y Calidad de los productos Uso y comunicación de Resultados.

INSTITUCIONALIZACIÓN DEL PSE MARCO OPERACIONAL RECURSOS HUMANOS: Personal técnico entrenado y con experiencia. 2. RECURSOS DISPONIBLES: Equipos y suministros. ASIGNACIÓN Y NIVEL PRESUPUESTAL: ESTRUCTURA Y FUNCIONES DEL PSES EN LOS SISTEMAS INSTITUCIONALES: Descripción de puestos, toma de decisiones, mecanismos y pautas de operación y reporte; función del PSE.

INSTITUCIONALIZACIÓN DEL PSE II. EXISTENCIA Y CALIDAD DE LOS PRODUCTOS Subsistema de Planificación: Visión, Marco lógico, POA Subsistema de Seguimiento: Reportes periódicos, Subsistema de Evaluación: estudios de base, estudios temáticos, caso o según ciclo. Subsistema de Sistematización: sistematizaciones/estudios de caso. Sistema automatizado de base web; herramientas web 2.0

INSTITUCIONALIZACIÓN DEL PSE III. USO, UTILIDAD Y COMUNICACIÓN DE RESULTADOS Oportunidad en el uso de los productos. Espacios de uso para la gestión, institucionalizados. Información retroalimenta la planificación y las estrategias de intervención. Participación de actores clave. Difusión y uso de productos para necesidades de actores clave.

INSTITUCIONALIZACIÓN PSE 2004-2007 USES conformadas con equipo técnico capacitado con al menos 3 años de experiencia. Desarrollan unas 29 actividades principalmente POA, informes, evaluaciones puntuales. Sólo un 16% contrata servicios de consultoría externa. Muy pocas revisan el ML e indicadores (3%)

INSTITUCIONALIZACIÓN DEL PSE Factores que favorecen Adecuación a procesos, usos y toma de decisiones de la gestión de proyectos y programas sociales. Arreglos organizacionales ad-hoc dentro de la gestión: marco operacional con roles y delegaciones, recursos humanos y financieros; trabajo en equipo y motivación para intervenir en un proceso participativo. La información de los sistemas PSES debe estar en línea con los intereses de gobiernos locales y organizaciones comunitarias. El Uso de la Información

Uso de la Información Generada por el Sistema PSES 2005

INSTITUCIONALIZACIÓN DEL PSE FACTORES DE EXITO Voluntad Política para gestionar el cambio Claridad conceptual y operativa del proyecto e hipótesis de cambio Involucramiento y motivación de actores Construcción de un lenguaje homogéneo Diseño gradual y sencillo, adaptación permanente. Herramientas sencillas, de aplicación progresiva, uso y comunicación de resultados.

INSTITUCIONALIZACIÓN DEL PSE FACTORES DE FRACASO DESARTICULACIÓN DE LOS SISTEMAS DE PSES DE POLÍTICAS, PROYECTOS Y PROGRAMAS CON EL SISTEMA ESTADÍSTICO NACIONAL, DE PLANIFICACIÓN Y DE PRESUPUESTO PÚBLICO. DELEGACION EXCESIVA A LAS UNIDADES TECNICAS/TERCERIZACIÓN PROCESOS PARALELOS A LA GESTION Y SISTEMAS ORGANIZACIONALES Y DE PRESUPUESTO. METODOLOGIAS COMPLEJAS DE PLANIFICACIÓN Y RECOLECCIÓN DE INFORMACIÓN. AUSENCIA DE MECANISMOS DE INSTITUCIONALIZACION, USO Y COMUNICACION CON USUARIOS. DÉBIL CULTURA DE TOMA DE DECISIONES DE POLÍTICAS BASADAS EN EVIDENCIAS.

GLOSARIO Términos y Conceptos

Planificación Proceso para establecer los objetivos, resultados, acciones de un proyecto y los recursos necesarios (financieros, técnicos, organizacionales). Oportunidad para establecer consensos sobre el mandato, dirección, prioridades y estrategias; la teoría de cambio. Producto: Planificación Estratégica; Marco Lógico; Plan Operativo Anual (POA)

Seguimiento Revisión sistemática o análisis continuo orientado a determinar si las actividades, la inversión de recursos y los productos, se realizan y se obtienen de acuerdo a lo programado. Objeto de seguimiento: Planes Operativos Anuales (POAs) y cronogramas de trabajo. Producto: reportes de seguimiento; bases de datos; informes periódicos sobre avance en metas. Características Actividad interna - continua Insumo para evaluaciones y sistematizaciones

Evaluación Un tipo de investigación aplicada que implica un proceso sistemático, planeado y con un propósito. Implica recolección de información para responder preguntas sobre una sociedad, una organización, un programa, un proceso (Preskill et.al. 2005) Busca levantar conocimiento para la toma decisiones y mejorar un programa, proceso producto, sistema y organización o para tomar decisiones sobre su continuación. Determinar la medida en que el proyecto/programa/política alcanza sus objetivos. Orientada hacia el aprendizaje y mejora de la efectividad; se elaboran lecciones aprendidas

EVALUACIÓN Lógica Evaluativa: (i) Establecer criterios (dimensiones) (ii) Construir estándares (indicadores) (iii) Medición del desempeño y comparación con los estándares. (iv) Sintetizar e integrar las evidencias en un juicio de valor y mérito. (v) Recomendaciones (mejoras a futuro) (vi) Aprendizajes (nuevas hipótesis)

Sistematización Proceso de reflexión crítica aplicado a una experiencia práctica (actores analizan su práctica). Proceso constructor de conocimiento (a partir de la experiencia - teoría y práctica) Se basa en la idea de organizar, ordenar, interpretar, reflexionar: APRENDER dar sentido a intervenciones, a conocimientos que estaban dispersos o poco explícitos. Proceso participativo realizado por los propios actores que intervienen en la experiencia -- fortalecimiento de capacidades y conocimientos.

Seguimiento y Evaluación Participativos (SEP) Busca el aprendizaje del actor y su empoderamiento. Son desarrolladas por todos los actores. Los actores participan en la gestión: procesos de recopilación, análisis de la información; y en la toma de decisiones que conciernen a la ejecución. Implica gestión basada en el trabajo en equipo y liderazgo compartido. Los resultados deben construir aprendizajes para las personas y grupos, y no solamente juicios y opiniones individuales, lo cual es un nuevo paradigma. 

Evaluación = Aprendizaje y responsabilidad Investigación = Aprendizaje Auditoría = Responsabilidad convencional Control de calidad = Aseguramiento de un nivel de calidad aceptable Medición del desempeño = Medición/comparación de indicadores de proceso y gestión Monitoreo = Medición/comparación de resultados y productos de programas y proyectos Segone (1998)

Bibliografía Feinstein Osvaldo “Método para el Análisis Rápido Concentrado (MARCO) de Sistemas de Seguimiento y Evaluación”. FIDA, 1993. Khan, Khadija “Strenghtening of Monitoring and Evaluation System” Pakistan Poverty Alleviation Fund Islamabad. June 2003. Preskill, Hallie; Russ-Eft, Darlene “Building Evaluation Capacity”. Sage, 2005. PREVAL Sondeos de Necesidades 2001 y 2004; Encuesta de impacto (2007) PREVAL “Nota conceptual de la Guía para el desarrollo de capacidad en SyE” Lima,,julio 2007. PREVAL “Rapid Assessment on the situation of M&E Systems” May 2007. PREVAL “Informe del Seminario sobre desarrollo de la capacidad local con socios en SyE del desarrollo rural”. Lima, junio 2007 Segone, Marco “Evaluación Democrática” UNICEF 1998