Construcción del Sistema de Seguimiento, Evaluación y Aprendizaje del PRORURAL SISEVA Equipo ANUBIS

Introducción a un sistema de evaluación y aprendizaje Sistema de evaluación = sistema de información orientado a la evaluación de resultados y al aprendizaje Aprendizaje = aparición de comportamientos nuevos a raíz de insumos informacionales Sistema de información = sistema de datos cuyos soportes y flujos están integrados en un sistema organizacional

Sigue sobre sistemas de evaluación Sistema de datos = conjunto estructurado de indicadores orientados a la evaluación de resultados. Indicador = dato que indica un resultado y puede ser comparado y contrastado Sistema organizacional = arreglo contractualizado entre actores que proporciona una estructura funcional para un propósito compartido.

La construcción del sistema de datos Parte I Equipo ANUBIS

La construcción del sistema de resultados La evaluación de resultados y al aprendizaje es una parte de la gestión por resultados Detrás de los indicadores, para llegar a ellos, hay un sistema de resultados que evidenciar. Segun MHCP, “un resultado es un producto que corresponde a la misión y es útil a su destinatario” pero usa indistinctamente producto en vez de resultado. No se debe hablar de ‘productos estratégicos’ sino de resultados estratégicos.

Jerarquía de Resultados según métodos de evaluación OBJETIVOS Evaluación de Efectos & Impactos Gestión por Resultados Superior Impactos indirectos Resultados Estratégicos Central Impactos directos Específico Efectos Resultados inmediatos Acciones Productos SISEVA MHCP

Los alcances de la revisión del sistema de resultados Relaciones del sistema de resultados con el sistema de objetivos... Contar con un marco de programación acabado y coherente.Si no existe, hay que ayudar a hacerlo. Lado superior / lado inferior: dos retos distintos... Lado superior: la definición de los impactos en el nivel estratégico, basada en una interpretación de la política. Lado inferior: la definición de líneas de acción (agregados de actividades), debe coincidir con la programación operativa.

El marco lógico en cascada Marco Lógico en cascada permite introducir la dimensión de los subsectores de la política, que se vuelven componentes programáticos y sus relaciones con las instituciones del SPAR. Ya existía un marco lógico por componente, pero no estaba en cascada (salvo el de INAFOR). El alineamiento metodológico con MHCP no es solamente formal, es un tema de contenido: definición de líneas de acción. El ML en cascada se adapta a esta necesidad. La articulación se hace en el nivel de las líneas de acción.

Niveles Lógicos Programáticos e Institucionales

Objetivos especificos del sector / Objetivos centrales de componentes Los resultados a este nivel implican transformaciones importantes del medio social, llamadas impactos. Son resultantes de los cambios en las prácticas y las visiones de las personas o en el entorno, llamados efectos.

Impactos indirectos El 2) y 7) se agregaron para reflejar el OT de SAN. El 3) se agregó para reflejar los OT 1 y 4 (Mercados) El 8) se agregó para reflejar el OT 6 (Participación) El 9) se agregó para asignarle una contribución específica a los componentes 6 y 7.

Impactos inducidos El 1) proviene del cuarto indicador de OD (anexo 1). El 2) refleja el OT 7 (SAN) como bien superior. El 4) refleja el OT 5 (Género) como bien superior. El 5) refleja los OT1 y 4 como bien superior. Está pendiente detallar los resultados ambientales evocados genéricamente en el 6).

Enfoques: Programático / Institucional Enfoque Programático Enfoque Institucional Sector MAGFOR Sector C1 C5 Componente Otras Instituciones Instituciones Del SPAR Z1 Z7 Territorio

Planificación y Evaluación Plan Sectorial Desagregación Agregación T S C I Agregación Plan por Componentes y Territorios Planes institucionales por componentes y territorios

Acoplamiento de los componentes (programáticos) con las líneas acción (institucionales) Primero: identificar las líneas de acción institucionales a partir de sus mandatos, tal como lo establece el MHCP. Segundo: verificar que a cada línea de acción le corresponde uno o más “resultados” de PRORURAL u “objetivos” del o los Componentes que le corresponden. Tercero: Redefinir (en la medida de lo posible) las líneas de acción si estas no se alinean con “resultados” u “objetivos” de los Componentes. Pueden quedar líneas de acción sin componentes (actividades institucionales no contempladas en PRORURAL), pero NO componentes sin líneas de acción a nivel institucional.

Situación de las instituciones INTA está conforme con la estructura del marco lógico del componente, pero resultados son solo institucionales FUNICA tiene su propio marco lógico. Pretende aprovechar para incorporar sus indicadores. DGPSA está replanteando sus líneas de acción y sus resultados, para acordarlas con su estructura. INAFOR está replanteando sus líneas de acción para acoplar la programacion institucional acorde con MHCP con la programacion operativa IDR tiene las líneas de acción asignadas y un ML institucional. No puede alinear sus 22 proyectos, amarrados por sus propios convenios. Formato uniforme de centralización de datos.

Pistas para el trabajo a seguir... El primer paso del proceso de planificación ordenado por MHCP deberá concluir a la mayor brevedad para que las líneas de acción institucionales queden firmemente establecidas en relación con los R sectoriales para 2007 - 2009 (Armonización) Con el sistema de resultados bien definido, se procede a la definición de los indicadores para el nivel operacional. Revisar los impactos indirectos e inducidos propuestos y los indicadores correspondientes.

Tareas pendientes

Sobre los objetivos transversales Los ejes que no corresponden al mandato de una institución en particular o que son responsabilidad de todos dan lugar a lo que se conoce como 'ejes transversales' o 'áreas transversales de intervención'. No todos los temas se transversalizan de la misma manera. Via resultados en los diferentes niveles. Solamente a través de rupturas de los indicadores. También varía según los componentes.

Resultados de los objetivos transversales: propuesta de tratamiento

Objetivos transversales ampliados y propuesta de tratamiento

Definición de indicadores Es una unidad de información que permite mostrar los cambios en el tiempo de una situación determinada. Porqué indicadores neutros: son los instrumentos de medición, de observación, de apreciación; no contienen implícita la comparación, operación que interviene posteriormente en el proceso evaluativo. Los supuestos sobre el sentido del cambio o su magnitud no son propiedad del instrumento sino del hecho a observar, anticipada en el momento de planificación. Estos valores asignados son metas de planificación, no son parte del indicador.

El tratamiento de datos: de la construcción de indicadores a la sala de evaluación. Parte II Equipo ANUBIS

Definiciones de los elementos ordenadores del sistema de datos Ambitos: son cortes dentro de la totalidad del mundo real. Los hogares, las empresas, las personas, los ecosistemas, las instituciones... Campos temáticos: ciencias o disciplinas que se ocupan de estos ámbitos. La sociología de los hogares, la microeconomía, etc. Unidades Metodológicas: conjuntos de métodos coherentes. La encuesta de hogares, etc. Construcción de indicadores a partir de variables... La objetividad de la verificación depende de la calidad del protocolo de observación. Noción de cadena de proposiciones articuladas.

Matriz de Resultados Ámbito Objetivos / Nivel Lógico Agentes economicos Instituciones Medioambiente Desarrollo / Superior / Finalidad OS 1.1 OS 1.2 OS 1.3 Central / General / Propósito OC 2.1 OC 2.2 OC 2.3 Específico / Efectos E 3.1 E 3.2 E 3.3 El cruce de los objetivos con los ámbitos permite presentar a los resultados dentro de tabla de doble entrada.

Protocolos de observación y tratamiento de datos Campo Temático Área del Conocimiento Unidad Metodológica Principios Metodológicos Generalmente Aceptados Protocolo de observación y tratamiento de datos Instrucciones Metodológicas SS&E Construcción de Indicadores Tratamiento de Datos

La Comparación Evaluativa Línea Base Valor del indicador en: Valoración de los indicadores en el momento evaluativo cero. El Momento Evaluativo Actual El Momento Evaluativo Anterior Incluye los momentos de diferentes flujos, gracias a la agregación secuencial. La Meta Acompaña el indicador en el ML de programación, pero no es parte del él.

La línea de base Es la observación del valor de los indicadores en el momento evaluativo cero. La línea de base es posterior a la programación y su objetivo es servir de base a la evaluación. No debe confundirse con el diagnostico ex ante que sirve de base para la programación y el establecimiento de las metas. El tema de la atribución y el uso eventual de los testigos (counterfact) se resuelve de manera diferente para cada ámbito.

La Contrastación Población … n 1 Población: Actores Institucionales Valor de un Indicador para diferentes poblaciones: Población 1 2 … n Valor Del Indicador Población: Actores Institucionales Actores Sociales Población Tipos de productores Perspectiva de genero - etc…

Cadenas Causales P I I E I P E I I I Figura 1a P =productos, E = Efecto, I = Impacto, II = Impacto indirecto P E I I I Figura 1b P =productos, E = Efectos, I = Impacto, II = Impactos indirectos

Modelo Causal

Análisis de Resultados La Sala de Evaluación Equipo técnico y actores relevantes Análisis de Resultados Opciones Decidores Toma de decisiones

El Aprendizaje Corrección Se aprende corrigiendo Resultado Opción Momento Evaluativo Intervención Tendencia Toma de decisiones Corrección Procesos Capacitación Recursos Objetivo Acción Se aprende corrigiendo Se capacita para corregir

El sistema organizacional: soporte y motor del sistema de datos Parte III Equipo ANUBIS

Principios del sistema organizacional Actividades de planificación y de concepción del seguimiento/evaluación: orientadas por un esfuerzo mancomunado y sistemático. Estructura del SISEVA, calcada sobre la estructura de planificación. Unidad central / unidades institucionales: SISEVA piramidal desconcentrado para los R operativos, centralizado para impactos. Efectos: depende del componente. Diseño del sistema organizacional, basado en el diseño del SPAR.

Diseño del sistema organizacional Seguimiento de las líneas de acción, eventualmente de los efectos 2 DGPSA 3 INAFOR INAFOR 1 FUNICA DGPSAF Transmisión de indicadores con sus rupturas INTA FONDE- AGRO IDR 4 5

Perfil del SISEVA mínimamente andando... Horizonte temporal: 2º semestre año 2006, sólo indicadores verificables en estos momentos / informes correspondientes. Capacidades existentes en las USE de las instituciones, sólo se acoplan al nivel central (diseño diferente al diagrama ideal). Tableros de transformación de los datos de las USE / institucionales en inputs para el nivel central. No se cuenta con una línea de base para la comparación.

El apoyo informático (momentos) Cálculo de los indicadores: para el registro y tratamiento de los datos, procesamiento estadístico, la agregación secuencial y el control de la ejecución física y financiera. (Base de Datos, Project, SPSS, Hojas de Cálculo), existen en las instituciones. Evaluación: en la comparación evaluativa de los indicadores, la contrastación, la elaboración de los juicios sobre resultados y el análisis. (Hojas de Cálculo, Base de Datos, Aplicación Ad-Hoc)… a desarrollar. Decisión: análisis de los resultados evaluativos, identificación y presentación de opciones, control de las decisiones. (Power Point, Hojas de Cálculo), existen en las instituciones.

Ideas para concluir, Pistas para seguir. Solo se puede mostrar lo que se puede registrar: límite pragmatico del S. piloto Los grandes compromisos (metas cuantitativas) son de resultados de nivel superior y no se pueden medir a corto plazo Incluye un proceso de capacitacion… Diseño óptimo, según el desarrollo de las capacidades de las instituciones…