Evaluación Social La fase ausente de la agenda pública Gloria Edel Mendicoa Materia: Administración de Proyectos Equipo docente: Lic. Cristina Marinero Lic. Carlos Perez

El objeto de análisis Es el programa y/o proyecto y Respecto de ellos: LOS RESULTADOS

El programa y/o proyecto Responde a un conjunto de supuestos, que son sujetos de medición previa a través de las variables que se detecten, las que en el proceso de planificación actuarán como determinantes, en el sentido de justificar la intervención, y los resultados son los efectos que se pretenden por la intervención aludida.

Las políticas sociales como programas y/o proyectos Tienen como objetivo: la lucha contra la insatisfacción de las necesidades básicas. Acciones integradas en tres vértices: 1- la intervención multidimensional y las acciones integradas, 2- el sistema de implementación y, 3- la participación de los afectados (centrando los objetivos de aquellas en el sujeto)

Evaluación de resultados Los resultados son la evidencia empírica de la intervención realizada, Carácter de la evaluabilidad y la evaluación por resultados sobre la que debe preverse el sistema de indicadores apropiados.

La multidimensionalidad El problema sujeto-objeto de una acción social no puede “aislar” un elemento específico sobre el que operar.

La intervención y las fases La estrategia debe ser evaluada como un sistema que integre las distintas fases en las dimensiones socio-económicas, los protagonistas y los espacios.

La externalidad o efectos El resultado de la política y sus efectos. La contrastación empírica de los supuestos contenidos en el diseño de la política. Aquí se traspasó la evaluación de evaluabilidad y se justifica la evaluación de resultados.

La calidad de los logros Esta posición es netamente subjetiva respecto a la relación demanda-satisfacción. Analizar el carácter de la satisfacción

El proceso planificador Planificación normativa Planificación estratégica Estrategia: conjunto de proposiciones de carácter general destinadas a orientar y enmarcar la selección de cursos de acción- factibles de establecer puntos y procesos críticos- sobre los que debería actuarse.

El proceso planificador - Construcción del problema - Objetivos y metas - Identificación de operaciones - Gestión de la Administración: Identificación de la situación existente, Definición de objetivos organizacionales, Definición de estrategias, Monitoreo, evaluación de estrategias - Monitoreo y Evaluación

Funciones de la planificación La coordinación: herramienta que permite avanzar en forma permanente en el equilibrio entre la eficiencia económica, la equidad social y la democracia política. La evaluación: como un “ejercicio heurístico”. Aprender de la experiencia. La previsión: anticipar

Funciones de la planificación

Momento del proceso planificador FORMULACIÓN y PREPARACIÓN   EVALUACIÓN Investigación Planificación Ejecución ¿Qué característica tiene la situación problema? ¿Qué se quiere hacer? ¿Qué se hace? ¿Qué diferencia hay entre lo previsto y los resultados? Conocimiento Conocimiento + Acción Acción+Conocimiento Estudio de la realidad Estudio técnico o de factibilidad Estudio de la organización Estudio de la rentabilidad. Análisis cualitativo. Sensibilización

La etapa de ejecución Es un continuum: El plan es el elemento orientador, que se lo debe entender de manera flexible, se involucra estrategias operativas (tácticas), acciones que llevan tiempo, presupuesto y estructuras programáticas.

La evaluación social Los problemas que se encuentran: Técnicos-aplicación de instrumentos, el campo de representatividad de los destinatarios, la aplicación de fuentes secundarias con base estadística, la forma de tratamiento de los datos obtenidos, de tipo financieros

Sobre los actores Actores políticos Actores administrativos/gerenciales Actores financieros Actores técnicos/profesionales

Modelos de evaluación Realista y/o racionales Constructivista

Modelo Realista Definición de variables: Objetiva- se describe lo que ve. Función de la evaluación: Instrumentos para medir las variaciones objetivas de las variables respecto de determinados criterios (eficiencia(eficacia)

Modelo Realista Rol del observador: Definición objetiva y elemento de control en el cumplimiento objetivo de la evaluación. Rol de la evaluación: Factor importante aunque no siempre constitutivo de la programación.

Modelo Constructivista Definición de variables: Objetiva por la relevancia que implica evaluara y porque otorga estabilidad al proceso. Función de la evaluación: Instrumento para medir procesos y resultados conforme a acuerdos de los distintos actores participantes.

Modelo Constructivista Rol del observador: Definición de la objetividad según los objetivos del proyecto y el criterio que se adopte de la evaluación. Rol de la evaluación: Factor constitutivo del proceso de evaluación

Fases de una evaluación -a Familiarización con el programa Decisión sobre la viabilidad de la evaluación Determinación del tipo de evaluación 3.1. Funcionamiento del programa (implementación, monitoreo) 3.2 Efectos sobre la sociedad/comunidad (impacto) 3.3 Resultados/efectos del programa (resultados) 3.4 Consideración de beneficios y costos (costo(beneficio/utilidad)

Fases de una evaluación -a 4. Diseño/proyecto de evaluación 5. Relevamiento de la información 6. Análisis de datos/informe

Fases de una evaluación -b Identificación de partes interesadas Organizar con ellas un grupo de trabajo Delimitación y preguntas y temas de evaluación ¿pueden identificarse como se utilizarán las respuestas de esta pregunta Sí se continua No – Buscar nuevas preguntas y temas

Fases de una evaluación -b 5. Dada la utilización prevista vale la pena hacer la evaluación Si se continua No se termina el proceso

Fases de una evaluación -b 6. Toma de decisiones sobre diseño, métodos y medición: 1- Los métodos son adecuados para las preguntas de la evaluación 2- Los resultados que se obtengan tendrán credibilidad 3- Los métodos a utilizar están dentro del presupuesto 4- Los resultados obtenidos se utilizarán

Fases de una evaluación -b 7. Recogida de información/datos 8. Análisis de datos 9. Grupo de trabajo que se implica en el análisis 10. Decisión sobre cómo utilizar y aplicar los hallazgos 11. Decisión sobre difusión de hallazgos

La evaluación en proceso Momento de evaluación   Antes (ex ante) Durante Despues (ex post) Fases del proyecto Idea Formulación/ Programación operativa Implementación Evaluación Carácter de la evaluación Viabilidad Lógica De seguimiento Resultado- impacto

Evaluación de la evaluabilidad Sobre Objetivos del programa Tareas: Revisión de documentos, entrevistas a personas claves, entrevistas a partes interesadas. Productos: Informe de objetivos del programa y grado de consenso, informe de las necesidades de información de personas clave

Evaluación de la evaluabilidad Sobre Actividades programadas Tareas: Descripción de relaciones entre inputs, actividades y outputs, explicitando las relaciones causales. Productos: Descripción narrativa del programa, modelos lógicos de inputs/outputs, modelos de funcionamiento

Evaluación de la evaluabilidad Sobre las discrepancias lógicas Tareas: Examen de supuestos no válidos, relaciones causales no lógicas, etc. Productos: Informe sobre los aspectos del programa que parezcan implausibles.

Evaluación de la evaluabilidad Sobre el Campo Tareas: Exploración y descripción de actividades que realmente ocurren, identificación de indicadores disponibles de resultados esperados. Productos: Informe sobre observaciones de campo, informe sobre los indicadores.

Evaluación de la evaluabilidad Sobre las Discrepancias empíricas Tareas: Comparación de actividades reales con las programadas Productos: Informe sobre discrepancias significativas

Evaluación de la evaluabilidad Sobre las Opciones de evaluación de gestión Tareas: Examen de las discrepancias lógicas y empíricas e identificación de sus causas, propuesta de soluciones, revisar opciones iniciales. Productos: Sugerencias de opciones factibles para gestiones

Evaluación Primera Fase Presentación del proyecto. El proyecto como formulación teórica. Evaluación de los componentes: identificación, antecedentes, justificación, objetivos, marco procedimental, costos, beneficios, criterios de evaluación propuestos.

Evaluación Segunda Fase Evaluación de la evaluabilidad Puesta en marcha del proyecto

Evaluación Tercera Fase Los resultados e impactos: organizativos; de intereses ; escenarios a futuro.