Dagmar Raczynski y Pablo Villatoro

Presentación del tema: "Dagmar Raczynski y Pablo Villatoro"— Transcripción de la presentación:

1 Dagmar Raczynski y Pablo Villatoro
DISEÑO Y EVALUACIÓN DE PROGRAMAS Y PROYECTOS SOCIALES “Evaluar para la transformación” Dagmar Raczynski y Pablo Villatoro Jornada Comunidad Organizaciones Solidarias 16 de noviembre 2007

2 Contenidos Contenidos
El ciclo de “intervención social” (programa, proyecto) y el lugar de la evaluación La evaluación supone y requiere de un adecuado diseño del programa o proyecto. Elementos básicos del diseño de un programa o proyecto. El proceso de evaluación. Tipos de evaluación, sus preguntas y abordajes metodológicos. El diseño de una evaluación Modalidad de trabajo Exposición y trabajo grupal de aplicación de los contenidos vistos a a nuestra labor, compartiendo nuestros aprendizajes. Nota de precaución: No existe manual o receta para evaluar de forma universal todo tipo de proyecto o programa, sí lineamientos sobre criterios y procesos requeridos y orientaciones para encarar una evaluación Distintas temas, criterios, enfoques y técnicas de evaluación de programas y proyectos y ninguna alternativa es optima por se, respuesta depende de las preguntas que se desean responder, el contexto y viabilidad de la evaluación, el para qué de ella, la información disponible, los tiempos, plazos y recursos de la evaluación, entre otros.

3 Distintos niveles y unidades de evaluación: políticas, programas, proyectos
Ejemplos: evaluar apoyos al sistema educativo, cambios incorporados al funcionamiento de un servicio de salud, una escuela, un consultorio, una organización comunitaria, una política, un programa, un proyecto, el servicio brindado por una organización o por un conjunto de organizaciones a determinado segmento poblacional. Programa y proyecto social son intervenciones planificadas destinadas a responder a un problema y obtener determinados resultados en un segmento de la población o una organización, sistema o servicio. La diferencia entre ambas es en escala y duración: Programa conjunto de actividades integradas con continuidad temporal; Proyecto: una unidad menos compleja, de duración limitada y atiende a una demanda o necesidad puntual. Política: un fin o propósito mayor en el cual se insertan y al cual concurren varios programas y proyectos

4 Política / Programa / Proyecto
Conjunto especificado de acciones humanas y recursos materiales diseñados e implantados organizadamente (planificados) en determinada realidad social, con el propósito de resolver algún problema que atañe a un conjunto de personas, una organización o una realidad social especifica.

5 El Ciclo de intervención social y lugar de la evaluación
DIAGNOSTICO/ NECESIDADES OBJETIVOS Y METAS REPLANTAMIENTO DECISIONES VALORES IDEOLOGÍA DOMINANTE POLÍTICA CIENCIA/CONOCIMIENTO ALTERNATIVAS DE INTERVENCIÓN EVALUACIÓN DISEÑO DE PROGRAMA IMPLANTACIÓN

6 Lugar de la evaluación de programas y proyectos sociales en el ciclo de la intervención social
La evaluación no es una parte inicial o final del proceso de creación u operación de un proyecto o programa social sino que es un elemento constitutivo e inseparable del mismo. Planificación, ejecución, evaluación son un todo o momentos del todo en continua interacción Diseño y planificación miran hacia delante / la evaluación mira hacia atrás (aprender de lo hecho, los aciertos y los errores, para recomendar giros o refuerzos en la acción futura). La ausencia de sistematicidad en el diseño del programa y claridad en su modalidad de gestión y ejecución dificulta la definición de objetivos y características de una evaluación.

7 Requerimientos técnicos para una evaluación rigurosa
Que el proyecto o programa sea una intervención sistemática y estructurada Tenga claridad en objetivos y en destinatarios Tenga claridad en su hipótesis (estrategia) de intervención (unidad de intervención, qué hacer y cómo) Disponga de una forma de organización de los recursos y agentes involucrados, una modalidad definida de gestión Claridad en preguntas a las cuales se espera responda la evaluación (el qué y para qué de la evaluación)

8 Diseño de un programa y proyecto: Elementos cruciales del diseño
Diagnóstico del problema (recorte y descripción de una realidad) Identificación del problema y las necesidades / situaciones en que se expresa y consecuencias que tiene para el grupo humano. Priorización y dimensión de el o los problemas y a quiénes afecta. Dimensión del problema. Causas principales y factores condicionantes y efectos del problema (árbol de problemas y árbol de posibilidades). Identificación de factores sobre los cuales es posible y no es posible actuar Diseño del programa Fin y propósito: qué se desea conseguir Objetivos y sub-objetivos: Qué resultados se espera obtener (definición clara, específicos, factibles, medibles, insertos y coherente con fin y propósito), expresados en metas y plazos. Grupo objetivo o destinatarios: a quien o quienes se dirige Principios orientadores tras el programa: asistir, invertir en capital humano, expandir capital social, fomentar la participación social y ciudadana (control social), abrir oportunidades Camino de solución: teoría tras el programa e hipótesis/estrategia de intervención (operar el cambio), descarte de caminos alternativos.

9 Diseño de un programa y proyecto: Elementos cruciales / mínimos
Diseño del programa Componentes y acciones y sus productos (qué hace) Metodología de trabajo (cómo lo hace) Modalidad de gestión: ¿con quiénes? Actores involucrados, funciones y responsabilidades, organización entre ellos Financiamiento y recursos materiales Diseño para el monitoreo y evaluación del programa (sistema de información) Implantación o ejecución Plan de trabajo: actividades y cronograma Insumos: recursos humanos, materiales y financieros Monitoreo o seguimiento de aspectos financieros y uso de recursos, de actividades, de procesos y resultados (productos) Evaluación para hacerlo mejor, aprender, transformar ejemplo

10 Diseño de un programa y proyecto: Ejemplo: Diagnóstico y Diseño
Falta de conocimiento y escasez de oportunidades laborales dentro de la comuna Poca motivación y oportunidades para los jóvenes Bajos niveles de escolaridad de los jóvenes Alto nivel de deserción escolar Bajo nivel educacional de los padres Bajas expectativas personales Bajo nivel de autoestima entre los jóvenes Altos niveles de consumo de alcohol y drogas entre los jóvenes Dependencia económica y precariedad habitacional Mala convivencia al interior de la familia Hacinamiento Bajo nivel de competencias laborales entre los jóvenes Alto nivel de desempleo entre jóvenes de 18 a 24 años residentes en la población X de la comuna Y.

11 Herramienta para evaluar el diseño de un programa o proyecto: Matriz de marco lógico
Instrumento de diseño y de evaluación del diseño de un programa Fin del programa (no implica que el programa en si mismo será suficiente para lograr el fin, si debe contribuir al mismo) Propósito del programa: resultado directo a ser logrado y en quiénes Componentes del programa: productos y/o servicios que entrega el programa y la modalidad de entrega Actividades del programa: tareas que debe cumplir para el logro de cada uno de los componentes y organización y gestión del programa Insumos y recursos necesarios En relación con los 5 elementos se definen indicadores (especificaciones cuantitativas que verifican la presencia /ausencia o nivel de logro de cada elemento), medios de verificación (como se obtiene la información sobre el indicador) y supuestos (acontecimientos fuera del control directo del programa que deben ocurrir para lograr la implementación de los productos y servicios, el propósito y el fin del programa). Facilita realizar una análisis lógico de coherencia del diseño del programa, identifica a los actores involucrados y los supuestos sobre su conducta respecto al programa. ejemplo

12 Ejemplo FIN Bajo Consumo de alcohol entre jóvenes PROPÓSITO
Jóvenes con competencias laborales PRODUCTO 1 Cursos de capacitación accesibles ACTIVIDADES 1. cursos de capacitación para jóvenes en horarios vespertinos 2. becas da capacitación ….. 1. Taller de dinámica familiar . Actividades recreativas familiares . …… PRODUCTO 2 Talleres familiares habilitados

13 Comentarios y preguntas sobre el diseño de programas sociales
¿Cuándo se termina el diseño de un programa? ¿Quiénes hacen el diseño? Importancia de la acción de los implementadores directos en terreno. Cercanía – distancia entre diseño e implementación. Papel fundamental de la implementación Estandarización - flexibilidad del diseño Cambios o modificaciones al diseño del programa (metas, modalidad de trabajo, organización, aspectos operativos, colaboración con otros).

14 Trabajo grupal 1: grupos según cargo en la institución a que pertenecen (45 minutos aproximado)

15 DEFINICIONES DE EVALUACIÓN DE PROGRAMAS SOCIALES
Conjunto ordenado y sistemático de procedimientos que permiten establecer un juicio u opinión sobre el mérito o valor de un programa para tomar decisiones sobre él, que apunten a su mejoramiento. Aplicación de métodos y técnicas de las ciencias sociales para levantar juicios relativos a la utilidad y eficacia de las acciones implementadas. Acto de juzgar el mérito o valor de alguna intervención social, en algún momento del tiempo (por ej., en alguna fase del ciclo de programación social; antes, durante o después de la intervención social), de acuerdo a un conjunto de criterios (que pueden ser pre-establecidos o no) y con propósitos de generar algún tipo de transformación social. Actividad programada de reflexión sobre la acción, basada en procedimientos sistemáticos de recolección, análisis e interpretación de información, con la finalidad de emitir juicios valorativos fundamentados y comunicables sobre las actividades, resultados e impactos de un proyecto o programa y formular recomendaciones para tomar decisiones que permitan ajustar la acción presente y mejorar la acción futura

16 Elementos definitorios de una evaluación
Tarea rigurosa y programada Reflexión sobre la acción basada en procedimientos sistemáticos en base a información, mediciones y comparaciones (rigor metodológico) Adopta un punto de vista o criterio que orienta el análisis y que es necesario explicitar Como resultado, emite un juicio de valor sobre un proyecto, programa o política Formula recomendaciones para perfeccionar la acción (resultados se utilizan para la toma de decisiones)

17 ¿Para qué evaluar? Evaluación = aprendizaje y transformación
Evaluación no es control de unos actores sobre otros, no es fiscalización Es aprendizaje compartido entre quienes participan de las gestiones de los programas y proyectos, de modo de provocar transformaciones en las situaciones insatisfactorias y en los modos de actuar para su resolución Modificar situaciones de adversidad, inequidad, vulnerabilidad Da cuenta de la manera en que las acciones desplegadas resultan o no adecuadas Dar cuenta de la eficiencia y eficacia en el uso de recursos Sugerir cambios que es aconsejable introducir

18 ¿Qué queremos evaluar? Tipos y temas de evaluación
Criterios de clasificación Momento en que se realiza la evaluación: antes, durante o después Quiénes intervienen en la evaluación y son responsables de ella (interna o externa) Aspecto a evaluar del programa o proyecto

19 ASPECTOS QUE SE EVALÚAN
Etapas del ciclo de un programa: antes, durante, ex - post Antes: Evaluación del diseño del programa: si debe implementarse o no en función de una estimación de su eficacia, pertinencia, coherencia interna, factibilidad y rentabilidad económica Durante: Evaluación como instrumento de gestión (monitoreo o seguimiento). Mira aspectos operativos y procesos. Si se cumple el proyecto de acuerdo a la propuesta inicial. Genera información sobre procesos, actividades y los productos y los compara con las metas formuladas. Identifica aspectos no esperados. Ex - .post: evaluación de resultados a nivel de efectos e impacto e identificación de factores que contribuyen a producir estos resultados. Elemento central : línea base (diagnostico situación inicial y control de variables relevantes externas a la intervención). ¿conviene seguir implementando el proyecto?, en caso afirmativo, ¿qué aspectos pueden mejorarse a futuro?.

20 Evaluación de insumos, incluye evaluación económica
Temas que se evalúan Evaluación de insumos, incluye evaluación económica Evaluación de procesos y productos (dinámica institucional, política y organizacional de la implementación) Evaluación de efectos e impacto, esperados y no esperados Evaluación estratégica o integral

21 Según atributos del programa que se evalúan
De pertinencia, medida en la cual una política o programa, sus opciones metodológicas y su lógica de intervención, responden a las necesidades de la población. De focalización, se refiere a la medida en que una política o programa llega a su población objetivo. De cobertura, a cuántos de sus posibles beneficiarios un programa entrega sus beneficios. De proceso, se refiere a las actividades y procedimientos que se realizan durante la implantación de la política o programa para determinar cómo éste está actuando. De eficiencia, determinando si los resultados que se obtienen son adecuados a los medios utilizados. Costo de oportunidad de asignar recursos a un programa en relación con otro De eficacia, se refiere a la medida en la cual existen pruebas de que los objetivos de la política o programa se han logrado. Costo - eficacia de la evaluación. De efectividad, medida en que una política o programa ha alcanzado el conjunto de efectos sobre la población objetivo que se habían previsto. De satisfacción, entendida como el sentimiento subjetivo por parte de los beneficiarios respecto de la política o programa.

22 Otras distinciones Evaluación sumativa y formativa
Evaluaciones participativas Externa - interna Metodologías y técnicas cuantitativas y cualitativas

23 VENTAJAS E INCONVENIENTES DE LA EVALUACION DENTRO/FUERA
Evaluación desde dentro Optimiza la mejora del programa. Minimiza la reactividad de los sujetos. Menos costosa. Mayor influencia sobre el programa. -Minimiza la objetividad. -Minimiza la credibilidad social de la evaluación. -Minimiza la utilización de estándares y tecnología dura. Evaluación desde fuera -Maximiza la objetividad. -Maximiza la utilización de tecnología dura (diseño, instrumentos). -Maximiza la credibilidad social de la evaluación. -Maximiza la utilización de estándares. -Minimiza las posibilidades de mejorar el programa. -Maximiza la reactividad de los sujetos. -Más costosa. -Menor influencia sobre el programa.

24 EVALUACION CUANTITATIVA Y EVALUACION CUALITATIVA
Evaluación cuantitativa Evaluación cualitativa Paradigma positivista/empírico Paradigma fenomenológico y constructivista Predominio de la deducción Predominio de inducción, comprensión, interpretación Diseño experimental y cuasi- experimental Investigación naturalista Perspectiva desde fuera (observador externo) Perspectiva desde dentro (actores involucrados) Lenguaje numérico Aspectos objetivos, observables, cuantificables Lenguaje verbal y observación de conductas Captación y comprensión de actitudes, valores, motivaciones, Análisis estadístico Estudios de casos, desarrollo de procesos Resultados generalizables estadísticamente Resultados limitados en su generalización

25 Diseños y herramientas para realizar la evaluación
Evaluación de efectos e impacto (grupo de control, línea base, análisis contrafactual, diseños experimental, cuasiexperimental, natural, de control de variables) Seguimiento de procesos, análisis de actores, estudios de caso, etc. Análisis económicos de costos y costo- eficacia Técnicas de evaluación (recolección de información)

26 Requerimientos político - institucionales de una evaluación
Usuario de la evaluación y sus expectativas Independencia de la evaluación Clima político abierto a la evaluación y a incorporar los resultados Oportunidad de los resultados (momento) Lenguaje en que se expresan y comunican los resultados

27 Trabajo 2: parte individual (15 minutos, entregar por escrito)

28 Trabajo 2: parte grupal (40 minutos aproximado)

29 Propuesta de trabajo / tarea inter- sesión Fecha de entrega informe: lunes 26 de Noviembre o antes; enviar por correo electrónico a

30 Referencia Bibliográfica
José Sulbrandt "La evaluación de los programas sociales. Una Perspectiva Crítica de los Modelos Usuales ", pág Bernardo Kliksberg (compilador), en “Pobreza. Un Tema Impostergable. Nuevas Respuestas a Nivel Mundial”, Fondo de Cultura Económica, México, primera edición 1993.