La descarga está en progreso. Por favor, espere

La descarga está en progreso. Por favor, espere

DISEÑO Y EVALUACIÓN DE PROGRAMAS Y PROYECTOS SOCIALES Evaluar para la transformación Dagmar Raczynski y Pablo Villatoro Jornada Comunidad Organizaciones.

Presentaciones similares


Presentación del tema: "DISEÑO Y EVALUACIÓN DE PROGRAMAS Y PROYECTOS SOCIALES Evaluar para la transformación Dagmar Raczynski y Pablo Villatoro Jornada Comunidad Organizaciones."— Transcripción de la presentación:

1

2 DISEÑO Y EVALUACIÓN DE PROGRAMAS Y PROYECTOS SOCIALES Evaluar para la transformación Dagmar Raczynski y Pablo Villatoro Jornada Comunidad Organizaciones Solidarias 16 de noviembre 2007

3 Contenidos 4 El ciclo de intervención social (programa, proyecto) y el lugar de la evaluación 4 La evaluación supone y requiere de un adecuado diseño del programa o proyecto. Elementos básicos del diseño de un programa o proyecto. 4 El proceso de evaluación. Tipos de evaluación, sus preguntas y abordajes metodológicos. 4 El diseño de una evaluación Modalidad de trabajo 4 Exposición y trabajo grupal de aplicación de los contenidos vistos a a nuestra labor, compartiendo nuestros aprendizajes. Nota de precaución: 4 No existe manual o receta para evaluar de forma universal todo tipo de proyecto o programa, sí lineamientos sobre criterios y procesos requeridos y orientaciones para encarar una evaluación 4 Distintas temas, criterios, enfoques y técnicas de evaluación de programas y proyectos y ninguna alternativa es optima por se, respuesta depende de las preguntas que se desean responder, el contexto y viabilidad de la evaluación, el para qué de ella, la información disponible, los tiempos, plazos y recursos de la evaluación, entre otros.

4 Distintos niveles y unidades de evaluación: políticas, programas, proyectos 4 Ejemplos: evaluar apoyos al sistema educativo, cambios incorporados al funcionamiento de un servicio de salud, una escuela, un consultorio, una organización comunitaria, una política, un programa, un proyecto, el servicio brindado por una organización o por un conjunto de organizaciones a determinado segmento poblacional. 4 Programa y proyecto social son intervenciones planificadas destinadas a responder a un problema y obtener determinados resultados en un segmento de la población o una organización, sistema o servicio. La diferencia entre ambas es en escala y duración: Programa conjunto de actividades integradas con continuidad temporal; Proyecto: una unidad menos compleja, de duración limitada y atiende a una demanda o necesidad puntual. 4 Política: un fin o propósito mayor en el cual se insertan y al cual concurren varios programas y proyectos

5 Conjunto especificado de acciones humanas y recursos materiales diseñados e implantados organizadamente (planificados) en determinada realidad social, con el propósito de resolver algún problema que atañe a un conjunto de personas, una organización o una realidad social especifica. Política / Programa / Proyecto

6 VALORES IDEOLOGÍA DOMINANTE POLÍTICA CIENCIA/CONOCIMIENTO DIAGNOSTICO/ NECESIDADES OBJETIVOS Y METAS ALTERNATIVAS DE INTERVENCIÓN DISEÑO DE PROGRAMA IMPLANTACIÓN EVALUACIÓN REPLANTAMIENTO DECISIONES El Ciclo de intervención social y lugar de la evaluación

7 Lugar de la evaluación de programas y proyectos sociales en el ciclo de la intervención social 4 La evaluación no es una parte inicial o final del proceso de creación u operación de un proyecto o programa social sino que es un elemento constitutivo e inseparable del mismo. Planificación, ejecución, evaluación son un todo o momentos del todo en continua interacción 4 Diseño y planificación miran hacia delante / la evaluación mira hacia atrás (aprender de lo hecho, los aciertos y los errores, para recomendar giros o refuerzos en la acción futura). 4 La ausencia de sistematicidad en el diseño del programa y claridad en su modalidad de gestión y ejecución dificulta la definición de objetivos y características de una evaluación.

8 Requerimientos técnicos para una evaluación rigurosa 4 Que el proyecto o programa sea una intervención sistemática y estructurada 4 Tenga claridad en objetivos y en destinatarios 4 Tenga claridad en su hipótesis (estrategia) de intervención (unidad de intervención, qué hacer y cómo) 4 Disponga de una forma de organización de los recursos y agentes involucrados, una modalidad definida de gestión 4 Claridad en preguntas a las cuales se espera responda la evaluación (el qué y para qué de la evaluación)

9 Diseño de un programa y proyecto: Elementos cruciales del diseño 4 Diagnóstico del problema (recorte y descripción de una realidad) –Identificación del problema y las necesidades / situaciones en que se expresa y consecuencias que tiene para el grupo humano. Priorización y dimensión de el o los problemas y a quiénes afecta. Dimensión del problema. –Causas principales y factores condicionantes y efectos del problema (árbol de problemas y árbol de posibilidades). –Identificación de factores sobre los cuales es posible y no es posible actuar 4 Diseño del programa –Fin y propósito: qué se desea conseguir –Objetivos y sub-objetivos: Qué resultados se espera obtener (definición clara, específicos, factibles, medibles, insertos y coherente con fin y propósito), expresados en metas y plazos. –Grupo objetivo o destinatarios: a quien o quienes se dirige –Principios orientadores tras el programa: asistir, invertir en capital humano, expandir capital social, fomentar la participación social y ciudadana (control social), abrir oportunidades –Camino de solución: teoría tras el programa e hipótesis/estrategia de intervención (operar el cambio), descarte de caminos alternativos.

10 Diseño de un programa y proyecto: Elementos cruciales / mínimos 4 Diseño del programa –Componentes y acciones y sus productos (qué hace) –Metodología de trabajo (cómo lo hace) –Modalidad de gestión: ¿con quiénes? Actores involucrados, funciones y responsabilidades, organización entre ellos –Financiamiento y recursos materiales –Diseño para el monitoreo y evaluación del programa (sistema de información) 4 Implantación o ejecución –Plan de trabajo: actividades y cronograma –Insumos: recursos humanos, materiales y financieros –Monitoreo o seguimiento de aspectos financieros y uso de recursos, de actividades, de procesos y resultados (productos) 4 Evaluación para hacerlo mejor, aprender, transformar ejemplo

11 Diseño de un programa y proyecto: Ejemplo: Diagnóstico y Diseño Falta de conocimiento y escasez de oportunidades laborales dentro de la comuna Poca motivación y oportunidades para los jóvenes Bajos niveles de escolaridad de los jóvenes Alto nivel de deserción escolar Bajo nivel educacional de los padres Bajas expectativas personales Bajo nivel de autoestima entre los jóvenes Altos niveles de consumo de alcohol y drogas entre los jóvenes Dependencia económica y precariedad habitacional Mala convivencia al interior de la familia Hacinamiento Bajo nivel de competencias laborales entre los jóvenes Alto nivel de desempleo entre jóvenes de 18 a 24 años residentes en la población X de la comuna Y.

12 Herramienta para evaluar el diseño de un programa o proyecto: Matriz de marco lógico 4 Instrumento de diseño y de evaluación del diseño de un programa –Fin del programa (no implica que el programa en si mismo será suficiente para lograr el fin, si debe contribuir al mismo) –Propósito del programa: resultado directo a ser logrado y en quiénes –Componentes del programa: productos y/o servicios que entrega el programa y la modalidad de entrega –Actividades del programa: tareas que debe cumplir para el logro de cada uno de los componentes y organización y gestión del programa –Insumos y recursos necesarios 4 En relación con los 5 elementos se definen indicadores (especificaciones cuantitativas que verifican la presencia /ausencia o nivel de logro de cada elemento), medios de verificación (como se obtiene la información sobre el indicador) y supuestos (acontecimientos fuera del control directo del programa que deben ocurrir para lograr la implementación de los productos y servicios, el propósito y el fin del programa). 4 Facilita realizar una análisis lógico de coherencia del diseño del programa, identifica a los actores involucrados y los supuestos sobre su conducta respecto al programa. ejemplo

13 Ejemplo FIN Bajo Consumo de alcohol entre jóvenes PROPÓSITO Jóvenes con competencias laborales PRODUCTO 1 Cursos de capacitación accesibles ACTIVIDADES 1. cursos de capacitación para jóvenes en horarios vespertinos 2. becas da capacitación 3. ….. ACTIVIDADES 1. Taller de dinámica familiar 2. Actividades recreativas familiares 3. …… PRODUCTO 2 Talleres familiares habilitados

14 Comentarios y preguntas sobre el diseño de programas sociales 4 ¿Cuándo se termina el diseño de un programa? ¿Quiénes hacen el diseño? Importancia de la acción de los implementadores directos en terreno. 4 Cercanía – distancia entre diseño e implementación. Papel fundamental de la implementación 4 Estandarización - flexibilidad del diseño 4 Cambios o modificaciones al diseño del programa (metas, modalidad de trabajo, organización, aspectos operativos, colaboración con otros).

15 Trabajo grupal 1: grupos según cargo en la institución a que pertenecen (45 minutos aproximado)

16 DEFINICIONES DE EVALUACIÓN DE PROGRAMAS SOCIALES Conjunto ordenado y sistemático de procedimientos que permiten establecer un juicio u opinión sobre el mérito o valor de un programa para tomar decisiones sobre él, que apunten a su mejoramiento. Aplicación de métodos y técnicas de las ciencias sociales para levantar juicios relativos a la utilidad y eficacia de las acciones implementadas. Acto de juzgar el mérito o valor de alguna intervención social, en algún momento del tiempo (por ej., en alguna fase del ciclo de programación social; antes, durante o después de la intervención social), de acuerdo a un conjunto de criterios (que pueden ser pre- establecidos o no) y con propósitos de generar algún tipo de transformación social. Actividad programada de reflexión sobre la acción, basada en procedimientos sistemáticos de recolección, análisis e interpretación de información, con la finalidad de emitir juicios valorativos fundamentados y comunicables sobre las actividades, resultados e impactos de un proyecto o programa y formular recomendaciones para tomar decisiones que permitan ajustar la acción presente y mejorar la acción futura

17 Elementos definitorios de una evaluación 4 Tarea rigurosa y programada 4 Reflexión sobre la acción basada en procedimientos sistemáticos en base a información, mediciones y comparaciones (rigor metodológico) 4 Adopta un punto de vista o criterio que orienta el análisis y que es necesario explicitar 4 Como resultado, emite un juicio de valor sobre un proyecto, programa o política 4 Formula recomendaciones para perfeccionar la acción (resultados se utilizan para la toma de decisiones)

18 ¿ Para qué evaluar? Evaluación = aprendizaje y transformación 4 Evaluación no es control de unos actores sobre otros, no es fiscalización 4 Es aprendizaje compartido entre quienes participan de las gestiones de los programas y proyectos, de modo de provocar transformaciones en las situaciones insatisfactorias y en los modos de actuar para su resolución –Modificar situaciones de adversidad, inequidad, vulnerabilidad –Da cuenta de la manera en que las acciones desplegadas resultan o no adecuadas –Dar cuenta de la eficiencia y eficacia en el uso de recursos –Sugerir cambios que es aconsejable introducir

19 ¿ Qué queremos evaluar? Tipos y temas de evaluación 4 Criterios de clasificación –Momento en que se realiza la evaluación: antes, durante o después –Quiénes intervienen en la evaluación y son responsables de ella (interna o externa) –Aspecto a evaluar del programa o proyecto

20 ASPECTOS QUE SE EVALÚAN 4 Etapas del ciclo de un programa: antes, durante, ex - post –Antes: Evaluación del diseño del programa: si debe implementarse o no en función de una estimación de su eficacia, pertinencia, coherencia interna, factibilidad y rentabilidad económica –Durante: Evaluación como instrumento de gestión (monitoreo o seguimiento). Mira aspectos operativos y procesos. Si se cumple el proyecto de acuerdo a la propuesta inicial. Genera información sobre procesos, actividades y los productos y los compara con las metas formuladas. Identifica aspectos no esperados. –Ex -.post: evaluación de resultados a nivel de efectos e impacto e identificación de factores que contribuyen a producir estos resultados. Elemento central : línea base (diagnostico situación inicial y control de variables relevantes externas a la intervención). ¿conviene seguir implementando el proyecto?, en caso afirmativo, ¿qué aspectos pueden mejorarse a futuro?.

21 Temas que se evalúan 4 Evaluación de insumos, incluye evaluación económica 4 Evaluación de procesos y productos (dinámica institucional, política y organizacional de la implementación) 4 Evaluación de efectos e impacto, esperados y no esperados 4 Evaluación estratégica o integral

22 Según atributos del programa que se evalúan 4 De pertinencia, medida en la cual una política o programa, sus opciones metodológicas y su lógica de intervención, responden a las necesidades de la población. 4 De focalización, se refiere a la medida en que una política o programa llega a su población objetivo. 4 De cobertura, a cuántos de sus posibles beneficiarios un programa entrega sus beneficios. 4 De proceso, se refiere a las actividades y procedimientos que se realizan durante la implantación de la política o programa para determinar cómo éste está actuando. 4 De eficiencia, determinando si los resultados que se obtienen son adecuados a los medios utilizados. Costo de oportunidad de asignar recursos a un programa en relación con otro 4 De eficacia, se refiere a la medida en la cual existen pruebas de que los objetivos de la política o programa se han logrado. Costo - eficacia de la evaluación. 4 De efectividad, medida en que una política o programa ha alcanzado el conjunto de efectos sobre la población objetivo que se habían previsto. 4 De satisfacción, entendida como el sentimiento subjetivo por parte de los beneficiarios respecto de la política o programa.

23 Otras distinciones –Evaluación sumativa y formativa –Evaluaciones participativas –Externa - interna –Metodologías y técnicas cuantitativas y cualitativas

24 VENTAJAS E INCONVENIENTES DE LA EVALUACION DENTRO/FUERA VENTAJASINCONVENIENTES Evaluación desde dentro - Optimiza la mejora del programa. - Minimiza la reactividad de los sujetos. - Menos costosa. - Mayor influencia sobre el programa. -Minimiza la objetividad. -Minimiza la credibilidad social de la evaluación. -Minimiza la utilización de estándares y tecnología dura. Evaluación desde fuera -Maximiza la objetividad. -Maximiza la utilización de tecnología dura (diseño, instrumentos). -Maximiza la credibilidad social de la evaluación. -Maximiza la utilización de estándares. -Minimiza las posibilidades de mejorar el programa. -Maximiza la reactividad de los sujetos. -Más costosa. -Menor influencia sobre el programa.

25 EVALUACION CUANTITATIVA Y EVALUACION CUALITATIVA Evaluación cuantitativaEvaluación cualitativa Paradigma positivista/empíricoParadigma fenomenológico y constructivista Predominio de la deducciónPredominio de inducción, comprensión, interpretación Diseño experimental y cuasi- experimental Investigación naturalista Perspectiva desde fuera (observador externo) Perspectiva desde dentro (actores involucrados) Lenguaje numérico Aspectos objetivos, observables, cuantificables Lenguaje verbal y observación de conductas Captación y comprensión de actitudes, valores, motivaciones, Análisis estadísticoEstudios de casos, desarrollo de procesos Resultados generalizables estadísticamente Resultados limitados en su generalización

26 Diseños y herramientas para realizar la evaluación 4 Evaluación de efectos e impacto (grupo de control, línea base, análisis contrafactual, diseños experimental, cuasiexperimental, natural, de control de variables) 4 Seguimiento de procesos, análisis de actores, estudios de caso, etc. 4 Análisis económicos de costos y costo- eficacia 4 Técnicas de evaluación (recolección de información)

27 Requerimientos político - institucionales de una evaluación 4 Usuario de la evaluación y sus expectativas 4 Independencia de la evaluación 4 Clima político abierto a la evaluación y a incorporar los resultados 4 Oportunidad de los resultados (momento) 4 Lenguaje en que se expresan y comunican los resultados

28 Trabajo 2: parte individual (15 minutos, entregar por escrito)

29 Trabajo 2: parte grupal (40 minutos aproximado)

30 Propuesta de trabajo / tarea inter- sesión Fecha de entrega informe: lunes 26 de Noviembre o antes; enviar por correo electrónico a

31 Referencia Bibliográfica 4 José Sulbrandt "La evaluación de los programas sociales. Una Perspectiva Crítica de los Modelos Usuales ", pág Bernardo Kliksberg (compilador), en Pobreza. Un Tema Impostergable. Nuevas Respuestas a Nivel Mundial, Fondo de Cultura Económica, México, primera edición 1993.


Descargar ppt "DISEÑO Y EVALUACIÓN DE PROGRAMAS Y PROYECTOS SOCIALES Evaluar para la transformación Dagmar Raczynski y Pablo Villatoro Jornada Comunidad Organizaciones."

Presentaciones similares


Anuncios Google