Programa de Formación en Evaluación

Presentación del tema: "Programa de Formación en Evaluación"— Transcripción de la presentación:

1 Programa de Formación en Evaluación
PLAN DE EVALUACION Programa de Formación en Evaluación desco Lima, de setiembre de 2006

2 OBJETO DE EVALUACION

3 Teoría del cambio Aprendizajes en el proceso Contexto ¿QUÉ EVALUAR? Efectividad de la intervención Supuestos/ Condiciones Cambios o Procesos emergentes Eficacia de la intervención

4 DIMENSIONES DEL CAMBIO EN LA EVALUACION DE CIP
Sub dimensiones ESTRATEGIAS LOCALES (¿QUÉ SE HACE?) Capital social Fortalecimiento institucional Identidad cultural y territorial Construcción de acuerdos y consensos Capital humano Calidad y equidad en educación Calidad y equidad en salud Acceso a la alimentación Capital productivo Ingresos Recursos naturales estratégicos Infraestructura y equipamiento Acceso a insumos Acceso a tecnologías (y conocimientos) Acceso a créditos Acceso a información PALANCAS DE CAMBIO (¿CÓMO SE HACE?) Alianzas interinstitucionales Construcción, desarrollo y consolidación de alianzas interinstitucionales Liderazgo de los jóvenes Capacidades de liderazgo de los jóvenes Participación de los jóvenes: dónde, cómo y cuánto participan CONDICIONES (SUPUESTOS) Visión compartida Construcción de visiones colectivas

5 ¿Qué evaluar? Preguntas básicas Teoría de cambio Contexto
Conjunto de dimensiones, sub dimensiones o variables de la teoría de cambio, traducidas a preguntas orientadoras o indicadores Contexto ¿Cómo se define el contexto de la intervención? ¿Qué cambios en el contexto pueden llevar a reorientar las estrategias del CIP? Supuestos / condiciones ¿Qué nuevas situaciones a nivel de los supuestos pueden limitar o favorecer el logro de los cambios previstos? Cambios o procesos no previstos ¿Hay cambios introducidos por el CIP que hayan sido adoptados por gente que no pertenece a la población objetivo? ¿Hay cambios significativos que han emergido de la experiencia sin ser promovidos por las acciones del CIP? Eficacia de la intervención ¿Qué significan estos hallazgos con relación a los resultados esperados y el propósito del CIP? ¿Se avanzó de manera significativa, limitada, no se avanzó o se retrocedió? ¿Qué significa el que se haya avanzado de manera satisfactoria en estos aspectos, de manera limitada en aquellos o que hayan habido estancamientos e incluso retrocesos en estos otros? ¿A que factores podemos atribuir la obtención significativa o limitada de los cambios o la no obtención de ellos? ¿A los participantes, las estrategias de intervención, el contexto, los procesos, los recursos u otros? Efectividad de la intervención ¿Qué significan los hallazgos en relación con el contexto? ¿Los cambios obtenidos son significativos en las vidas de los participantes? ¿Son relevantes en el territorio en el que se desarrolla el CIP? ¿Cuáles son los cambios de mayor significación en el contexto analizado? ¿Cuáles son los de menor significación? ¿A qué factores o razones podemos atribuir que determinados cambios tengan una mayor significación y viceversa en el contexto de los participantes? Aprendizajes en el proceso ¿Qué conocimientos, destrezas y actitudes se han desarrollado en los participantes del proceso de evaluación? ¿Cómo se han distribuido estas capacidades y actitudes entre los distintos actores?

6 PROPOSITOS DE LA EVALUACION

7 PROPOSITOS DE LA EVALUACION DE CIP
Construir información integral, con base en datos de primera mano, sobre la población objetivo del CIP, el territorio en que opera, el contexto en que se inserta y los supuestos con los que trabaja. Construir información, con base en datos cuantitativos y cualitativos, objetiva, confiable y suficiente, sobre los indicadores de impacto, efecto y logro definidos para el CIP, con la finalidad de establecer un primer referente de comparación (valor de los indicadores en el momento inicial). Aportar elementos para la revisión y el ajuste de los resultados previstos (logros, efectos e impactos) y las estrategias de intervención del CIP. Aportar elementos para el diseño de un sistema de PS&ES para el CIP. Contribuir al aprendizaje colectivo de los actores locales involucrados, promoviendo acciones y canales de reflexión y de diálogo. Contribuir a mejorar las capacidades de los actores locales involucrados para una gestión del desarrollo local orientada al impacto.

8 PREGUNTAS ORIENTADORAS

9 PREGUNTAS ORIENTADORAS
DIMENSIÓN: ALIANZAS INTERINSTITUCIONALES SUB DIMENSIÓN: CONSTRUCCION, DESARROLLO Y CONSOLIDACION DE ALIANZAS INTERINSTITUCIONALES RESULTADO PREGUNTAS ORIENTADORAS Diferentes actores sociales, privados y públicos, desarrollan, practican y fortalecen la modalidad asociativa de alianza para ejecutar proyectos e iniciativas locales de interés común ¿Cuántos proyectos e iniciativas se ejecutan por la modalidad de alianza? ¿Cómo perciben los receptores (autoridades, hacedores de políticas, tomadores de decisiones, agencias de cooperación, etc.,) de las propuestas de las alianzas la calidad de las mismas? ¿En qué medida los dirigentes de las organizaciones que conforman las alianzas consideran haber mejorado sus prácticas para el trabajo asociativo? ¿Cuál es el nivel de desarrollo y consolidación de las alianzas? ¿Qué tan visible es el trabajo de las alianzas a nivel local? ¿Qué tan favorable es la opinión de otros actores locales sobre el trabajo de las alianzas?

10 PREGUNTAS ORIENTADORAS
DIMENSIÓN: LIDERAZGO JUVENIL SUB DIMENSIÓN: PARTICIPACIÓN DE LOS JOVENES RESULTADOS PREGUNTAS ORIENTADORAS Jóvenes líderes del territorio participan en espacios públicos y privados de gestión local y promueven decisiones y políticas favorables a la juventud ¿Cuántos jóvenes participan en espacios públicos y privados de gestión local? ¿cómo varía ese número en el tiempo? ¿Cuál es el porcentaje de jóvenes entre el total de ciudadanos que participan en espacios públicos y privados de gestión local? ¿cómo varía ese porcentaje en el tiempo? ¿Cuál es el porcentaje de jóvenes con cargos directivos entre el total de directivos en espacios públicos y privados de gestión local? ¿cómo varía ese porcentaje en el tiempo? ¿En qué ámbitos se han tomado e implementado decisiones favorables a la juventud desde los espacios públicos y privados de gestión local? ¿cuál es el nivel de calidad de esas decisiones? ¿Cómo son percibidos los jóvenes que participan en espacios públicos y privados de gestión local?

11 DIMENSIÓN: CAPITAL HUMANO SUB DIMENSIÓN: CALIDAD DE LA EDUCACION
RESULTADOS PREGUNTAS ORIENTADORAS Servicios educativos se ofrecen en mejores condiciones docentes, con resultados pedagógicos y eficiencia tanto interna como externa ¿Cuál es el porcentaje de docentes titulados? ¿Cuánto se han capacitado y especializado los docentes en ejercicio? ¿Qué tan competentes son los docentes en ejercicio? ¿Qué tan pertinente es el currículo en relación a las características socio culturales locales? ¿Cómo perciben el currículo los actores locales ligados a la producción? ¿En qué medida se cumplen los objetivos y contenidos curriculares programados? ¿Cuál es la tasa de deserción en las escuelas locales? ¿Cuál es el porcentaje de repitencia / promoción en las escuelas locales? ¿Cuántos son los años promedio de graduación en las escuelas locales? ¿Cuál es el nivel de inserción de egresados a la educación superior? ¿Cuál es el nivel de inserción de egresados al mercado laboral?

12 INDICADORES

13 DIMENSIÓN: ALIANZAS INTERINSTITUCIONALES SUB DIMENSIÓN: CONSTRUCCION, DESARROLLO Y CONSOLIDACION DE ALIANZAS INTERINSTITUCIONALES

14 PREGUNTAS ORIENTADORAS
RESULTADO PREGUNTAS ORIENTADORAS INDICADORES DE EFECTO Diferentes actores sociales, privados y públicos, desarrollan, practican y fortalecen la modalidad asociativa de alianza para ejecutar proyectos e iniciativas locales de interés común ¿Cuántos proyectos e iniciativas se ejecutan por la modalidad de alianza? Número de proyectos e iniciativas que se ejecutan por la modalidad de alianza ¿Cómo perciben los receptores (autoridades, hacedores de políticas, tomadores de decisiones, agencias de cooperación, etc.,) de las propuestas de las alianzas la calidad de las mismas? Percepciones de los receptores de las propuestas de las alianzas (incluyendo aquellas que no se aprobaron y que no se ejecutan) sobre la calidad de las mismas ¿En qué medida los dirigentes de las organizaciones que conforman las alianzas consideran haber mejorado sus prácticas para el trabajo asociativo? Porcentaje de miembros clave de las organizaciones que conforman las alianzas que menifiestan haber mejorado sus prácticas para el trabajo asociativo, según: Acceso y uso de información de interés común Uso de metodologías para el manejo de relaciones y conflictos Uso de prácticas de concertación Elaboración y evaluación de proyectos e iniciativas concertadas ¿Cuál es el nivel de desarrollo y consolidación de las alianzas? No. de alianzas por nivel de consolidación, según: Formalización de sus funciones Canales de participación para sus miembros Transparencia en la gestión de los recursos Capacidad de negociación entre sí y con otros actores Composición intersectorial Capacidad para generar propuestas técnicas Capacidad para generar propuestas políticas N’ de convenios firmados con otros actores en beneficio de las acciones ejecutadas por la alianza ¿Qué tan visible es el trabajo de las alianzas a nivel local? Número de otros actores locales estratégicos de la zona de intervención que conocen el trabajo de las alianzas ¿Qué tan favorable es la opinión de otros actores locales sobre el trabajo de las alianzas? Número de otros actores locales estratégicos de la zona de intervención que tienen una opinión favorable del trabajo de las alianzas

15 PREGUNTAS ORIENTADORAS
DIMENSIÓN: LIDERAZGO JUVENIL SUB DIMENSIÓN: PARTICIPACIÓN DE LOS JOVENES RESULTADO PREGUNTAS ORIENTADORAS INDICADORES DE EFECTO Jóvenes líderes del territorio participan en espacios públicos y privados de gestión local y promueven decisiones y políticas favorables a la juventud ¿Cuántos jóvenes participan en espacios públicos y privados de gestión local? ¿cómo varía ese número en el tiempo? Número y porcentaje de jóvenes que participan en espacios públicos y privados de gestión local ¿Cuál es el porcentaje de jóvenes entre el total de ciudadanos que participan en espacios públicos y privados de gestión local? ¿cómo varía ese porcentaje en el tiempo? Porcentaje de jóvenes que participan en espacios públicos y privados de gestión local ¿Cuál es el porcentaje de jóvenes con cargos directivos entre el total de directivos en espacios públicos y privados de gestión local? ¿cómo varía ese porcentaje en el tiempo? Porcentaje de jóvenes con cargos directivos en espacios públicos y privados de gestión local ¿En qué ámbitos se han tomado e implementado decisiones favorables a la juventud desde los espacios públicos y privados de gestión local? ¿cuál es el nivel de calidad de esas decisiones? Ámbito y calidad de las decisiones tomadas e implementadas desde espacios públicos y privados de gestión local favorables a la juventud ¿Cómo son percibidos los jóvenes que participan en espacios públicos y privados de gestión local? Jóvenes participantes en espacios públicos y privados de gestión local identificados como hacedores de políticas y tomadores de decisiones por representantes de otros actores sociales

16 DIMENSIÓN: CAPITAL HUMANO SUB DIMENSIÓN: CALIDAD DE LA EDUCACION
RESULTADO PREGUNTAS ORIENTADORAS INDICADORES DE EFECTO Servicios educativos se ofrecen en mejores condiciones docentes, con resultados pedagógicos y eficiencia tanto interna como externa ¿Cuál es el porcentaje de docentes titulados? Porcentaje de docentes titulados entre el total de docentes ¿Cuánto se han capacitado y especializado los docentes en ejercicio? Niveles de formación continua de los docentes ¿Qué tan competentes son los docentes en ejercicio? Competencia docente ¿Qué tan pertinente es el currículo en relación a las características socio culturales locales? Nivel de incorporación de la historia local en los contenidos curriculares ¿Cómo perciben el currículo los actores locales ligados a la producción? Percepciones sobre el currículo por actores locales ligados a la producción ¿En qué medida se cumplen los objetivos y contenidos curriculares programados? Nivel de cumplimiento de los objetivos programados en el currículo Nivel de cumplimiento de los contenidos programados en el currículo ¿Cuál es la tasa de deserción en las escuelas locales? Tasa de deserción ¿Cuál es el porcentaje de repitencia / promoción en las escuelas locales? Porcentaje de repitencia / promoción ¿Cuántos son los años promedio de graduación en las escuelas locales? Años promedio de graduación ¿Cuál es el nivel de inserción de egresados a la educación superior? Porcentaje de inserción de egresados a la educación superior ¿Cuál es el nivel de inserción de egresados al mercado laboral? Porcentaje de inserción de egresados al mercado laboral

17 INFORMANTES / FUENTES

18 DIMENSIÓN: ALIANZAS INTERINSTITUCIONALES SUB DIMENSIÓN: CONSTRUCCION, DESARROLLO Y CONSOLIDACION DE ALIANZAS INTERINSTITUCIONALES INDICADORES INFORMANTES / FUENTES Número de proyectos e iniciativas que se ejecutan por la modalidad de alianza Información secundaria (documentos de proyectos e iniciativas) Percepciones de los receptores de las propuestas de las alianzas (incluyendo aquellas que no se aprobaron y que no se ejecutan) sobre la calidad de las mismas Receptores de propuestas de las alianzas Porcentaje de miembros clave de las organizaciones que conforman las alianzas que manifiestan haber mejorado sus prácticas para el trabajo asociativo, según: Acceso y uso de información de interés común Uso de metodologías para el manejo de relaciones y conflictos Uso de prácticas de concertación Elaboración y evaluación de proyectos e iniciativas concertadas Miembros clave de las organizaciones que conforman las alianzas

19 DIMENSIÓN: LIDERAZGO JUVENIL SUB DIMENSIÓN: PARTICIPACIÓN DE LOS JOVENES
INDICADORES INFORMANTES / FUENTES Número y porcentaje de jóvenes que participan en espacios públicos y privados de gestión local Información secundaria (actas de reunión de espacios de gestión local) Porcentaje de jóvenes que participan en espacios públicos y privados de gestión local Porcentaje de jóvenes con cargos directivos en espacios públicos y privados de gestión local Ámbito y calidad de las decisiones tomadas e implementadas desde espacios públicos y privados de gestión local favorables a la juventud Información secundaria (acuerdos y decisiones presentes en actas de reunión de espacios de gestión local) Jóvenes participantes en espacios públicos y privados de gestión local identificados como hacedores de políticas y tomadores de decisiones por representantes de otros actores sociales Representantes de otros actores sociales (autoridades, líderes de OSB o empresariales, representantes de la iglesia, etc.,)

20 DIMENSIÓN: CAPITAL HUMANO SUB DIMENSIÓN: CALIDAD DE LA EDUCACION
INDICADORES INFORMANTES / FUENTES Porcentaje de docentes titulados entre el total de docentes Información secundaria (estadísticas de la UGEL) Niveles de formación continua de los docentes Información secundaria (expedientes profesionales) Nivel de incorporación de la historia local en los contenidos curriculares Información secundaria (programas curriculares) Percepciones sobre el currículo por actores locales ligados a la producción Actores locales ligados a la producción (representantes del empresariado, productores asociados e individuales) Nivel de cumplimiento de los objetivos programados en el currículo Información secundaria (informes docentes sobre desarrollo curricular) Nivel de cumplimiento de los contenidos programados en el currículo Tasa de deserción Porcentaje de repitencia / promoción Años promedio de graduación

21 TECNICAS E INSTRUMENTOS

22 TECNICAS / INSTRUMENTOS
DIMENSIÓN: ALIANZAS INTERINSTITUCIONALES SUB DIMENSIÓN: CONSTRUCCION, DESARROLLO Y CONSOLIDACION DE ALIANZAS INTERINSTITUCIONALES INDICADORES INFORMANTES / FUENTES TECNICAS / INSTRUMENTOS Número de proyectos e iniciativas que se ejecutan por la modalidad de alianza Información secundaria (documentos de proyectos e iniciativas) Percepciones de los receptores de las propuestas de las alianzas (incluyendo aquellas que no se aprobaron y que no se ejecutan) sobre la calidad de las mismas Receptores de propuestas de las alianzas Entrevista semi estructurada Porcentaje de miembros clave de las organizaciones que conforman las alianzas que manifiestan haber mejorado sus prácticas para el trabajo asociativo, según: Acceso y uso de información de interés común Uso de metodologías para el manejo de relaciones y conflictos Uso de prácticas de concertación Elaboración y evaluación de proyectos e iniciativas concertadas Miembros clave de las organizaciones que conforman las alianzas Encuesta

23 TECNICAS / INSTRUMENTOS
DIMENSIÓN: LIDERAZGO JUVENIL SUB DIMENSIÓN: PARTICIPACIÓN DE LOS JOVENES INDICADORES INFORMANTES / FUENTES TECNICAS / INSTRUMENTOS Número y porcentaje de jóvenes que participan en espacios públicos y privados de gestión local Información secundaria (actas de reunión de espacios de gestión local) Porcentaje de jóvenes que participan en espacios públicos y privados de gestión local Porcentaje de jóvenes con cargos directivos en espacios públicos y privados de gestión local Ámbito y calidad de las decisiones tomadas e implementadas desde espacios públicos y privados de gestión local favorables a la juventud Información secundaria (acuerdos y decisiones presentes en actas de reunión de espacios de gestión local) Jóvenes participantes en espacios públicos y privados de gestión local identificados como hacedores de políticas y tomadores de decisiones por representantes de otros actores sociales Representantes de otros actores sociales (autoridades, líderes de OSB o empresariales, representantes de la iglesia, etc.) Entrevista semi estructurada

24 DIMENSIÓN: CAPITAL HUMANO SUB DIMENSIÓN: CALIDAD DE LA EDUCACION
INDICADORES INFORMANTES / FUENTES TECNICAS / INSTRUMENTOS Porcentaje de docentes titulados entre el total de docentes Información secundaria (estadísticas de la UGEL) Niveles de formación continua de los docentes Información secundaria (expedientes profesionales) Nivel de incorporación de la historia local en los contenidos curriculares Información secundaria (programas curriculares) Percepciones sobre el currículo por actores locales ligados a la producción Actores locales ligados a la producción (representantes del empresariado, productores asociados e individuales) Entrevista semi estructurada Nivel de cumplimiento de los objetivos programados en el currículo Información secundaria (informes docentes sobre desarrollo curricular) Nivel de cumplimiento de los contenidos programados en el currículo Tasa de deserción Porcentaje de repitencia / promoción Años promedio de graduación

25 Evaluación de técnicas e instrumentos
Criterios de evaluación Escala Opinión 1 2 3 Pertinencia (¿el instrumento es adecuado para el tipo de información que se desea obtener?) Factibilidad (¿el instrumento puede ser utilizado dados los recursos humanos y materiales con que se cuenta?) Costo (¿el instrumento es más barato que otros por unidad aplicada o por muestra?) Oportunidad (¿el instrumento puede ser aplicado y procesado en el tiempo requerido?) Puntaje total

26 MATRIZ DE EVALUACION

27 MATRIZ DE EVALUACION RESULTADO PREGUNTAS ORIENTADORAS INDICADORES
INFORMANTES / FUENTES TECNICAS / INSTRUMENTOS PARTICIPANTES EN EL ANALISIS

28 MATRIZ DE EVALUACION ELEMENTOS DEL CONTEXTO / SUPUESTOS
PREGUNTAS ORIENTADORAS INFORMANTES / FUENTES TECNICAS / INSTRUMENTOS PARTICIPANTES EN EL ANALISIS