1 Seminario Fundación Educacional Arauco El Valor de la Evaluación Talca, 1 de octubre de 2009.

Presentación del tema: "1 Seminario Fundación Educacional Arauco El Valor de la Evaluación Talca, 1 de octubre de 2009."— Transcripción de la presentación:

1 1 Seminario Fundación Educacional Arauco El Valor de la Evaluación Talca, 1 de octubre de 2009

2 2 El Valor de la Evaluación de Programas en Educación www.fundacionarauco.cl Blanca Cuadrado Jefa Área investigación Fundación Educacional Arauco

3 De acuerdo a distintos autores, las funciones u objetivos de la evaluación de programas se relacionan con: resultadostoma de decisiones – conocer los resultados y justificar la toma de decisiones gestión – ayudar a la gestión de los mismos contabilidad – dar contabilidad pública de los gastos implicados contrastar teorías – aportar a contrastar teorías (Smith, 1994 en Sanhueza et al., 2003) El Valor de la Evaluación de Programas en Educación

4 Los programas educativos pueden entenderse como un esfuerzo focalizado y sostenido por dar respuesta o solución a un problema específico en el ámbito educativo ¿Que entendemos por Programas Educativos?

5 Calidad de la Educación Autoestima de los alumnos Clima escolar Rendimiento y aprendizajes Permanencia en el sistema NIÑOS PROFESORES ESCUELA Redes de comunicación Sistema de participación de familias y comunidad Distribución del tiempo y tareas Capacidad de influencia Estilo de liderazgo y resolución de conflictos Orientación de la tarea (técnico- administrativa) Consideración de motivaciones de profesores Infraestructura Implementación Materiales pedagógicos Clima y normas de convivencia escolar Trabajo en equipo Dinámicas de liderazgo, toma de decisiones y resolución de conflictos Gestión en función de calidad Sistema de evaluación Nivel de formación y experiencia Metodologías pedagógicas Conocimiento de programas vigentes Gestión de clases Autoestima y características personales Estilo atribucional Expectativas de autoeficacia y motivación de logro Actitud hacia la tarea y el equipo pedagógico Estatus socioeconómico (nivel de escolaridad, ocupación) Pautas de crianza Valoración de la educación Involucramiento en aprendizaje y en la escuela Identidad y legitimidad de la escuela en la comunidad Interés y motivación Actitud hacia el aprendizaje Atención preescolar y conocimiento previo Autoestima Aptitudes y habilidades Expectativas Nivel de autonomía Relación de dependencia (sostenedor) Estructura organizacional Director Dinámica escolar Formación y ejercicio profesional Características personales Familia y Entorno Características personales Dependencia Proyecto educativo Árbol del problema (Fig.n°1, Sanhueza et al., 2003)

6 Programas Educativos Se orientan a la solución de un problema ¿Por qué lo hacemos? (árbol del problema) Definen una línea de acción en un ámbito específico ¿Para qué lo hacemos? (objetivos y resultados) Involucran a distintos actores ¿Quiénes lo hacen? (compromiso, participación y responsabilidad) Definen tiempo y recursos ¿Cuándo y con qué? (etapas, plazos, lugar, recursos) Se sustentan en la misión ¿Sobre qué base lo hacemos? (basados en principios) Tienen una diseño definido y explicitado ¿Cómo lo hacemos? (diseño y características de la implementación y sustentabilidad) Tienen evaluación permanente ¿Cómo lo valoramos? (evaluación del programa y de resultados)

7 Proceso de evaluación “proceso sistemático, diseñado intencional y técnicamente, de recogida de información rigurosa (valiosa, válida y fiable), orientado a valorar la calidad y los logros de un programa, como base para la posterior toma de decisiones de mejora…” (Pérez Juste, 2000)

8 ¿Qué debe pasar para que se logre el objetivo final? ¿Qué cambios deben ocurrir? ¿ Qué problema queremos resolver y qué resultados queremos obtener? ¿Qué queremos lograr? ¿Qué podemos hacer que se den los cambios necesarios que permitan obtener los resultados esperados? ¿Qué podemos hacer y cómo? Objetivos como resultados esperados Objetivo Final IMPACTO (cambios o logros en los beneficiarios últimos) Componentes PRODUCTOS (Líneas de acción, logros directos de lo hecho ) Objetivo Inmediato EFECTOS (cambios o logros en los participantes)

9 PREPARATORIAINICIALDESARROLLOFINALSEGUIMIENTO Modelo de Evaluación (Fundación Educacional Arauco) Objetivos Evaluación Objetivo Final IMPACTO (cambios o logros en los beneficiarios últimos) Componentes PRODUCTOS (Líneas de acción, logros directos de lo hecho ) Objetivo Inmediato EFECTOS (cambios o logros en los participantes) Etapa de detección del problema y diseño Árbol de problema, objetivos y diseño Etapa de diagnóstico y adecuación Evaluación inicial Etapa de implementación y de evaluación de proceso Evaluación proceso y objetivos intermedios Etapa final de cierre Evaluación resultados finales Etapa de seguimiento (finalizado el programa) Monitoreo, sustentabilidad, evaluación expost Momentos o etapas

10 PREPARATORIAINICIALDESARROLLOFINALSEGUIMIENTO Modelo de Evaluación (Fundación Educacional Arauco) Objetivos Evaluación Objetivo Final IMPACTO (cambios o logros en los beneficiarios últimos) Componentes PRODUCTOS (Líneas de acción, logros directos de lo hecho ) Objetivo Inmediato EFECTOS (cambios o logros en los participantes) Etapa de detección del problema y diseño Árbol de problema, objetivos y diseño Etapa de diagnóstico y adecuación Evaluación inicial Etapa de implementación y de evaluación de proceso Evaluación proceso y objetivos intermedios Etapa final de cierre Evaluación resultados finales Etapa de seguimiento (finalizado el programa) Monitoreo, sustentabilidad, evaluación expost Momentos o etapas

11 Teoría y respaldo empírico del programa ¿Qué objetivos y características tiene el programa? ¿Es teóricamente sustentable? ¿Cuál es el grado de evaluabilidad del programa? Adecuación a las necesidades y el contexto ¿Responde a las necesidades de contexto? ¿Es viable en este contexto? Descripción del programa Evaluación de necesidades y contexto (antecedentes) Adecuación a la situación inicial ¿Cuáles son las condiciones de partida de los participantes y beneficiarios? ¿Son coherentes las evaluaciones con los objetivos propuestos? Evaluación Inicial- Diagnóstica Desarrollo del programa ¿Cómo se está desarrollando el programa? ¿Cómo se están cumpliendo las metas parciales? Clima o contexto del programa ¿El clima en el que se implementa el programa, facilita u obstaculiza el desarrollo del mismo? Evaluación de proceso - implementación (actividades, resultados intermedios) -clima y dinámica social e incidentes críticos Finalización del Programa ¿Cuáles son los resultados del programa? ¿Cuánto valoran el programa los distintos actores del mismo? ¿Vale la pena el gasto de acuerdo a los resultados obtenidos? Evaluación final -Resultados -Valoración de los actores -Costo-Efectividad Monitoreo y Sustentabilidad del programa: ¿Es adecuado y suficiente el acompañamiento previsto? ¿Es posible la sustentabilidad del programa? ¿Se han mantenido los cambios y logros alcanzados? Estudios de seguimiento Monitoreo y Evaluación ex post Preparatoria Inicial Desarrollo Final Seguimiento EtapaPreguntas EvaluativasEvaluación o Estudios

12 PREPARATORIAINICIALDESARROLLOFINALSEGUIMIENTO Modelo de Evaluación (Fundación Educacional Arauco) Momentos o etapas Objetivos Evaluación Objetivo Final IMPACTO (cambios o logros en los beneficiarios últimos) Componentes PRODUCTOS (Líneas de acción, logros directos de lo hecho ) Objetivo Inmediato EFECTOS (cambios o logros en los participantes) Etapa de detección del problema y diseño Árbol de problema, objetivos y diseño Etapa de diagnóstico y adecuación Evaluación inicial Etapa de implementación y de evaluación de proceso Evaluación proceso y objetivos intermedios Etapa final de cierre Evaluación resultados finales Etapa de seguimiento (finalizado el programa) Monitoreo, sustentabilidad, evaluación expost

13 Consideraciones de la Evaluación Definición  Adecuación a los objetivos y acciones planteadas  Adecuación de los instrumentos y procedimientos Aplicación  Informar sobre la evaluación  Rigurosidad en la aplicación y cuidado del material Análisis de resultados  Descripción general y comparación (contrastar distintas fuentes, con otras experiencias, niveles esperados, resultados anteriores)  Análisis de las dificultades como información para mejorar Entrega de Resultados  Cuidado de la información delicada (confidencial)  Compartir los resultados (dar a conocer los resultados, hacer parte a los actores)  Informe de resultados (dar cuenta, toma de decisiones, replicabilidad)

14 Estándares de Calidad de la Evaluación Educativa (Joint Committee for Educational Evaluation, 1997)  Utilidad (para los distintos actores)  Exactitud (busca sustentarse en estándares de validez, fiabilidad).  Factibilidad (realista, prudente)  Ética (de la evaluación en sí misma y de la devolución)