1 Seminario Fundación Educacional Arauco El Valor de la Evaluación Talca, 1 de octubre de 2009

2 El Valor de la Evaluación de Programas en Educación Blanca Cuadrado Jefa Área investigación Fundación Educacional Arauco

De acuerdo a distintos autores, las funciones u objetivos de la evaluación de programas se relacionan con: resultadostoma de decisiones – conocer los resultados y justificar la toma de decisiones gestión – ayudar a la gestión de los mismos contabilidad – dar contabilidad pública de los gastos implicados contrastar teorías – aportar a contrastar teorías (Smith, 1994 en Sanhueza et al., 2003) El Valor de la Evaluación de Programas en Educación

Los programas educativos pueden entenderse como un esfuerzo focalizado y sostenido por dar respuesta o solución a un problema específico en el ámbito educativo ¿Que entendemos por Programas Educativos?

Calidad de la Educación Autoestima de los alumnos Clima escolar Rendimiento y aprendizajes Permanencia en el sistema NIÑOS PROFESORES ESCUELA Redes de comunicación Sistema de participación de familias y comunidad Distribución del tiempo y tareas Capacidad de influencia Estilo de liderazgo y resolución de conflictos Orientación de la tarea (técnico- administrativa) Consideración de motivaciones de profesores Infraestructura Implementación Materiales pedagógicos Clima y normas de convivencia escolar Trabajo en equipo Dinámicas de liderazgo, toma de decisiones y resolución de conflictos Gestión en función de calidad Sistema de evaluación Nivel de formación y experiencia Metodologías pedagógicas Conocimiento de programas vigentes Gestión de clases Autoestima y características personales Estilo atribucional Expectativas de autoeficacia y motivación de logro Actitud hacia la tarea y el equipo pedagógico Estatus socioeconómico (nivel de escolaridad, ocupación) Pautas de crianza Valoración de la educación Involucramiento en aprendizaje y en la escuela Identidad y legitimidad de la escuela en la comunidad Interés y motivación Actitud hacia el aprendizaje Atención preescolar y conocimiento previo Autoestima Aptitudes y habilidades Expectativas Nivel de autonomía Relación de dependencia (sostenedor) Estructura organizacional Director Dinámica escolar Formación y ejercicio profesional Características personales Familia y Entorno Características personales Dependencia Proyecto educativo Árbol del problema (Fig.n°1, Sanhueza et al., 2003)

Programas Educativos Se orientan a la solución de un problema ¿Por qué lo hacemos? (árbol del problema) Definen una línea de acción en un ámbito específico ¿Para qué lo hacemos? (objetivos y resultados) Involucran a distintos actores ¿Quiénes lo hacen? (compromiso, participación y responsabilidad) Definen tiempo y recursos ¿Cuándo y con qué? (etapas, plazos, lugar, recursos) Se sustentan en la misión ¿Sobre qué base lo hacemos? (basados en principios) Tienen una diseño definido y explicitado ¿Cómo lo hacemos? (diseño y características de la implementación y sustentabilidad) Tienen evaluación permanente ¿Cómo lo valoramos? (evaluación del programa y de resultados)

Proceso de evaluación “proceso sistemático, diseñado intencional y técnicamente, de recogida de información rigurosa (valiosa, válida y fiable), orientado a valorar la calidad y los logros de un programa, como base para la posterior toma de decisiones de mejora…” (Pérez Juste, 2000)

¿Qué debe pasar para que se logre el objetivo final? ¿Qué cambios deben ocurrir? ¿ Qué problema queremos resolver y qué resultados queremos obtener? ¿Qué queremos lograr? ¿Qué podemos hacer que se den los cambios necesarios que permitan obtener los resultados esperados? ¿Qué podemos hacer y cómo? Objetivos como resultados esperados Objetivo Final IMPACTO (cambios o logros en los beneficiarios últimos) Componentes PRODUCTOS (Líneas de acción, logros directos de lo hecho ) Objetivo Inmediato EFECTOS (cambios o logros en los participantes)

PREPARATORIAINICIALDESARROLLOFINALSEGUIMIENTO Modelo de Evaluación (Fundación Educacional Arauco) Objetivos Evaluación Objetivo Final IMPACTO (cambios o logros en los beneficiarios últimos) Componentes PRODUCTOS (Líneas de acción, logros directos de lo hecho ) Objetivo Inmediato EFECTOS (cambios o logros en los participantes) Etapa de detección del problema y diseño Árbol de problema, objetivos y diseño Etapa de diagnóstico y adecuación Evaluación inicial Etapa de implementación y de evaluación de proceso Evaluación proceso y objetivos intermedios Etapa final de cierre Evaluación resultados finales Etapa de seguimiento (finalizado el programa) Monitoreo, sustentabilidad, evaluación expost Momentos o etapas

PREPARATORIAINICIALDESARROLLOFINALSEGUIMIENTO Modelo de Evaluación (Fundación Educacional Arauco) Objetivos Evaluación Objetivo Final IMPACTO (cambios o logros en los beneficiarios últimos) Componentes PRODUCTOS (Líneas de acción, logros directos de lo hecho ) Objetivo Inmediato EFECTOS (cambios o logros en los participantes) Etapa de detección del problema y diseño Árbol de problema, objetivos y diseño Etapa de diagnóstico y adecuación Evaluación inicial Etapa de implementación y de evaluación de proceso Evaluación proceso y objetivos intermedios Etapa final de cierre Evaluación resultados finales Etapa de seguimiento (finalizado el programa) Monitoreo, sustentabilidad, evaluación expost Momentos o etapas

Teoría y respaldo empírico del programa ¿Qué objetivos y características tiene el programa? ¿Es teóricamente sustentable? ¿Cuál es el grado de evaluabilidad del programa? Adecuación a las necesidades y el contexto ¿Responde a las necesidades de contexto? ¿Es viable en este contexto? Descripción del programa Evaluación de necesidades y contexto (antecedentes) Adecuación a la situación inicial ¿Cuáles son las condiciones de partida de los participantes y beneficiarios? ¿Son coherentes las evaluaciones con los objetivos propuestos? Evaluación Inicial- Diagnóstica Desarrollo del programa ¿Cómo se está desarrollando el programa? ¿Cómo se están cumpliendo las metas parciales? Clima o contexto del programa ¿El clima en el que se implementa el programa, facilita u obstaculiza el desarrollo del mismo? Evaluación de proceso - implementación (actividades, resultados intermedios) -clima y dinámica social e incidentes críticos Finalización del Programa ¿Cuáles son los resultados del programa? ¿Cuánto valoran el programa los distintos actores del mismo? ¿Vale la pena el gasto de acuerdo a los resultados obtenidos? Evaluación final -Resultados -Valoración de los actores -Costo-Efectividad Monitoreo y Sustentabilidad del programa: ¿Es adecuado y suficiente el acompañamiento previsto? ¿Es posible la sustentabilidad del programa? ¿Se han mantenido los cambios y logros alcanzados? Estudios de seguimiento Monitoreo y Evaluación ex post Preparatoria Inicial Desarrollo Final Seguimiento EtapaPreguntas EvaluativasEvaluación o Estudios

PREPARATORIAINICIALDESARROLLOFINALSEGUIMIENTO Modelo de Evaluación (Fundación Educacional Arauco) Momentos o etapas Objetivos Evaluación Objetivo Final IMPACTO (cambios o logros en los beneficiarios últimos) Componentes PRODUCTOS (Líneas de acción, logros directos de lo hecho ) Objetivo Inmediato EFECTOS (cambios o logros en los participantes) Etapa de detección del problema y diseño Árbol de problema, objetivos y diseño Etapa de diagnóstico y adecuación Evaluación inicial Etapa de implementación y de evaluación de proceso Evaluación proceso y objetivos intermedios Etapa final de cierre Evaluación resultados finales Etapa de seguimiento (finalizado el programa) Monitoreo, sustentabilidad, evaluación expost

Consideraciones de la Evaluación Definición  Adecuación a los objetivos y acciones planteadas  Adecuación de los instrumentos y procedimientos Aplicación  Informar sobre la evaluación  Rigurosidad en la aplicación y cuidado del material Análisis de resultados  Descripción general y comparación (contrastar distintas fuentes, con otras experiencias, niveles esperados, resultados anteriores)  Análisis de las dificultades como información para mejorar Entrega de Resultados  Cuidado de la información delicada (confidencial)  Compartir los resultados (dar a conocer los resultados, hacer parte a los actores)  Informe de resultados (dar cuenta, toma de decisiones, replicabilidad)

Estándares de Calidad de la Evaluación Educativa (Joint Committee for Educational Evaluation, 1997)  Utilidad (para los distintos actores)  Exactitud (busca sustentarse en estándares de validez, fiabilidad).  Factibilidad (realista, prudente)  Ética (de la evaluación en sí misma y de la devolución)