Grupo de Trabajo sobre Estándares y Evaluación del PREAL Los usos de los resultados de evaluaciones externas de aprendizaje escolar y el mejoramiento escolar en América Latina y el Perú Patricia Arregui Grupo de Trabajo sobre Estándares y Evaluación del PREAL

Esquema de la presentación Introducción: evolución de los retos que confrontan los sistemas nacionales de evaluación en AL Usos que se hace de los resultados Importancia y valor de la utilización a nivel institucional para planes de mejora y formación docente Qué está ocurriendo en el Perú al respecto Condiciones necesarias para que las evaluaciones tengan impacto sobre procesos pedagógicos

Primeras Pruebas Nacionales 1996 1996 1991 1998 1997 1993 2002 1998 1986 2005 1991 1996 1990 1996 1996 1996 1982 1996 1993 Fuente: Sistemas de evaluación de aprendizajes en América Latina. Balances y desafíos. PREAL, 2006.

Retos principales de las evaluaciones sistémicas de logros de aprendizaje en América Latina Aclarar y legitimar socialmente los propósitos y procesos de las evaluaciones y ceñirse a ellos Contar con metas claras de aprendizajes esperados Seleccionar qué se medirá y cómo, según los propósitos Desarrollarse en un marco institucional apropiado Mejorar los instrumentos y procesos de las pruebas Realizar más y mejores análisis de datos Producir más y mejor diversificados informes Diseminar resultados de mayor y mejor manera Promover y modelar un uso apropiado de los resultados para la toma de decisiones

Avances recientes Avances técnicos, incluyendo el alineamiento con otros instrumentos de política curricular, aunque nuevos retos. Desarrollo y establecimiento de estándares de aprendizaje Pasos significativos en difusión de resultados, aunque aún no garantizada la llegada correcta de mensajes claros a todas las audiencias clave Creciente producción de información (demasiada?), pero usada insuficientemente para sustentar o apoyar mejores políticas o programas o usada de maneras no válidas ni congruentes con los propósitos y usos que se supone guiaron su diseño.

Usos más comunes de los resultados de las evaluaciones de logros de aprendizaje en América Latina Elevar la conciencia ciudadana sobre los retos de la educación Revisar las políticas educativas y la asignación de recursos Diseñar programas de apoyo y seleccionar escuelas o grupos de estudiantes para participar en ellos Realizar investigación y evaluar el impacto de programas Establecer o revisar estándares o expectativas de logros Promover la responsabilización: reconocimiento, incentivos, libre elección/competencia entre escuelas Mejorar la gestión pedagógica en las escuelas o áreas escolares: planes institucionales y capacitación docente

Uso de los resultados para proveer oportunidades de desarrollo profesional para docentes, directivos y supervisores Familiarización con instrumentos, tanto o más útil que los resultados mismos Contrastación de resultados de evaluaciones externas con calificaciones escolares, o de instrumentos externos con prácticas de aula  reflexión sobre criterios de evaluación Cursos formales de capacitación en servicio: selección de contenidos, materiales para análisis y propuestas de cambio de prácticas

Uso de los resultados para diseñar estrategias, planes o acciones de mejoramiento escolar Guías para análisis colectivo: descripción clara y ejemplificada de niveles anticipados de desempeño, resultados de la escuela, análisis de ítems, principales dificultades, posibles orígenes didácticos, invitación a decidir sobre cursos de acción Jornadas y espacios específicos para reflexión Aplicaciones autónomas de instrumentos

Perú: Monitoreo del uso dado a los reportes de resultados por institución educativa y a los informes pedagógicos realizado por la UMC

Hallazgos: mayor legitimidad pero también cuestionamiento No se encontró mayores reparos al sistema de evaluación del rendimiento (o por lo menos éstas no fueron expresadas). Algunos cuestionamientos sobre la pertinencia del uso de pruebas estandarizadas, nivel “demasiado elevado” y con sesgos hacia lo urbano. Desafío de la diversidad cultural pero también asociado a bajas expectativas docentes y quizás insuficiente claridad de las descripciones de los niveles de logro.

Hallazgos: valoración de la información obtenida Directores: importancia de devolución, pero principalmente como instrumento regulador y de control de la labor de los docentes. Docentes: acceso restringido a reportes, pero valorando especialmente las secciones de los reportes pedagógicos que contienen algunas de las preguntas de las pruebas; menor interés en conocer los resultados de su escuela o aula, conocer el enfoque de la evaluación, la descripción de los niveles de desempeño o las síntesis de problemas y sugerencias didácticas.

Algunos hallazgos: difusión de la información Acceso y uso de la información muy diferenciado y fuertemente dependiente del perfil y rol que cumple el director en cada institución educativa: liderazgo pedagógico, espacios colectivos de reflexión para la mejora de los procesos de aprendizaje. Pese a importancia discursiva que le otorgan los directores a los reportes, se ha encontrado que en la mayoría de casos no han promovido la lectura de los reportes de resultados entre los demás actores de la escuela. Los reportes pedagógicos sí fueron distribuidos rápidamente entre los docentes.

Algunos hallazgos: difusión de la información 2 Entrega en reuniones rutinarias, descontextualizada, incompleta, sobresimplificada de principales resultados. Excepcionalmente, reuniones colectivas formalmente convocadas para el tratamiento específico del informe. Muy escasa difusión de resultados a padres de familia, estudiantes, CONEI, excepto en IE con buenos resultados. Dilema planteado entre el compromiso y conveniencia de garantizar la confidencialidad de los resultados de las escuelas y el derecho de las familias de conocer cómo es el establecimiento donde asisten sus hijos.

Algunos hallazgos: comprensión de la información Entre los contenidos que menos han entendido los docentes está la descripción de los niveles de desempeño, un reto para la Unidad de Evaluación. En las explicaciones verbales de los directores a los docentes sobre el contenido del reporte se ha tendido a traducir los niveles de desempeño a la lógica de la evaluación de aula: “el director nos dijo que estábamos jalados, que teníamos cero”.

Requerimientos Necesidad de diálogo entre evaluadores, especialistas en las disciplinas y en didáctica, comunicadores conocedores y sensibles a las maneras en que aprenden los docentes, y los formadores de docentes Promover la acción de los responsables

Requerimientos 2 Atención a las culturas organizacionales Sensibilidad a percepción de amenazas

Requerimientos 3 Necesidad de terreno fértil Importancia de la confianza