Situación y retos actuales de la evaluación de logros de aprendizaje en América Latina Presentación preparada por Patricia Arregui para el seminario “Accountability.

Presentación del tema: "Situación y retos actuales de la evaluación de logros de aprendizaje en América Latina Presentación preparada por Patricia Arregui para el seminario “Accountability."— Transcripción de la presentación:

1 Situación y retos actuales de la evaluación de logros de aprendizaje en América Latina
Presentación preparada por Patricia Arregui para el seminario “Accountability Educacional: posibilidades y desafíos para América Latina a partir de la experiencia internacional”. Santiago de Chile, abril 2005.

2 Consideraciones previas
Difícil tipificar situación regional muy desigual e identificar tendencias “arrítimicas” - aunque reto queda Algunos países tienen una estrategia de largo plazo de desarrollo de capacidades, ensayan y ajustan sus enfoques e instrumentos gradualmente, mientras que otros avanzan más de manera coyuntural en respuesta a oportunidades, recursos y políticas o gestiones sectoriales cambiantes Fuente principal: estudios previos del GTEEPREAL, en particular el de Guillermo Ferrer distribuido entre materiales del seminario, que es aún un proyecto en proceso y contará con un anexo que resume situación en países y ámbitos subnacionales.

3 Acuerdos importancia de aprendizajes
importancia de determinación clara y compartida de expectativas importancia de evaluación de logros necesidad de responsabilización

4 No acuerdos cuáles son las capacidades o competencias esenciales que la escuela puede y debe contribuir a generar cómo se puede saber si los educandos las están efectivamente desarrollando cuál es la contribución específica que distintos agentes (familias, maestros, alumnos, funcionarios, políticos, contribuyentes, ciudadanos) deben hacer para posibilitar logro cómo puede y debe estimularse, recompensar o sancionar el cumplimiento o no de las respectivas responsabilidades.

5 “Sentidos comunes” aún no establecidos
Deseabilidad y posibilidad de mantener expectativas académicas altas y claras para todos los escolares, Posibilidad de evaluar pertinente y rigurosamente y a gran escala el logro de esas expectativas, Posibilidad o voluntad de explicitar asignación de responsabilidades y exigir evidencias de cumplimiento a todos los responsables Maneras en que los resultados de las evaluaciones pueden usarse para mejorar políticas, programas y acciones educativas Estándares y evaluaciones servirían para fomentar prácticas positivas de responsabilización por los resultados que afecten no sólo a los docentes, sino también a quienes desarrollan y adaptan el currículo, a los productores de textos, a las autoridades locales y regionales, a los mismos padres de familia y , por supuesto, a los propios estudiantes – amen de autoridades y representantes políticos, contribuyentes Una función importante de las evaluaciones y de la difusión de sus resultados sería el orientar y responsabilizar a los políticos por sus decisiones o falta de decisiones respecto a las orientaciones generales y las políticas y programas específicos que promueven los gobiernos nacionales.

6 Sistemas de evaluación en la región
Mayoría de países cuenta por lo menos con un sistema incipiente de evaluación vía pruebas estandarizadas de logros de aprendizaje Algunos países cuentan con sistemas subnacionales de evaluación de logros Varios han participado en una o más evaluaciones internacionales

7 Pese a notables avances...
... en la mayoría de los países de América Latina no se cuenta aún con mecanismos permanentes, sólidamente institucionalizados, para establecer y revisar metas de aprendizaje y de medición de su logro que estén claramente enmarcados en políticas y normas respecto al uso que se dará a la información resultante y que sean parte de un conjunto de políticas claras y balanceadas de mejoramiento de los aprendizajes y de responsabilización por los resultados del sistema escolar.

8 Retos principales Fines y propósitos discutidos y entendidos por todos los potenciales o reales usuarios Referentes claros y compartidos para las evaluaciones Qué y cómo se mide en función a fines y propósitos Marcos institucionales facilitadores de tarea e impacto Calidad creciente de las evaluaciones Análisis riguroso de datos y reportes adecuados a audiencias Difusión intensa y focalizada y uso apropiado de resultados para decisiones macro y micro

9 Fines de los sistemas de evaluación (1)
Informar y generar cultura social de la evaluación. Alertar sobre deficiencias en los resultados de los sistemas educativos y movilizar apoyo público para intervenciones. Contribuir a establecer expectativas de logros y monitorear el progreso Motivar mejoras y logros vía la comparación, competencia o emulación. Movilizar apoyo de la opinión pública y de líderes sociales alrededor de metas claras para los aprendizajes. Contar con argumentos persuasivos para obtener mayor presupuesto o reorientar su asignación

10 …Fines (2) Brindar información a escuelas y maestros para análisis y planes de mejoramiento.. Brindar a padres información para evaluar y controlar calidad Certificar dominio de competencias por parte de alumnos que culminan un ciclo de escolaridad Seleccionar a alumnos, escuelas o jurisdicciones para ciertos privilegios, acceso a programas o niveles superiores, para intervenciones remediales o para sanciones Identificar áreas o unidades prioritarias de intervención focalizada para garantizar igualdad de oportunidades

11 …Fines (3) Demostrar peso del factor docente en aprendizajes e influir en la formaciónn y desempeño de los maestros. Evaluar la productividad de los maestros y vincularla a sus remuneraciones u otros incentivos Promover la responsabilización efectiva de todos o algunos de los actores involucrados en los procesos educativos Diseñar y/o evaluar el impacto de políticas, innovaciones o programas específicos Retroalimentar currículo, planes de estudio, textos, formación y desarrollo profesional docente Generar conocimientos sobre los factores que influyen sobre los aprendizajes

12 Clarificación de fines y propósitos
Insuficiente reflexión inicial sobre propósitos específicos que se espera cumplan los sistemas de evaluación, así como sobre definiciones técnicas adecuadas para cada fin propósito general de informar sobre los resultados educativos para contribuir a su mejoramiento, pero sin diseñar una estrategia más específica demandas para que evaluaciones sirvan a nuevos propósitos y fines para los que no fueron diseñadas.

13 Referentes para las evaluaciones
Se busca casi siempre evaluar si se ha logrado aprender y aprender a hacer aquello que currículo nacional pretende Falta de priorización consensuada de contenidos o competencias Definiciones poco claras u operacionalizables de aprendizajes esperados en la gran mayoría de nuestros países Compatibilidad entre enfoque constructivista, procesos de desarrollo curricular y descentralización/autonomía en la gestión e idea de estándares y pruebas estandarizadas Caso artículo alfredo rojas Los términos y el lenguaje sí importan

14 Generación de referentes y expectativas compartibles
Iniciativas de unidades nacionales o subnacionales de evaluación – tanto en proceso de construcción de instrumentos de medición como en análisis y presentación de resultados (definición de criterios de referencia, líneas de corte entre niveles de desempeño) -- hacen posible empezar debate e inducen a definición mejor y compartida de expectativas o estándares, así como de niveles esperables de desempeño (ICFES, Secretaría de Bogotá, Uruguay, Chile, Aguascalientes, Paraná, Minas y Sao Paulo) Iniciativas estándares SGCECC/OEI, Colombia, Chile, Argentina Riesgos y costos de discontinuidades

15 Qué y cómo se mide Areas curriculares, grados evaluados
Cobertura poblacional: censos, muestras Cobertura curricular Pruebas referidas a normas o criterios: transición buscada en mayoría de países y jurisdicciones subnacionales Tipos de ítems o reactivos: transición Recolección de datos sobre factores asociados, frecuentemente sin modelo subyacente explícito Valor agregado (distintas versiones) Primeras y segundas lenguas Decisiones sobre cobertura poblacional Criterios para decisión: usos y fines – costos y tradeoffs Desagregaciones posibles de los datos a estratos o grupos específicos limitadas Interpretaciones “como si fueran”: riesgos

16 Marcos institucionales facilitadores
Opción externa: contratación agencias o creación de institución semiautónoma (PUC Chile, INEP, Universidad Morazán, ICFES, INEE, IPEACE) Opción unidad inserta en estructura de Ministerios o Secretarías (Chile, Uruguay, Perú, Argentina, Ecuador, Dominicana) con relativos grados de autonomía técnica y marcos legales que la protegen Sistemas subnacionales insertos en estructura administrativa (salvo SARESP) que logran mayor integración con otras instancias sectoriales No hay evidencia de superioridad de un modelo frente a otro; depende de historia, institucionalidad pública

17 Mejoras técnicas (1) Enfoques y procedimientos de construcción de pruebas no garantizan que sean instrumentos válidos para usos que se les pretende dar medición de capacidades más básicas de pensamiento y no capacidad de aplicación de razonamientos complejos, uso para solución de problemas auténticos Innovaciones recientes en muchos países

18 …Mejoras técnicas (2) Diseño de pruebas referidas a normas, de opción múltiple, deficiente construcción de distractores y número reducido de ítems para cada área curricular no permiten identificar qué aspectos del currículo son aprendidos o no, ni formular recomendaciones pedagógicas pretendidas. Debida consideración a aspectos discriminativos que podrían esconderse en instrumentos de medición, evitando sesgos étnicos, culturales, regionales y de género que podrían tornar no comparables los resultados obtenidos por diversos grupos de estudiantes.

19 Más y mejores análisis Se recoge mucha información complementaria sobre posibles factores explicativos de las diferencias de logros, tanto escolares como no escolares, pero se analiza muy poco de ella No se estimula suficientemente el uso de datos por investigadores externos a las unidades de medición Estudios cualitativos Ejs mejoras

20 Más y mejores reportes Autoridades:
Datos agregados por asignatura y grados, desagregaciones regionales o administrativas, ámbito de gestión pública o privada, escuelas rurales y urbanas, grandes o pequeñas (multigrado), bilingues y monolingues. Cada vez más, por sector socioeconómico. Gráficos bivariados y narrativos resumidos Informes técnicos que en algunos casos podrían resultar poco comprensibles Conclusiones y recomendaciones

21 …Más y mejores reportes (2)
Público general Entrevistas o notas y/o conferencias de prensa, medios Rankings y resultados agregados en casos censales y con consecuencias

22 …Más y mejores reportes (3)
Actores educativos: escuelas, alumnos Muchos esfuerzos y mucho por mejorar y hasta empezar Análisis de ítems y sugerencias curriculares o pedagógicas Reportes más alineados con objetivos curriculares, incluyendo definición de expectativas establecida por evaluadores Comparaciones con resultados promedio y distribución de alumnos según niveles de logro en otras escuelas (similares y conjunto) con señalamiento de áreas a ser reforzadas y convocatoria y guías para análisis en mayor profundidad en centros educativos; señalamiento de progreso. Análisis de resultados individuales agregados o desagregados por competencias o áreas específicas comparados a resultados promedio nacional o de escuelas comparables, identificación de debilidades especiales y recomendaciones de mejoramiento En algunos países no hay devolución a nivel escuelas, ni siquiera de las que participaron en la muestra

23 …Más y mejores reportes (4)
Padres: Grupo menos atendido Reticencia por supuestos sobre capacidad de comprensión y posibles usos comparativos no deseables. Que escuela informe a padres opcional (excepción Chile, Minas Gerais)

24 Mayor y mejor difusión de resultados
Rezagos de reticencia de autoridades a divulgar resultados o metodologías debidas a: falta de cultura de evaluación escasez de recursos humanos para responder a cuestionamientos legítimos o politizados Temor a no poder diseñar o implementar políticas o programas efectivos de mejoramiento Hasta el momento, son las autoridades el grupo más “responsabilizado” de los resultados Salvo excepciones, escasa atención a estrategia comunicativa masiva y focalizada; desconfianza de usuarios Oportunidad de disponibilidad de datos: aspecto crucial

25 …Mayor y mejor difusión (2)
Recursos y capacidades disponibles absorbidos por procesos de construcción, administración y análisis inicial de pruebas a costa de diseño e implementación de estrategia de difusión Ausencia de un plan de desarrollo de capacidades a mediano y largo plazo: la difusión debiera ser un componente mayor del esfuerzo (y el presupuesto) total

26 Mayor y mejor uso de resultados
Esfuerzo inicial de identificación y descripción de usos concretos Casos paradigmáticos: SNED, P-900, PMEs, Carrera Magisterial, PECs, Tiempo Completo y programas de capacitación en servicio,autoaplicación Uruguay, programas integrales en subnacionales Bogotá, Brasil Talleres informativos y de discusión – breves.. Contraste con experiencia UNICEF Perú y con utilización NAEP Pruebas de egreso obligatorias o voluntarias Establecimiento de metas

27 …Mayor y mejor uso (2) Retroalimentación para que los resultados guíen las mejoras en la instrucción así como la toma de decisiones por distintos actores (padres, estudiantes, docentes, administradores, funcionarios, diseñadores de políticas). Las formas de utilización de resultados de las pruebas de logros mostrarán un balance entre objetivos de “responsabilización”(accountability) y de mejoramiento escolar

28 Recomendaciones Hacer explícita e, idealmente, consensual, la estrategia a través de la cual se espera que el sistema de evaluación contribuya a mejorar aprendizajes. Definir estrategias de difusión y uso de los resultados de las evaluaciones. Promover la discusión de políticas de determinación de expectativas de logros o estándares Mejorar la calidad técnica de los instrumentos de medición y de recolección de datos complementarios, así como los modos de procesar y reportar los resultados.

29 …Recomendaciones (2) Involucrar más activamente a distintas oficinas y niveles administrativos de los ministerios en procesos de elaboración y análisis de pruebas Demostrar compromiso de largo plazo con la evaluación (presupuesto, inversión en formación de cuadros técnicos, uso evidente de resultados para sustentar políticas y propuestas de cambios pedagógicos) Trabajar aceptación con organizaciones docentes Generar espacios escolares y locales para reflexión sobre resultados y sus implicancias para planes de desarrollo institucional

30 …Recomendaciones (3) Incentivar la investigación usando resultados como insumo Promover intercambio de experiencias nacionales y locales Promover la legitimidad social de la evaluación, mostrando cuáles serían usos justos y válidos de resultados tanto para mejoramiento como para responsabilización Ejemplificar implicancias a nivel establecimientos o centros educativos de adopción de políticas de estándares Mejorar la comparabilidad intertemporal de las pruebas y la calidad de las interpretaciones de los resultados