Las evaluaciones internacionales: oportunidades y desafíos para las políticas educativas de América Latina y el Caribe Presentación de panel: Gilbert A. Valverde, Ph.D. University at Albany, State University of New York & Grupo de Trabajo Sobre Estándares y Evaluación – PREAL El Derecho a una Educación de Calidad para todos en América Latina y el Caribe Reunión Conjunta UNESCO – UNICEF Cartagena de Indias, Colombia 21 de Setiembre, 2011

¿Porqué son interesantes las pruebas internacionales en la región? ¿Qué explica la creciente participación de países como los de América Latina y el Caribe en pruebas internacionales a gran escala? Acaso los países son Sujetos: forzados por instituciones y tendencias internacionales Agentes: motivados por agendas domesticas ¿?

Una hipotesis en construccion Es posible que una derivación de la economía política internacional esté en juego. Hay factores que indican que los regímenes de pruebas internacionales satisfacen una demanda similar a la que satisfacen otros regímenes internacionales. reducen los costos de transacción, Asociados a la participación en mercados internacionales alivian problemas de asimetrías de información Hay varias asimetrías involucradas! limitan las incertidumbres que confrontan los países participantes al tratar de evaluar las políticas (y sus resultados) que siguen otros países.

Diferencias de pruebas internacionales con respecto a evaluaciones nacionales en ALC Sistemas nacionales Importantes debilidades técnicas En el ámbito de psicometría, estadística y muestreo. En desarrollo y validación En las comparaciones interanuales. Debilidades políticas Compromisos políticos tibios. Inexistencia de documentación técnica abierta a inspección publica Frecuente no-publicación de resultados. Resultados no comparables con respecto a importantes países socios, pares o pares en aspiración. Prueba internacionales Liderados por equipos de psicometristas y estadísticos en la vanguardia internacional. Rigorosa aplicación de estándares internacionales en validación. Muestreo y aplicación de instrumentos con arbitraje internacional. Equiparación de pruebas para comparación interanual. Disponibilidad al público de toda documentación técnica y de procesos. (Publicación de resultados) Posibilidad de comparación válida con resultados en otros países.

Evaluemos dos cosas para el caso PISA: ¿Qué tan bien mide cambios de rendimiento del 2000 al 2009? ¿Cómo ha variado el comportamiento de los alumnos (as) latinoamericanos frente a ítems PISA en cuanto a sus tendencias a: No contestar Contestar correctamente Contestar incorrectamente

Los Datos Tomados del informe internacional PISA 2009 – versión impresa. También enfocando los 46 ítems comunes a las pruebas de 2000 y 2009 (en lectura y matemática)

Primero: Consideremos la evidencia acerca del cambio en lectura A continuación un gráfico: La línea diagonal sólida representa el supuesto de que las escalas para 2000 y 2009 son las mismas. ¡Los contratistas de PISA se han esmerado para que así sea! Si el supuesto de la estabilidad de la escala es correcta El cambio (mejoría, estabilidad o deterioro en los niveles de desempeño) se representa por la distancia vertical con respecto a la diagonal

Mejorías notables en Perú y Chile (Brasil) Sin cambio en México Argentina desciende

… continuemos La línea discontinua representa una regresión de los resultados en 2009 contra los resultados de 2000 Es en realidad una representación de una re- equiparación de las dos pruebas. ¿Qué efecto tiene esto sobre las inferencias acerca de mejorías, estancamiento, o deterioro en niveles de logro?

Las mejorías de países como Perú ahora parecen menores Chile mejora más que la mayoría, pero también es menos que bajo el modelo anterior Brasil no cambia México ha empeorado El descenso en Argentina es mayor

Implicancias Estas y otras evidencias sugieren que la prueba PISA (y hay indicios que sucede algo similar en TIMSS) y su técnica de equiparación está centrado alrededor de la media de la distribución de niveles de logro promedio A mayor distancia de la media, mayor error de equiparación El error parece ser mayor para la parte inferior de la distribución (donde esta Latinoamérica) que en la parte superior

Mayor estabilidad en la equiparación en el centro de la distribución Inestabilidad en las colas Mayor inestabilidad en la parte inferior de la distribución. Los países de América Latina están en la parte posiblemente mas inestable de la distribución.

¿Cuál es la verdad? Esta simulación no demuestra que la línea discontinua, o la sólida son las verdaderas Sugiere que hay lugar razonable para dudar de la calibración psicométrica de la prueba – en especial en los extremos de la distribución. Las posiciones relativas (el ranqueo) son estables Las inferencias sobre mejoría, deterioro o estancamiento en América Latina son las que debemos volver a examinar. La evidencia sobre mejoría en Chile y deterioro en Argentina parece robusta en comparación con el resto de la región. Debemos investigar más acerca de la magnitud aparente de estos cambios.

Segund0: examinemos el comportamiento de los estudiantes frente a los items de 2000 a 2009 Omitido (no intentado) incorrecto correcto

Un ítem de matemáticas (M034Q0T) En varios países, de 2000 a 2009 Disminuyó el número de alumnos renuentes a contestar la pregunta. Aumentó el número que contesta correctamente En varios países, de 2000 a 2009 Disminuyó el número de alumnos renuentes a contestar la pregunta. Aumentó el número que contesta correctamente En Argentina y Brasil Aumentó la frecuencia con que los estudiantes estaban dispuestos a contestar. ¡Aumentó también su tendencia a contestar mal! En Argentina y Brasil Aumentó la frecuencia con que los estudiantes estaban dispuestos a contestar. ¡Aumentó también su tendencia a contestar mal!

Un ítem de lectura (R104Q02) En todos los países representados, el ítem fue mas difícil en 2009 que en 2000 – sólo en Argentina aumentó en vez de disminuir la cantidad de estudiantes que no estuvieron dispuestos a contestarlo

¡Hay que estudiar América Latina! Es un outlier en términos del incremento en la proporción de estudiantes que no estaban dispuestos a contestar preguntas. No parece siempre estar relacionado a la dificultad de los ítems. En la mayoría de los ítems comunes, el patrón de la región difiere del resto de los países. ¡Quizás algunos estudiantes no están participando plenamente en PISA! ¿Qué implicancias tiene la posible notable renuencia a contestar ítems por parte de estudiantes latinoamericanos, sobre nuestras inferencias acerca de sus niveles de logro?