el Segundo Estudio Regional Comparativo y Explicativo III Jornadas de Cooperación Educativa Iberoamericana sobre Evaluación Cartagena de Indias, 19 a 22 de junio de 2007 El Laboratorio Latinoamericano de Evaluación de la Calidad de la Educación y el Segundo Estudio Regional Comparativo y Explicativo F. Javier Murillo Coordinador General del LLECE OREALC/UNESCO

Esquema El Laboratorio Latinoamericano de Evaluación de la Calidad de la Educación Situación Historia Presente y futuro El Segundo Regional Estudio Comparativo y Explicativo (SERCE) Objetivos Participantes Diseño Muestra Presentación de resultados Estrategia de difusión y Reportes Cronograma

I. El Laboratorio Latinoamericano de Evaluación de la Calidad de la Educación

El Laboratorio Latinoamericano de Evaluación de la Calidad de la Educación Es la Red de Sistemas de Evaluación de la Calidad de la Educación de América Latina. Fue creada en 1994 por iniciativa de la Oficina Regional de Educación para América Latina y el Caribe de la UNESCO quien asume las funciones de coordinación. Está conformada por todos los países de América Latina y algunas unidades nacionales, y tiene previsto ampliar sus acciones al Caribe anglófono.

Objetivos Los objetivos del LLECE son: producir información sobre los logros de aprendizaje de los alumnos y sobre los factores asociados al mismo; apoyar y asesorar a las unidades de medición y evaluación de los diferentes países y fortalecer sus capacidades; y servir como foro de reflexión, debate e intercambio acerca de nuevos enfoques y aproximaciones en evaluación educativa.

Historia Algunas actividades desarrolladas por el LLECE en los últimos años: Primer Estudio Internacional Comparativo sobre Lengua y Matemáticas y Factores Asociados. Estudio cualitativo de escuelas con resultados destacables. Apoyo a la creación, consolidación y mejora de los sistemas de evaluación. Dos grupos reflexión: Evaluación del Desempeño Docente y Evaluación en contextos de Multicuturalidad. Participación en la Investigación Iberoamericana de Investigación sobre Eficacia Escolar.

Funcionamiento Composición del LLECE: Coordinación de la UNESCO Coordinación General Equipo de coordinación técnica Coordinaciones nacionales que representan a los países: Coordinador Nacional (interlocutor directo) Equipo técnico Para el SERCE: Comité Técnico Consultivo, que avala y ofrece recomendaciones sobre las definiciones principales y documentos técnicos del estudio.

Prioridades y actividades (I) Concluir el SERCE y difundir sus resultados. Procesar los datos Elaborar los informes Realizar el estudio de factores asociados Desarrollar el plan de difusión Realizar y fomentar la realización de estudios sobre factores asociados, a partir del SERCE y más. Desarrollar la Investigación Iberoamericana sobre Eficacia Docente Elaborar materiales para los docentes y directivos sobre la IIIEE Organizar el 1er Congreso Iberoamericano sobre Eficacia Escolar y Factores Asociados (Santiago, 12 a 14 de diciembre de 2007).

Prioridades y actividades (II) Potenciar el apoyo a las unidades de evaluación de los países y el trabajo en Red. Organización de reuniones y talleres sobre TRI o modelos Multinivel. Producir información sobre Evaluación Docente. Organización de una serie de materiales sobre Evaluación Docente. Favorecer el debate y la reflexión sobre nuevos modelos de evaluación: sistemas integrales, donde se considere el desarrollo global del estudiante, sus diferencias, etc. en coherencia con el concepto de calidad de la educación. Apoyar las acciones de la Oficina y de la UNESCO.

Retos para el futuro Mejorar el trabajo en Red y la colaboración entre países. Reforzar la visibilidad y el impacto del LLECE en la mejora de la calidad de la educación en la Región. Favorecer el desarrollo del LLECE como un laboratorio de ideas, modelos y enfoques de evaluación. Desarrollar un Estudio Regional de carácter Longitudinal. Ampliar las actividades a los países del Caribe anglófono. Extender la experiencia a otras regiones del mundo.

II. El Segundo Estudio Regional Comparativo y Explicativo

Antecedente: El Primer estudio Aplicación definitiva: 1997 Participaron 13 países: Argentina, Bolivia, Brasil, Chile, Colombia, Costa Rica, Cuba, Honduras, México, Paraguay, Perú, Rep. Dominicana y Venezuela. Estudiantes de tercer y cuarto grados de Ed. Primaria/Básica. Desempeño en Matemática y Lenguaje. Estudio de factores asociados.

El Segundo Estudio Regional Comparativo y Explicativo El SERCE es un estudio evaluativo regional desarrollado por el LLECE. Tiene como objetivos: Conocer los niveles de desempeño de los alumnos de América Latina de 3er y 6º grado de Educación Primaria en Matemática y Lenguaje, y de Ciencias Naturales en 6º. Identificar los factores asociados al desempeño que ayuden a explicar los resultados y aporten información para la mejora de la calidad. Todo ello dirigido a la toma de decisiones que contribuya a la mejora de la calidad de la educación.

PAÍSES PARTICIPANTES Argentina * Brasil Chile Colombia * Costa Rica Cuba * Ecuador El Salvador * Guatemala México Nuevo León (Mx) * Nicaragua Panamá * Paraguay * Perú * Rep. Dominicana * Uruguay * * Participan en ciencias

Enfoque evaluativo Evaluación criterial. Base curricular – contenidos comunes a los currículos prescritos en la región LA. Considera enfoque de habilidades para la vida. Busca reportar por niveles de desempeño.

Diseño Grados: Tercero y Sexto de Ed. Primaria. Áreas: Lectura, Escritura, Matemática y Ciencias Naturales (optativo y sólo en sexto). Batería de instrumentos complementaria para factores asociados. Diseño muestral, censo del grado en escuelas elegidas por sorteo. Subuniversos: Público urbano / Rural (además hay información suficiente para inferir sobre Público privado).

Diseño de las pruebas (M, L y C) De lápiz y papel. Ítems cerrados (opción múltiple: clave + 3 distractores). En Matemáticas y Ciencias, también ítems abiertos. Entre 66 y 96 ítems por prueba. Bloques incompletos balanceados (6 bloques por área). En Matemática y Lectura, bloque de anclaje con el primer estudio. En Matemática y Lectura, bloque de anclaje entre grados.

Contenidos y procesos evaluados

Evaluación de la Escritura Principales dimensiones evaluadas: El empleo del borrador como tal. La existencia de una diferencia cualitativa entre el borrador y el escrito definitivo. La organización estructural de la clase de texto pedida. La organización semántica (coherencia) del texto pedido. La proporción de ideas desarrolladas sobre la totalidad pedida. Los errores de ortografía o de léxico en relación con la cantidad de palabras escritas. Los errores de concordancia en relación con la cantidad de oraciones escritas. La adecuación del texto a la situación comunicativa. Estructura de la prueba: Instrucciones + una página para borrador + una página para TD. Dos cuadernillos por cada grado.

Muestra Se obtienen datos de: 220.099 alumnos 9.213 secciones/grupos 3.207 escuelas Un promedio de 6.800 alumnos y 190 escuelas por país   Escuelas 3er grado 6º grado Secciones Alumnos Argentina 169 309 7.202 307 7.014 Brasil 175 225 6.842 224 7.098 Chile 180 250 7.300 265 8.006 Colombia 205 249 5.748 192 5.434 Costa Rica 171 288 6.332 284 5.872 Cuba 206 351 5.563 370 5.721 Ecuador 194 299 5.753 286 5.290 El Salvador 182 283 8.225 255 6.882 Guatemala 231 7.948 273 5.536 México 176 251 5.819 235 5.277 Nicaragua 208 8.722 241 8.135 Nuevo León 165 252 6.467 237 5.597 Panamá 159 314 7.268 279 5.984 Paraguay 215 318 6.259 294 5.387 Perú 168 248 5.850 246 5.482 Rep. Dominicana 184 185 5.993 155 5.115 Uruguay 219 350 8.195 6.783 Total 3.207 4.778 115.486 4.452 104.613

¿Cómo presenta sus resultados? Ofrece resultados en forma de porcentaje de alumnos que alcanzan los niveles de desempeño, y en promedios y sus distribuciones Dominio numérico Dominio geométrico Dominio de la medida Trat. de la información Dominio variacional - Comprenden la organización decimal y posicional del sistema de numeración. - Resuelven problemas que requieren adición y sustracción con sus distintos significados y en diferentes campos numéricos (números naturales y expresiones decimales). - Resuelven problemas que requieren multiplicación o división, o dos operaciones (adición y multiplicación), en el contexto de números naturales. - Resuelven problemas que incluyen el concepto de fracción (medios y cuartos). - Reconocen ángulos, figuras geométricas (triángulo, cuadrado y rectángulo) y sus propiedades para resolver problemas. - Estiman el peso de un objeto conocido. - Resuelven problemas que involucren una operación (adición o sustracción) y la aplicación de equivalencia de medidas de longitud, tiempo y peso. - Interpretan, comparan y/u operan con información presentada en diferentes representaciones gráficas (tablas, gráficos de barras, cuadros, pictogramas). Identifican la regularidad de una secuencia multiplicativa para continuarla. Resuelven problemas que involucran concepto de proporcionalidad directa

Estrategia de Difusión Contribuya con orientar el debate público sobre la equidad y calidad educativa en términos constructivos. Estimule el uso de los hallazgos del estudio en la toma de decisiones en materia de política educativa e intersectorial por parte de las autoridades y gestores de política de la región. Favorezca el uso de los hallazgos del estudio y de su marco evaluativo para la reflexión y práctica pedagógica entre especialistas y docentes. Estimule el uso de los hallazgos del estudio por parte de los propios estudiantes y sus familias. Ponga a disposición de la comunidad académica y especializada en investigación educativa los insumos necesarios para la profundización de los análisis emprendidos por el LLECE.

Informes generados Reporte regional con los resultados de Lectura, Matemáticas y Ciencias Naturales, y un resumen del estudio de factores asociados Reporte regional con los resultados de Escritura Reporte con el estudio completo de factores asociados Reporte técnico con las características metodológicas Colección “Aportes para la docencia”: Matemáticas Lectura Escritura Ciencias Naturales Educación

Cronograma: julio 2007 – julio 2008 15 junio a 30 agosto: Procesamiento y reprocesamiento de datos Septiembre: Envío de los resultados a los países centrados en su media Informe en blanco Punto de no retorno Agosto-enero 2008: Análisis de factores asociados Septiembre – Diciembre 2007: redacción de los informes 15 diciembre – 15 marzo 2008: Consenso sobre el informe. 17 de abril: Presentación Informe sobre Matemáticas, lectura y ciencias Informe sobre Escritura Informe Técnico Julio: Informe de Factores asociados y Colección aportes para la enseñanza.

Laboratorio Latinoamericano de Evaluación de la Calidad de la Educación. UNESCO http://llece.unesco.cl llece@unesco.cl F. Javier Murillo jmurillo@unesco.cl