Evaluaciones Nacionales del Rendimiento Académico Lima, 6 de abril de 2008 Unidad de Medición de la Calidad Educativa SECRETARÍA DE PLANIFICACIÓN ESTRATÉGICA

Una definición La evaluación educativa, puede ser entendida como un proceso mediante el cual se recoge, organiza, analiza y sistematiza información de un sistema educativo, según objetivos previamente determinados, de modo que permita tomar decisiones fundamentadas sobre el proceso educativo.

Funciones de la Evaluación Toma de decisiones: sobre la intervención pedagógica Retroinformación: sobre logros Refuerzo: reconocer esfuerzo y rendimiento Autoconsciencia: procesos de aprendizaje, puntos fuertes y débiles Reátegui, Arakaki y Flores, 2001

Evaluaciones de Sistema Existe consenso en que el logro de aprendizajes de los estudiantes es uno de los principales indicadores de la calidad del sistema educativo. Busca generar información sobre dichos logros y sobre un conjunto de factores escolares y extraescolares que inciden en los rendimientos de los estudiantes para poder explicarlos desde una perspectiva de equidad.

Evaluaciones de Sistema Cobran una gran importancia en latinoamericana y se desarrollan junto con el diseño e implementación de las reformas educativas de los años 80 y 90. Responden a la necesidad de contar con información sobre el sistema educativo y sus componentes, con la finalidad de colocar la calidad de la educación como tema central y prioritario de la agenda pública.

Proceso de las Evaluaciones Nacionales APLICACIÓN DEFINITIVA ELABORACIÓN DEL MARCO DE EVALUACION ELABORACIÓN DE INSTRUMENTOS APLICACIONES PILOTO DEFINICIÓN DE NIVELES DE DESEMPEÑO ANALISIS DE RESULTADOS CODIFICACIÓN DE RESPUESTAS ARMADO DE BASES DE DATOS ANÁLISIS PSICOMÉTRICO ANÁLISIS PEDAGÓGICO ELABORACIÓN DE REPORTES 1 200 CCEE de primaria y secundaria. 40 000 estudiantes, muestra representativa a nivel nacional. DIFUSIÓN

Elaboración del Marco de Evaluación

¿Qué es un marco de evaluación? Integra los conceptos sobre los cuales se fundamentará una evaluación, plasmándolos en un documento.

El marco de evaluación Contextuales Disciplinares Metodológicos ASPECTOS Metodológicos

Aspectos contextuales: Propósito de la evaluación Objeto de evaluación Características de la población a evaluar Usuarios de la evaluación

Aspectos Disciplinares Enfoque del área Dimensiones a ser evaluadas Estructura de las pruebas

Aspectos Metodológicos: Número de ítems de la prueba Formatos de ítems a emplear Distribución de los ítems en la prueba Duración de la prueba

Las Áreas a Evaluar Es posible evaluar diversas áreas a nivel de sistema. El primer paso es establecer un enfoque de área y adoptar una definición.

Comprensión de Textos Proceso en el que el lector utiliza sus conocimientos previos (conocimiento del mundo y del lenguaje,y pautas culturales) para interactuar con el texto y reconstruir su sentido.

Modelo de evaluación TIPOS DE TEXTOS CAPACIDAD PREGUNTA La prueba de material concreto consistió en medición de longitud y tiempo con material tangible. La prueba de comunicación oral consistió en evaluar la comprensión y expresión oral de los nin@s. Se utilizó una grabadora. USOS DE LA LECTURA

Consideraciones generales Es posible plantear una serie de capacidades generales, necesarias en todas las áreas del saber, y también una serie de capacidades específicas, propias de cada disciplina y de cada contexto. Las capacidades específicas pueden caracterizarse a través de una serie de destrezas o habilidades que, a su vez, suponen poner en juego una serie de recursos.

Selección de Capacidades Es necesario determinar qué capacidades generales y específicas se evaluarán, qué habilidades y qué recursos exigen poner en juego y en qué medida. Además hay que establecer la proporción de capacidades según el enfoque del área, que prioriza ciertos aspectos de la misma. Debe considerarse el nivel, ciclo o grado a evaluar , por la importancia que se concede a cada una de las capacidades según dichos aspectos.

Criterios para la selección de las capacidades a evaluar Relevancia: para que el estudiante pueda afrontar exitosamente situaciones de la vida cotidiana en contextos escolares, familiares y comunales. Por ello se privilegian capacidades que desarrollen aspectos pragmáticos de la vida académica y laboral antes que otros aspectos. Importancia: para la continuación de estudios. Concordancia: con la naturaleza de los instrumentos de evaluación (pruebas escritas con ítemes de opción múltiple y de respuesta abierta). Posibilidad que las capacidades evaluadas sean acordes con las exigencias técnicas, administrativas, logísticas y temporales de una evaluación de sistema.

Comprensión de Textos Capacidades: Se refieren a las habilidades que el lector pondrá en juego al realizar las áreas que se le proponen y que pretenden simular los tipos de tareas que los estudiantes enfrentan en situaciones auténticas. Capacidad 1 Obtención de información Elaboración de inferencias Reflexión acerca del texto Capacidad 2 Capacidad 3

Selección de Desempeños Un desempeño es la actuación del estudiante ante una tarea determinada y que permite indagar por lo que sabe y puede hacer.

Comprensión de Textos Capacidad Desempeño 1. Obtiene información explícita del texto. Desempeño Identifica ideas específicas expresadas en una, dos o más proposiciones. Identifica secuencias.

Comprensión de Textos Capacidad Desempeños 2. Hace inferencias Reconoce relaciones semánticas expresadas entre dos o más proposiciones sucesivas o distantes. Identifica referentes de distinto tipo. Reconoce el significado de palabras o expresiones a partir de lo leído. Reconoce el tema central y las ideas principales del texto. Deduce el propósito del texto. Deduce el receptor implícito al que se dirige el texto.

Comprensión de Textos Capacidad Desempeños 3. Reflexiona y evalúa. Evalúa el contenido del texto. Identifica y evalúa recursos formales del texto.

Tipos de Textos Un texto es el entramado de ideas relacionadas que forman una unidad global de significado y de sentido. Puede estar organizada en uno o más párrafos (cuentos, noticias, ensayos, etc.) así como estar organizada con una estructura gráfica notoriamente distinta de la prosa estándar (cuadros, avisos, afiches publicitarios, infografías, etc.).

Tipos de Textos Texto narrativo: es aquel que representa una secuencia de hechos en una historia temporalmente ordenada (linealmente, de fin a principio, etc.). En este tipo de texto se relatan hechos vividos por personajes reales o imaginarios en un periodo de tiempo. Texto descriptivo: es aquel que ofrece información concreta acerca de cómo es o ha sido una persona, animal, experiencia, objeto. Este tipo de texto presenta características y circunstancias ordenadas en el espacio.

Tipos de Textos Texto expositivo: o también llamado explicativo, es aquel que explica cualquier tema o materia e informa acerca de algo. Texto argumentativo: es aquel que apoya o discrepa de una afirmación cuya validez es cuestionable o discutible. Todo texto argumentativo tiene como meta persuadir o convencer a la audiencia a la que se dirige acerca del valor de la tesis para la cual busca aprobación.

Usos de la Lectura Lectura para uso recreativo: generalmente es un tipo de lectura privada que busca recrear mundos ficcionales. Los textos narrativos se encuentran en este tipo de lectura. Lectura para uso público: se usa esta lectura para conocer las actividades políticas, sociales, culturales, económicas de la sociedad. Incluye el uso de documentos oficiales y de información acerca de acontecimientos públicos como las noticias, comunicados oficiales, certificados, etc. Lectura para uso educacional: se utiliza esta lectura con un propósito instructivo relacionado con la adquisición de información como parte de una tarea de aprendizaje más amplia.

Formación Matemática Dominio de habilidades y conocimientos matemáticos útiles para desempeñarse eficazmente ante situaciones problemáticas novedosas o rutinarias, cuya solución requiera la puesta en práctica de dichas habilidades y conocimientos.

Modelo de evaluación CONTENIDO CAPACIDAD PREGUNTA CONTEXTO La prueba de material concreto consistió en medición de longitud y tiempo con material tangible. La prueba de comunicación oral consistió en evaluar la comprensión y expresión oral de los nin@s. Se utilizó una grabadora. CONTEXTO

Formación Matemática Capacidades: Se refieren a las habilidades matemáticas complejas que el estudiante pondrá en juego al realizar las áreas que se le proponen y que pretenden simular los tipos de tareas que los estudiantes enfrentan en situaciones auténticas. Capacidad 1 Resolución de problemas Comunicación matemática Aplicación de algoritmos Capacidad 2 Capacidad 3

Formación Matemática Capacidad Desempeños 1. Resolución de problemas Resuelve situaciones problemáticas referidas a los números y la numeración, en los números naturales hasta diez mil y en las fracciones más usuales. Resuelve situaciones problemáticas que demanden el uso de operaciones básicas en el conjunto de los números naturales menores que diez mil, decimales hasta las centésimas y fracciones más usuales. Resuelve situaciones problemáticas referidas a la proporcionalidad directa y porcentaje en el conjunto de los números naturales menores que diez mil, decimales hasta las centésimas y fracciones más usuales.

Formación Matemática Capacidad Desempeños 1. Resolución de problemas Resuelve situaciones problemáticas referidas a la noción de medida, al uso y a la conversión de unidades de las magnitudes fundamentales (masa, longitud y tiempo), en el conjunto de los números naturales menores que diez mil, decimales hasta las centésimas y fracciones más usuales. Resuelve situaciones problemáticas referidas a nociones de ángulos y al cálculo de perímetro y área de polígonos de hasta seis lados, figuras circulares, sólidos geométricos (cilindro, cubo, esfera, cono) y a posiciones relativas de dos rectas. Resuelve situaciones problemáticas referidas a la elaboración e interpretación de diversos diagramas estadísticos y a la media aritmética de un conjunto de datos.

Formación Matemática Capacidad Desempeños 2. Comunicación Matemática Utiliza y representa números naturales hasta la unidad de millón, números decimales hasta las centésimas y fracciones de uso cotidiano. Interpreta, identifica y justifica proposiciones verbales o simbólicas referidas al manejo de los números y las operaciones en el conjunto de los números racionales positivos. Identifica, interpreta y compara cantidades expresadas en distintas unidades para cada una de las magnitudes fundamentales. Identifica, grafica y compara figuras y cuerpos geométricos. Identifica, interpreta, grafica, compara y justifica información estadística.

Formación Matemática Capacidad Desempeños 3. Aplicación de Algoritmos Calcula el resultado de operaciones básicas en el conjunto de los números racionales positivos. Calcula el resultado de operaciones combinadas en el conjunto de los números racionales positivos. Calcula el resultado de operaciones básicas de cantidades referidas a alguna de las magnitudes fundamentales, expresadas en distintas unidades.

Contenidos Número y Cantidad: se refiere a los diferentes conjuntos numéricos en todas sus representaciones (enteros, fracciones, decimales); sus propiedades (tales como la divisibilidad); las operaciones aritméticas, la proporcionalidad y sus aplicaciones (regla de tres, porcentaje).

Contenidos Algebra y funciones: El álgebra implica descubrir leyes o patrones que rigen la relación entre diversas variables, independientemente de los valores involucrados. Permite transformar expresiones matemáticas complejas en otras equivalentes y más sencillas. La noción de función constituye una idea unificadora de gran importancia en la matemática. Las funciones son correspondencias especiales entre los elementos de dos conjuntos.

Contenidos Espacio y forma: El manejo del espacio y de la forma provee a las personas de herramientas, tanto para realizar, representar, organizar y estructurar sus actividades y movimientos, como para organizar su pensamiento y su razonamiento. El logro de esta estructuración será posible si el sujeto es capaz de comprender las propiedades, posiciones, representaciones y transformaciones de los objetos y las relaciones entre los mismos, lo cual implica comprender las relaciones entre las formas y representaciones visuales.

Contenidos Estadística y probabilidad: La estadística permite organizar, representar y realizar el análisis e interpretación de datos para elaborar conclusiones y tomar decisiones sobre una base más científica. También posibilita la predicción de los comportamientos de determinados fenómenos.

Contextos Intramatemático: trata de las tareas específicamente del universo matemático, utiliza sus propios símbolos y presentan objetos matemáticos sin referirlos o inscribirlos en el mundo real. Extramatemático: ubica los objetos matemáticos en relación con los objetos de la vida del individuo. Los contextos extramatemáticos pueden clasificarse de acuerdo al nivel de uso o de familiaridad que tengan para el individuo.

Elaboración de las Pruebas

Tabla de especificaciones Es un instrumento para la elaboración de las pruebas. Consigna en forma esquemática los conocimientos, contenidos, objetivos, competencias, que serán objeto de evaluación Indica cuantos ítemes o tareas de la prueba corresponden a cada contenido, objetivo, aspecto, capacidad, etc.

Tabla de especificaciones Permite apreciar qué es lo que se pretendía evaluar con cada ítem de la prueba. Permite garantizar que se encuentren todos los aspectos relevantes de la competencia. Permite apreciar el peso en cantidad de ítemes que tiene cada aspecto o capacidad.

Tabla de especificaciones Capacidad Contenido Resolución de Problemas Comunicación Matemática Aplicación de Algoritmos TOTAL Número y cantidad Espacio y Forma Algebra y funciones Estadística y probabilidad

Tabla de especificaciones Capacidad Texto Obtiene Información Hace inferencias Reflexiona y evalúa TOTAL Narrativo Descriptivo Expositivo Argumentativo

Representatividad de los ítems Los ítemes son seleccionados para ser representativos aunque de forma imperfecta, del saber básico que se puede esperar de un alumno . Es importante muestrear la gama completa del contenido enseñado e incluir suficientes ítems para que la medición sea válida y confiable. Se podrá dar cuenta de cuáles son las áreas que presentan fortalezas y debilidades.

Número de Ítems El número de itemes con el que se propone evaluar cada una de las áreas es bastante elevado Necesidad de distribuir las preguntas en varios cuadernillos o formas Los estudiantes se enfrentan a un número razonable de ítemes que sirven para medir su desempeño de manera adecuada. Diseño de bloques rotados o de matrices incompletas: cada forma tiene preguntas únicas y preguntas comunes a las otras formas en conjunto se administra un número amplio de preguntas para cubrir un área

Selección de respuesta Producción de Respuesta Formato de ítems Respuesta cerrada Selección de respuesta Respuesta abierta Producción de Respuesta Emparejamiento Opción Múltiple Verdadero / Falso (matemática) Respuesta corta Respuesta extendida Tabla de representación (matemática)

Construcción de los ítems Se han ensayado talleres de construcción de ítems. Son construidos por los especialistas en las áreas curriculares, considerando la tabla de especificaciones y anticipando la dificultad de los mismos.

Construcción de los ítems Luego son revisados por otros especialistas, sometiéndose a: Análisis de sus aspectos formales Análisis de su representatividad (evidencias de validez referidas al contenido).

Aplicación Piloto

Características Tiene como objetivo fundamental estudiar el funcionamiento de los ítems. Las muestras son intencionales: se busca tener un buen número de personas que se enfrenten a cada ítem (200 mínimo), considerando factores como la accesibilidad y variabilidad en rendimientos.

Proceso Hay que realizar los procesos de: Selección de aplicadores Capacitación de aplicadores. Operativo de campo (recolección de datos). Supervisión en campo.

Codificación de respuestas

Objetivos Los estudiantes realizan sus respuestas directamente en los cuadernillos proporcionados por la UMC. Por ello es necesario: Transferir las respuestas de los estudiantes. Calificar las respuestas de los estudiantes.

Sistema de codificación Las respuestas eran calificadas en diversas escalas, tanto de naturaleza dicotómica como politómica, que tenían una naturaleza cuantitativa. Por otro lado, acompañaba a la calificación un segundo código, que tenía una naturaleza más cualitativa (evidenciaba tipos de errores o estrategias de solución).

Aspectos logísticos Se requiere un gran grupo de correctores, pues en la EN2004 hubieron cerca de 14 000 estudiantes evaluados por grado, para cada una de las áreas. Al trabajarse con las valoraciones realizadas por los jueces, se encuentra siempre implicado algún grado de subjetividad, que trata de reducirse mediante la capacitación a los evaluadores y la creación de manuales con criterios de calificación, que buscan homogenizar las evaluaciones realizadas por los jueces.

Aspectos logísticos Los especialistas de la UMC se encargaron de efectuar el diseño de capacitación y de elaborar el respectivo manual de codificación. Los correctores se encontraban agrupados por área y grado, bajo la supervisión de un coordinador y los especialistas de la UMC. El proceso de corrección estaba organizado según los bloques que constituían las pruebas aplicadas en la EN 2004.

Aspectos logísticos Se efectuó un diseño de análisis del proceso de corrección aplicando la corrección múltiple en tres momentos distintos: al inicio, a la mitad y al final del mismo. El objetivo de estos tres momentos era poder retroalimentar sobre las discrepancias y deficiencias encontradas en las calificaciones y poder corregirlas durante el proceso de corrección, a fin de lograr cada vez una mayor homogeneidad y entendimiento en el uso de los criterios de calificación.

Aspectos logísticos Los análisis emplearon los aportes de la Teoría Clásica de los Tests y el modelo Rasch de Facetas Múltiples. Los resultados se presentaban en un informe: Descripción del ajuste y consistencia global en el uso de los códigos. Índices de confiabilidad inter-evaluadores para cada uno de los items, pudiendo así identificarse cuales presentaban algún tipo de dificultades. Identificación de correctores que estaban presentando alguna dificultad en el uso de los códigos.

Armado de bases de datos

Análisis Psicométrico

Medición del Rendimiento La medición del rendimiento académico puede ser entendida, como una cantidad que estima lo que una persona ha aprendido como consecuencia de un proceso de instrucción o formación; es la capacidad del alumno para responder al proceso educativo en función a objetivos o competencias Pizarro, Clark y Allen (1987)

Modelos Rasch Establece la probabilidad de respuesta de una persona ante un ítem en términos de la diferencia entre la medida de rasgo de la persona y la medida del ítem utilizado. La medida de personas e ítems están en la misma escala de intervalo.

Propiedades Psicométricas Área de Matemática Confiabilidad % Varianza (medida) Segundo grado de primaria 0,86 80,9 % Sexto grado de primaria 0,85 74,6 % Tercer grado de secundaria 0,81 75,7 % Quinto grado de secundaria 0,80 95,5 %

Aplicación Definitiva

Logística Requiere una logística similar a las de un aplicación piloto, pero a mayor escala. Si la población a evaluar es grande será necesario contar con un operador logístico.

Definición de Niveles de Desempeño

Niveles de desempeño Se necesitan puntos de corte en las pruebas, que reflejen lo que un estudiante sabe y hace dentro de dicho nivel. Si un estudiante supera dicho punto de corte, se considera que posee los conocimientos y habilidades necesarias para desempeñarse en relación a ciertos estándares académicos. Se establecieron en talleres de consulta con el procedimiento Bookmark.

Procedimento Bookmark Diseñado por un grupo de expertos en CTB- McGraw-Hill a mediados de 1990. A posteriori: usa datos reales de la evaluación, mapas de ítems (TRI). Maneja ítemes dicotómicos y de crédito parcial. Se realiza en tres etapas.

Insumos básicos para el Bookmark Cuadernillos de ítems ordenados Según dificultad Considerar créditos parciales Descripciones generales de los niveles de desempeño Panel de jueces Usualmente 15 a 21 Expertos No expertos (menos)

Primera etapa Cada juez recibe un cuadernillo, estudia y/o resuelve los ítemes. Preguntarse: ¿Qué hace a un ítem más difícil que el anterior? Se familiariza con las descripciones generales de los niveles de desempeño. Establece las “marcas” para cada nivel

Segunda etapa Trabajo en grupos pequeños (4 – 5 jueces) Los jueces exponen las razones por las cuales eligieron sus puntos de corte No se trata de “convencer”, sólo de exponer Se finaliza la ronda con unos nuevos puntos de corte y el porcentaje de acuerdo respecto a en qué nivel se ubica un ítem en particular

Tercera etapa Los resultados de la ronda dos son presentados a todo el grupo y se debaten los ítemes en los cuales no hay un 100% de acuerdo. Se presenta además el “impacto de los puntos de corte”. Los jueces vuelven a dar sus puntos de corte. Se suele trabajar con valores inferiores al 100% de acuerdo. Si no se logran, se suele tomar la mediana.

Un paso final Los jueces construyen el significado, en función a los ítemes, de lo que sabe y puede hacer un alumno en cada uno de los niveles de desempeño. Algunos prefieren dejar esta etapa para otro grupo de expertos. Esto se hizo con los niveles de la EN 2004.

Niveles de Desempeño Suficiente LOGRA Básico NO LOGRA Previo Los estudiantes de este nivel demuestran un dominio suficiente y necesario en los desempeños evaluados para el grado. LOGRA Los estudiantes de este nivel demuestran un dominio incipiente o un manejo elemental de los desempeños desarrollados en el grado evaluado. Básico Los estudiantes de este nivel demuestran un manejo de los desempeños desarrollados en grados anteriores. Previo NO LOGRA Los estudiantes de este grupo solo pueden resolver algunas de las tareas del nivel Previo. < Previo

Análisis de Resultados

Sexto grado de primaria COMPRENSIÓN DE TEXTOS Nacional Niveles de Desempeño Suficiente 12,1% Básico 28,1% Previo 35,7% Debajo del previo 24,1%

Sexto grado de primaria COMPRENSIÓN DE TEXTOS Niveles de desempeño según gestión Nacional

Sexto grado de primaria COMPRENSIÓN DE TEXTOS Comparación de promedios según región

Reportes y Difusión