Diseño de la evaluación. Metodología Universidad Complutense de Madrid Dr. José Luis Gaviria Universidad Complutense de Madrid COMENTARIOS PRELIMINARES. Antes de abocarme a los asuntos que tienen que ver con el tema que me corresponde presentar en esta reunión, deseo hacer algunos comentarios a manera de saludos, de agradecimientos y reconocimientos. En primer lugar expreso mi gran satisfacción por estar nuevamente reunido con todos ustedes, luego de dos años transcurridos desde la tercera reunión de los ministros de educación de la OEA en la ciudad de México. Destaco en particular la oportunidad de saludar a los ministros de Canadá y Estados Unidos, pues los colegas y amigos de América Latina y el Caribe nos hemos reunido varias veces desde entonces, ya sea en el marco de la “Organización de Estados Iberoamericanos” (OEI)[1], en el contexto del “Espacio Común ALCUE de Educación Superior”[2] o en los ámbitos del “Convenio Andrés Bello” y otros foros subregionales. En todo caso, me da mucho gusto saludar a todas y a todos ustedes, aquí en la isla de Tobago. Por supuesto, expreso mi agradecimiento a la ministra de Educación de Trinidad y Tobago, la Honorable Hazel Manning, quien nos ha proporcionado su amistosa hospitalidad y ha organizado de manera eficaz esta reunión. Termino estas expresiones preliminares haciendo un reconocimiento al Dr. José Miguel Insulza por su elección como secretario general de la Organización de Estados Americanos (OEA), así como a su grupo de colaboradores. En nombre de la delegación mexicana les deseo los mejores éxitos en beneficio de todos los países de las Américas y les reitero nuestro apoyo y respaldo. [1] La OEI se reunió en San José, Costa Rica, en noviembre de 2004; además, en Playa del Carmen, Q. Roo en enero de 2005 y en Toledo, en julio de 2005. [2] El grupo de ministros de ALCUE se reunió en México, D.F. en abril de 2005.

Diseño de la Evaluación ENLACE se aplica de 3 a 6 sexto en primaria y en tercero de secundaria y, además, evalúa las asignaturas de español y matemáticas Su enfoque está apegado a planes y programas de estudio. El objetivo es medir el resultado del trabajo escolar en las materias instrumentales básicas dado que éstas constituyen la fundamentación para el aprendizaje del resto del currículum.

Relación con otros programas evaluativos PISA mide las habilidades para la vida a los jóvenes de 15 años independientemente de si fueron adquiridas o no en el trayecto escolar. EXCALE mide el logro educativo a nivel sistémico. ENLACE mide el resultado del trabajo escolar de cada alumno en las materias instrumentales básicas.

Relación con otros programas evaluativos A diferencia de PISA se mide el trabajo escolar y a diferencia de EXCALE se mide el resultado de cada alumno.

Elementos de ENLACE Determinación del constructo Comparabilidad (Diseño de equiparación) Escalas (Calibración de reactivos y calificación de sujetos) Interpretación de los resultados (Niveles de Logro) Calidad de los datos (Métodos de detección de copia)

Determinación del constructo Pruebas apegadas al currículo Medir el trabajo en la escuela Intención optimizante Repercusión inmediata

Diseño de equiparación Las condiciones de aplicación impedían el uso de reactivos comunes Diseño de población común Calibración conjunta de prueba operativa y prueba pretest

Diseño de equiparación

Escalas Claridad en la interpretación Máxima precisión Dos objetivos: Los resultados deben presentarse de un modo que swea comprensible para la mayor cantidad posible de personas. Al mismo tiempo debe ser posible la comparaci{on de los resultados de años sucesivos en la misma escuela

Escalas Por ésto se decidió dar información detallada de los resultados de cada alumno en cada ítem Pero se decidió también utilizar una escala subyacente para asignar a los alumnos a los niveles de logro, y potenciar la comparabilidad entre años distintos

Escalas Escala subyacente Basada en la Teoría de Respuesta al Item en la cual la puntuación no depende sólo del número de respuestas correctas sino de qué ítems se respondieron correctamente.

Dominio evaluado - +

Alumno 1 + -

Alumno 2 + -

Alumnos 1 y 2 en la misma escala + -

La Teoría de Respuesta al Ítem Explica la respuesta a un ítem, no al test Rasgo Latente Relacionamos la probabilidad de responder correctamente con la diferencia entre capacidad y dificultad

Probabilidad de que responda corectamente P(u = 1) = 1 Capacidad de Lisa (Puntuación) =1,48

Probabilidad de que responda corectamente P(u = 1) = 0 Capacidad de Bart (Puntuación) = -2,38

Bart Lisa 1

Bart Lisa 1 1

Bart Lisa 1 1 1

Bart Lisa 1 1 1 1

Bart Lisa 1 1 1 1 1

Bart Lisa 1 1 1 1 1

C

C b

a C b

Niveles de logro Se ha construido partiendo de la calibración de los ítems y se identifican 4 niveles. En cada nivel se establecen las competencias de los alumnos en un punto medio. El contenido de estas competencias se obtiene a partir del análisis de las comunalidades de los ítems ubicados por debajo del primer punto de corte. Una vez calibrados los ítems se ordenan a partir de los valores del parámetro b (dificultad).

Niveles de logro Los especialistas determinan para cada materia y grado, a la vista de los contenidos curriculares de los ítems ordenados, dos puntos de corte. El primero se establece identificando los contenidos mínimos que debe dominar un alumno en ese grado al término del curso. El segundo se establece determinando que contenidos no deben ser dominados y todavía presentar un rendimiento satisfactorio.

Más difícil Más fácil

Más difícil Primer punto de corte Más fácil

Más fácil Más difícil Primer punto de corte Segundo punto de corte

Más fácil Más difícil Primer punto de corte Segundo punto de corte Nivel 1

Más fácil Más difícil Primer punto de corte Segundo punto de corte Nivel 2 Nivel 1

Más fácil Más difícil Primer punto de corte Segundo punto de corte Nivel 3 Nivel 2 Nivel 1

Necesidad de la detección de copia Programa de evaluación con aplicación masiva de pruebas (>12.000.000) Control dependiente de entidades no centrales Existencia de cierto estímulo para conductas irregulares Experiencias en programas similares (Aprovechamiento Escolar, pruebas a CONAFE, etc.)

Fundamentos de los métodos Basados en análisis de respuestas incorrectas En principio la copia de respuestas correctas es indetectable Los métodos tratan de estimar la probabilidad de que los patrones de respuestas incorrectas, o incorrectas coincidentes de cada par de sujetos en un grupo se deba al azar

Resultado del análisis Estatus de copia Resultado del análisis Copió No copió Positivo Verdadero Positivo Falso Positivo Negativo Falso Negativo Verdadero Negativo Total Positivos Total Negativos

Objetivo de la detección de copia Tratamos de maximizar: Sensibilidad=Verdaderos Positivos/Total de Positivos Especificidad=Verdaderos Negativos/Total de Negativos

Al menos 30% ítems copiados, general

Al menos 30% ítems copiados, detalle

Consideración final Para cada etapa del proyecto se ha utilizado la metodología más avanzada disponible, de modo que se facilitase tanto la interpretación de los resultados como la precisión técnica necesaria para garantizar futuras comparaciones