una mina de información Los EXANI: una mina de información Lucía Monroy Cazorla César Chávez Álvarez Dirección General Adjunta Técnica y de Investigación 25 de noviembre de 2009 Mérida, Yucatán

Objetivo Presentar un panorama general sobre los usos que podrían dar las instituciones usuarias a la información generada por el Ceneval.

Contenido Contenido de las bases de datos Momentos en que se generan las bases de datos Uso de la información de las pruebas de logro: Examen de selección Examen diagnóstico Tipificación del desempeño Uso de la información de del cuestionario de contexto: Perfil del estudiante de nuevo ingreso

Contenido Uso de la información de la prueba de logro y el cuestionario de contexto Investigación educativa: Retroalimentación a las escuelas de procedencia Estudios predictivos Estudios comparativos Estudios explicativos Estudios de ganancia educativa La escala de habilidad de la Teoría de la Respuesta al Ítem (TRI) Ventajas y usos Bases de datos 2010

Bases de datos Cuestionario de contexto

Bases de datos Calificación de los sustentantes

Cuestionarios de contexto Bases de datos Registro Cuestionarios de contexto 8

Generación de la información Aplicación del Examen Examen selección Número de aciertos Porcentaje de aciertos ICNE Resultados Examen diagnóstico Niveles de logro IDD

PRUEBAS NACIONALES DE INGRESO Pruebas normativas y pruebas criteriales Interpretación de los resultados NORMATIVA CRITERIAL PRUEBAS NACIONALES DE INGRESO EXANI – I Selección EXANI – I Diagnóstico EXANI – II Selección EXANI – II Diagnóstico EXANI – III Investigación Escala ordinal para diagnósticar a los sustentantes: Niveles de desempeño: Elemental Satisfactorio Sobresaliente Se incluyen descriptores de cada nivel Escalas para ordenar a los sustentantes: Índice Ceneval Porcentaje de aciertos Rango percentil EXANI – III Profesionalización

Contenido de las bases de datos Las bases de datos que se entregan a las instituciones usuarias consolidan la información de la prueba y del cuestionario de contexto. Variables de contexto Calificaciones de la prueba

Generación de la información Diccionario de datos

Información de la prueba de logro académico

Uso del EXANI: selección Las calificaciones de las pruebas normativas permiten a las instituciones identificar a los candidatos que ingresarán a un programa de estudios. Aceptado € € € € € € € € € € € € € € €

Uso del EXANI: diagnóstico Las calificaciones del examen criterial permiten a las instituciones usuarias, tener un diagnóstico sobre los conocimientos y habilidades que han logrado adquirir los estudiantes. Sin dictamen 5% Elemental 55% Satisfactorio 31% Sobresaliente 9% 15

Sustentantes seleccionados Uso del EXANI: tipificación del desempeño Las instituciones usuarias pueden utilizar la información del EXANI para clasificar a la población de nuevo ingreso en grupos de diferente desempeño, a fin de brindarles atención diferencial. Sustentantes seleccionados Requiere nivelación ‚ ‚ ‚ ‚ ‚ ‚ ‚ ‚ ‚ ‚ ‚ ‚ ‚ ‚ ‚ ‚ ‚ ‚ ‚ ‚ ‚ ‚ ‚ ‚ ‚ ‚ ‚ ‚ ‚ ‚ ‚ ‚ ‚ Bajo rendimiento Rendimiento medio Alto rendimiento

Información del cuestionario de contexto

Los cuestionarios de contexto ¿Qué son? Son instrumentos de medición que se aplican para obtener información para poder estar en posibilidades de hacer inferencias cuantitativas acerca de la población. A diferencia de los exámenes en un cuestionario de contexto no existen respuestas correctas e incorrectas.

Los cuestionarios de contexto ¿Para qué sirven? Describir: ¿Cuántos sustentantes son mujeres u hombres? ¿De qué condición socioeconómica provienen? ¿Cuál es su escuela de procedencia? Contextualizar: ¿En matemáticas obtienen un mayor puntaje las mujeres o los hombres? ¿Existen diferencias en los puntajes obtenidos por los estudiantes que estudiaron en una telesecundaria o en una secundaría técnica? Explicar: ¿Cómo impactan el nivel socioeconómico y el capital cultural de la familia en los resultados que obtienen los estudiantes en la prueba de logro?

Perfiles descriptivos Uno de los intereses primarios de las instituciones educativas consiste en conocer las características de los estudiantes de recién ingreso: ¿Cuál es su situación socioeconómica? ¿Cuál es su trayectoria académica? ¿Qué estudiaron sus padres? ¿De qué escuela provienen?

Información de la prueba de logro académico y el cuestionario de contexto

Retroalimentación a escuelas de procedencia Con esta información las escuelas de procedencia pueden conocer el rendimiento de sus alumnos en cada una de las secciones que componen la prueba, con el objetivo de identificar sus áreas de oportunidad. Las instituciones usuarias de los EXANI pueden proporcionar información a las escuelas de procedencia sobre el desempeño de sus alumnos en el examen de selección y diagnóstico. Bajo Alto Institución usuaria del EXANI Escuelas de procedencia 22

Retroalimentación a escuelas de procedencia La implementación de este tipo de acciones permiten la creación de círculos virtuosos que apunten hacia una mejora educativa. Institución usuaria Evaluación de ingreso EXANI Retroalimentación sobre el egreso Mejores egresados Escuela de procedencia 23

Retroalimentación a escuelas de procedencia Sería deseable que las instituciones usuarias de los EXANI, realizaran reuniones anuales con las principales escuelas de procedencia de sus alumnos. Existen instituciones que han comenzado a implementar este tipo de acciones 24

Estudios comparativos Objetivo: Contrastar el rendimiento obtenido entre grupos de sustentantes. Los resultados de sustentantes de distintas generaciones.

Estudios comparativos Objetivo: Contrastar el rendimiento obtenido entre grupos de sustentantes. Los resultados de la institución contra los resultados nacionales. INSTITUCIÓN “X” (n=10053) 26

Estudios predictivos Objetivo: Se orientan a predecir el éxito académico que tendrán los estudiantes en ciclos escolares posteriores. Se requiere tomar mediciones de las variables en diferentes tiempos. Se pueden hacer contraste tipificando a la población de nuevo ingreso.

Estudio en una Universidad Pública Objetivo: analizar la relación entre el puntaje de logro académico (tipificado) contra el promedio general de los estudiantes obtenido en los tres primeros semestres de la carrera. Grupos por quintiles 1 2 3 4 5 700 900 1100 1300 Índice Ceneval 28

Estudio en una Universidad Pública Objetivo: analizar la relación entre el puntaje de logro académico (tipificado) contra el promedio general de los estudiantes obtenido en los tres primeros semestres de la carrera. 29

Razonamiento matemático (Cuestionario de contexto) Estudios explicativos Objetivo: Identificar el impacto de variables personales, académicas, económicas y sociales sobre el rendimiento académico. Ejemplo: Encontrar la relación que existe entre el razonamiento matemático y el capital cultural del sustentante. Razonamiento matemático (EXANI-I) Reactivo 1 Número de libros Reactivo 2 Escolaridad del padre Reactivo 3 Escolaridad de la madre Capital cultural (Cuestionario de contexto) Reactivo 4 Número de viajes

‚ ‚ Estudios de ganancia educativa 3° de bachillerato 2012 Objetivo: Medir la efectividad de la escuela o del sistema educativo para lograr un mayor rendimiento académico en los alumnos. Por ejemplo: Desarrollo de escalas verticales que permitan medir cambios en el logro educativo a lo largo del tiempo. ‚ 3° de bachillerato 2012 ‚ 3° de secundaria 2009

Estudios de ganancia educativa Uno de los supuestos principales para el desarrollo de estudios de ganancia educativa es que los instrumentos de medición que se aplican en dos momentos en el tiempo sean comparables. El Ceneval pone especial cuidado al desarrollar las versiones de una misma prueba, a fin de que sean equivalentes. En los nuevos EXANI también será posible comparar los resultados del estudiante en la prueba de ingreso (EXANI-I) y en la prueba de egreso (EGREMS) de la media superior. 2010 2009

Las versiones son equivalentes en contenido

Se emplea la misma regla de diseño para ensamblar las versiones de examen.

Estudios de ganancia educativa Además de validar el cumplimiento de estas especificaciones, siempre que se realizan estudios comparativos o de ganancia, se verifica que las versiones involucradas sean equivalentes En caso de encontrar diferencias significativas en la dificultad de alguna versión, es necesaria una igualación previa de los puntajes La estimación de la habilidad de un sustentante por TRI, será consistente, a reserva del error de estimación, independientemente del conjunto de reactivos que le sean administrados. Por lo tanto, la aplicación de puntajes TRI en este tipo de estudios, no requiere de igualación previa

Una medida más estable: la habilidad del sustentante estimada con TRI

La escala de habilidad de la TRI -3 -2 -1 1 2 3 La escala de habilidad de la TRI A diferencia del las escalas basadas en el número de aciertos, la theta de habilidad es una variable continua no acotada, que teóricamente puede ir de infinito negativo a infinito positivo (aunque generalmente toma valores entre -3 y 3). Por lo tanto, además de ser una escala más estable, permite la aplicación de técnicas estadísticas específicas para variables continuas.

Usos de la escala de habilidad de los modelos TRI La variable de habilidad de la TRI permite: Una comparación más estable entre distintos grupos de sustentantes en años distintos. ‚ Institución Estado 3° de secundaria País

Usos de la escala de habilidad de los modelos TRI La variable de habilidad de la TRI permite: Una comparación más estable entre generaciones de sustentantes de años distintos ‚ 3° de secundaria generación 2009 ‚ 3° de secundaria generación 2010

Usos de la escala de habilidad de los modelos TRI La variable de habilidad de la TRI permite: Una comparación más estable de un mismo grupo de sustentantes en distintos momentos en el tiempo (ganancia educativa) ‚ 3° de bachillerato 2012 ‚ 3° de secundaria 2009 2009 2011 A X B A C Y Reactivos Reactivos D Z E C

Integración de la variable de habilidad de la TRI en las bases de datos 2010 Al final de la base de datos que normalmente se entrega a las instituciones usuarias, a partir de 2010 se integrará la habilidad de los sustentantes estimada con TRI, para cada una de las áreas que conforman el examen

Integración de la variable de habilidad de la TRI en las bases de datos 2010 Las nuevas variables de habilidad constituyen una herramienta adicional que el Ceneval facilita a las instituciones usuarias de los EXANI que estén interesadas en realizar investigaciones educativas Las nuevas variables de habilidad no sustituyen a ninguna de las variables que actualmente se entregan a las instituciones usuarias de los EXANI, en las bases de datos

Muchas gracias Lucía Monroy lucia.monroy@ceneval.edu.mx César Chávez cesar.chavez@ceneval.edu.mx