Calidad técnica de los EXANI Conferencia Calidad técnica de los EXANI César Chávez Álvarez y Genaro Galindo Cortés Centro Nacional de Evaluación para la Educación Superior
CALIDAD TÉCNICA DE LOS EXANI Estudio de Validez Predictiva 2017 EXANI-I y EXANI-II Dirección del Área de los Exámenes Nacionales de Ingreso Dirección del Área de Calidad, Investigación e Innovación 21 de octubre de 2017 Monterrey, Nuevo León
CENEVAL Dentro del Plan Estratégico 2015-2025 del Ceneval se plantean 10 atributos distintivos para cumplir con su visión. En el atributo IV, se indica que el Centro cuenta con un sistema de aseguramiento de la calidad y mejora continua de sus procesos y operaciones para obtener instrumentos de medición técnicamente sólidos. Para cumplir con este atributo, se requiere implementar diversas estrategias, entre ellas se encuentra realizar estudios cuyos resultados sustenten la validez predictiva de los instrumentos de evaluación.
OBJETIVOS DEL ESTUDIO DE VALIDEZ PREDICTIVA Demostrar la validez predictiva del EXANI-I y el EXANI-II. Modelar la relación de los EXANI-I y EXANI-II con las calificaciones escolares obtenidas en el primer periodo. Pronosticar el rendimiento académico. Por lo que en esta sesión: Se explicará la metodología empleada para la realización del estudio de validez predictiva. Se presentarán resultados y conclusiones representativos del estudio.
EXÁMENES NACIONALES DE INGRESO DE ADMISIÓN (EXANI-I Y EXANI-II) Son exámenes de tipo normativo utilizados como instrumentos de medición en los procesos de admisión de las instituciones educativas. Miden conocimientos y habilidades genéricas predictivas para cursar con éxito el primer año del tipo educativo al que desea ingresar. Brindan información a las instituciones educativas para la toma de decisiones sobre el ingreso a los programas académicos que ofertan.
VALIDEZ La validez de un instrumento se refiere a que exista fundamentación teórica y empírica para los usos e inferencias basados en los resultados de un examen. En el caso de los EXANI-Admisión se requiere evidencia de que son válidos para las decisiones de ingreso. Una de las evidencias de validez es denominada validez de criterio.
VALIDEZ DE CRITERIO EXANI Para los exámenes de admisión un importante criterio externo es el rendimiento académico del alumno en el primer periodo. La validez de criterio se refiere a la relación de las puntuaciones de un instrumento con algún criterio externo válido (suficiente, objetivo y representativo de la conducta de interés) para realizar inferencias. Calificación futura EXANI Calificación futura Otros exámenes Calificación previa
EXANI 1er Periodo VALIDEZ PREDICTIVA Si los estudiantes que obtuvieron un puntaje alto en EXANI tienen una calificación académica superior a los que obtuvieron un puntaje bajo, se demuestra la validez de criterio del instrumento. La correlación entre ambas variables permite establecer su nivel de asociación. Entonces se puede determinar si es posible predecir el rendimiento académico de un estudiante a partir de su puntaje en el EXANI. EXANI 1er Periodo ¿Relación? ¿Predicción?
FUENTES DE INFORMACIÓN Para lograr obtener resultados confiables del estudio es fundamental la colaboración de las instituciones que proporcionan la información necesaria acerca del rendimiento académico de los alumnos. Los datos son manejados por parte del Centro con estricta confidencialidad y son utilizados con fines de investigación. En esta fase del estudio están colaborando 3 instituciones con las que se han precisado las características de las bases de datos con las calificaciones obtenidas por sus alumnos durante el primer periodo escolar.
FUENTES DE INFORMACIÓN La escala de referencia de los puntajes en el EXANI de Admisión se encuentra entre 700 y 1,300 puntos en Índice Ceneval. Mientras que la escala de referencia de las calificaciones durante el primer año escolar se encuentra en porcentaje. 1300 100 ICNE 1000 VS 50 Promedio 700
PROCEDIMIENTO
PROCESO DE ADMISIÓN (INFORMACIÓN DEL EXANI)
PROCESO DE ADMISIÓN (INFORMACIÓN DEL EXANI) Punto de corte EXANI-I
PROCESO DE ADMISIÓN (INFORMACIÓN DEL EXANI) Punto de corte EXANI-II
SIGNIFICADO DE LA CORRELACIÓN
SIGNIFICADO DE LA CORRELACIÓN
SIGNIFICADO DE LA CORRELACIÓN
SIGNIFICADO DE LA CORRELACIÓN
CORRECCIÓN POR EFECTO DE RANGO
CORRECCIÓN POR EFECTO DE RANGO
SIGNIFICADO DE LA REGRESIÓN
SIGNIFICADO DE LA REGRESIÓN
SIGNIFICADO DE LA REGRESIÓN
SIGNIFICADO DE LA REGRESIÓN
SIGNIFICADO DE LA REGRESIÓN
RESULTADOS
CARACTERÍSTICAS DEL ANÁLISIS PARA EL EXANI-I PLANTEL INSTITUCIÓN
DESCRIPTIVOS DEL EXANI-I
CORRELACIONES EN EXANI-I
RENDIMIENTO ACADÉMICO PROMEDIO ESTIMADO (EXANI-I) PROMEDIO = 36.74849 + 0.03911 (ICNE)
RENDIMIENTO ACADÉMICO PROMEDIO ESTIMADO (EXANI-I) PROMEDIO = 36.74849 + 0.03911 (ICNE)
RENDIMIENTO ACADÉMICO PROMEDIO ESTIMADO (EXANI-I) PROMEDIO = 36.74849 + 0.03911 (ICNE)
RENDIMIENTO ACADÉMICO PROMEDIO ESTIMADO (EXANI-I) PROMEDIO = 36.74849 + 0.03911 (ICNE)
RENDIMIENTO ACADÉMICO PROMEDIO ESTIMADO (EXANI-I) PROMEDIO = 36.74849 + 0.03911 (ICNE)
CARACTERÍSTICAS DEL ANÁLISIS PARA EL EXANI-II CARRERA INSTITUCIÓN
DESCRIPTIVOS DEL EXANI-II
CORRELACIONES EN EXANI-II
Distribución de los puntajes Promedio académico Índice Ceneval
RENDIMIENTO ACADÉMICO PROMEDIO ESTIMADO (EXANI-II) MÉDICO CIRUJANO PROMEDIO = -17.688 + 0.0813 (ICNE)
RENDIMIENTO ACADÉMICO PROMEDIO ESTIMADO (EXANI-II) MÉDICO CIRUJANO PROMEDIO = -17.688 + 0.0813 (ICNE)
RENDIMIENTO ACADÉMICO PROMEDIO ESTIMADO (EXANI-II) MÉDICO CIRUJANO PROMEDIO = -17.688 + 0.0813 (ICNE)
RENDIMIENTO ACADÉMICO PROMEDIO ESTIMADO (EXANI-II) MÉDICO CIRUJANO PROMEDIO = -17.688 + 0.0813 (ICNE)
RENDIMIENTO ACADÉMICO PROMEDIO ESTIMADO (EXANI-II) MÉDICO CIRUJANO PROMEDIO = -17.688 + 0.0813 (ICNE)
TIPO DE POBLACIÓN PARA CADA EXANI BÁSICA MEDIA SUPERIOR SUPERIOR
PRONÓSTICO DEL RENDIMIENTO ACADÉMICO A partir de la relación establecida entre el puntaje del EXANI y las calificaciones en el primer periodo en la Educación Media Superior o Superior, para una generación base, es posible realizar pronósticos sobre el comportamiento de las siguientes generaciones. Una manera de realizar estos pronósticos consiste en analizar la distribución del rendimiento de los estudiantes, para distintos rangos de calificación en EXANI. Los pronósticos realizados deben tomarse con cautela, ya que puede haber cambios importantes en los perfiles de los estudiantes de una generación a otra.
PRONÓSTICO DEL RENDIMIENTO ACADÉMICO Número de sustentantes Grupo de calificación Número de sustentantes 58-74 670 75-79 467 80-84 269 85-99 148 Total 1,554 Índice Ceneval 820 1,030
PRONÓSTICO DEL RENDIMIENTO ACADÉMICO Número de sustentantes Grupo de calificación Número de sustentantes 58-74 546 75-79 483 80-84 365 85-99 260 Total 1,654 Índice Ceneval 1,031 1,082
PRONÓSTICO DEL RENDIMIENTO ACADÉMICO Número de sustentantes Grupo de calificación Número de sustentantes 58-74 269 75-79 384 80-84 379 85-99 336 Total 1,368 Índice Ceneval 1,083 1,127
PRONÓSTICO DEL RENDIMIENTO ACADÉMICO Número de sustentantes Grupo de calificación Número de sustentantes 58-74 171 75-79 315 80-84 362 85-99 628 Total 1,476 Índice Ceneval 1,128 1,277
CONCLUSIONES
CONCLUSIONES A partir de la valiosa información brindada por las instituciones, se obtuvieron los criterios necesarios para lograr estimar adecuadamente los resultados. Los valores de correlación presentan en general una alta asociación entre el rendimiento académico y los puntajes obtenidos en el instrumento. Estos valores son comparables a los reportados en la literatura especializada. Se encontró evidencia a favor del valor predictivo del EXANI-I y EXANI-II lo que posibilita brindar información a las instituciones para dirigir recursos a programas e intervenciones de acuerdo a la predicción realizada a los estudiantes.
¡Gracias!