Instrumentos de medición: fundamentos y principios Conferencia Instrumentos de medición: fundamentos y principios María Socorro Calderón Gutiérrez y Maribel Cerón Rodríguez Centro Nacional de Evaluación para la Educación Superior

Instrumentos de medición: fundamentos y principios Dirección del Área de los Exámenes Nacionales de Ingreso Dirección de Programas Académicos Dirección del Programa de Control de Calidad 21 de octubre de 2017 Monterrey, Nuevo León

Objetivo Dar a conocer algunas de las características técnicas que sustentan los exámenes de admisión del Centro, con énfasis en la importancia de la medición y los elementos que permiten establecer la confiabilidad y validez en un instrumento

Plan estratégico 2015-2025 del Ceneval Atributo: IV. Calidad Estrategia: Realizar estudios cuyos resultados… sustenten la validez de contenido y la validez predictiva de los instrumentos de evaluación garanticen que los exámenes están libres de sesgo de género, étnicos y regionales contribuyan a la toma de decisiones fundamentada

Instrumentos de medición Fundamentos

Validez Se refiere a la exactitud en la medición Agudeza visual Variable o factor irrelevante a lo que se quiere medir La interpretación de los resultados de un instrumento se basa en la evidencia empírica y teórica

¿Cómo lo hace Ceneval? Contenido Constructo Validez Criterio

Validez Contenido Representatividad del contenido que se desea evaluar Pertinencia: cobertura suficiente y relevante

Validez Contenido Representatividad y pertinencia Juicio de expertos Área Reactivos operativos pilotos Pensamiento matemático 25 5 Pensamiento analítico Estructura de la lengua Comprensión lectora Total 100 10 Representatividad del contenido que se desea evaluar Juicio de expertos Comités académicos de: diseño especificaciones validación de especificaciones elaboración de reactivos validación de reactivos puntos de corte

Validez Constructo Variable o rasgo latente Área Subárea Tema Subtema Comprensión lectora 4.1 Mensaje del texto 4.1.1 Explícito 4.1.1.1 Estructura de secuencias temporales 4.1.1.2 Caracterización de personajes, ambientes y acciones 4.1.1.3 Identificación de información concreta y explicaciones 4.1.2 Implícito 4.1.2.1 Ideas principales y secundarias del texto 4.1.2.2 Identificación de la forma sintética del texto 4.1.2.3 Idea significativa central del texto (tema) 4.2 Intención del texto 4.2.1 Adecuación a la función 4.2.1.1 Léxico que corresponde al texto (científico, culto, coloquial y literario) 4.2.1.2 Elementos paratextuales (dedicatoria, epígrafe, citas, referencias y paráfrasis): en relación con el contexto 4.2.2 Propósito 4.2.2.1 Utilidad del texto

Validez Constructo PMA PAN EUL CL R1 R10 R20 R21 R30 R40 R41 R50 R60

Validez Constructo EXANI Admisión PM PA EL CL R1 R10 R20 R21 R30 R40

Validez Criterio Correlación con una variable externa Anticipación respecto al desempeño futuro Puntuación obtenida en un examen Calificaciones en el primer año del siguiente tipo escolar

Validez Criterio Promedio académico en el primer año 100 90 80 70 60   80 70 60 50 40 30 20 10 700 800 900 1,000 1,100 1,200 1,300 Puntaje global obtenido en el examen de admisión

Consistencia en los resultados al realizar una medición Confiabilidad Consistencia en los resultados al realizar una medición

Confiabilidad ¿Cómo lo hace Ceneval? Plan de piloteo de reactivos Análisis cuantitativo Confiabilidad Plan de ensamble de versiones

Confiabilidad Plan de piloteo Elaboración de reactivos Diagnóstico de bancos Validación de contenido Piloteo de reactivos

Confiabilidad Plan de piloteo Piloteo de reactivos Noroeste Noreste Centro-Occidente Centro-Sur Sur-Sureste Metropolitana

Análisis cuantitativo Teoría de respuesta al ítem Confiabilidad Análisis cuantitativo Teoría clásica Teoría de respuesta al ítem Dificultad Discriminación Parámetros del reactivo Aceptado Descartado

Análisis cuantitativo Confiabilidad Análisis cuantitativo Análisis DIF Habilidad del sujeto

Análisis cuantitativo Confiabilidad Análisis cuantitativo Análisis DIF Pública Privada Pública Privada Habilidad del sujeto Pública Privada Pública Privada

Estructura del examen Número de reactivos Confiabilidad Ensamble de versiones Estructura del examen Número de reactivos EXANI Admisión Área Reactivos operativos Bloque piloto 1. Pensamiento matemático 20 5 2. Pensamiento analítico 3. Estructura de la lengua 4. Comprensión lectora Total 80 10

Confiabilidad Ensamble de versiones Diseño equivalente Recta 20-80 Reactivos Dificultad Recta 20-80

Confiabilidad Ensamble de versiones Verificación EXANI Admisión Reactivos Dificultad

Imparcialidad Validez Confiabilidad Transparencia Contenido Comités Académicos Imparcialidad Validez Constructo Dimensionalidad Criterio Predictiva Fundamentos Principios Plan de piloteo de reactivos Confiabilidad Análisis cuantitativo Transparencia Ensamble de versiones

Instrumentos de medición Principios

Imparcialidad La evaluación que realiza el Centro no favorece a ninguna persona, organismo o institución en particular

Transparencia Los procesos concernientes a la elaboración, aplicación y calificación de los exámenes están abiertos a escrutinio, siempre y cuando no se contrapongan al principio de confidencialidad

Auditorías cualitativas Auditorías cuantitativas Transparencia Auditorías cualitativas Reactivos Cuadernillos Procesos Auditorías cuantitativas Comportamiento de versiones Calidad de los reactivos

¡Gracias!