Instrumentos de medición: fundamentos y principios

Presentación del tema: "Instrumentos de medición: fundamentos y principios"— Transcripción de la presentación:

1 Instrumentos de medición: fundamentos y principios
Conferencia Instrumentos de medición: fundamentos y principios María Socorro Calderón Gutiérrez y Maribel Cerón Rodríguez Centro Nacional de Evaluación para la Educación Superior

2 Instrumentos de medición: fundamentos y principios
Dirección del Área de los Exámenes Nacionales de Ingreso Dirección de Programas Académicos Dirección del Programa de Control de Calidad 21 de octubre de 2017 Monterrey, Nuevo León

3 Objetivo Dar a conocer algunas de las características técnicas que sustentan los exámenes de admisión del Centro, con énfasis en la importancia de la medición y los elementos que permiten establecer la confiabilidad y validez en un instrumento

4 Plan estratégico 2015-2025 del Ceneval
Atributo: IV. Calidad Estrategia: Realizar estudios cuyos resultados… sustenten la validez de contenido y la validez predictiva de los instrumentos de evaluación garanticen que los exámenes están libres de sesgo de género, étnicos y regionales contribuyan a la toma de decisiones fundamentada

5 Instrumentos de medición
Fundamentos

6 Validez Se refiere a la exactitud en la medición Agudeza visual
Variable o factor irrelevante a lo que se quiere medir La interpretación de los resultados de un instrumento se basa en la evidencia empírica y teórica

7 ¿Cómo lo hace Ceneval? Contenido Constructo Validez Criterio

8 Validez Contenido Representatividad del contenido que se desea evaluar
Pertinencia: cobertura suficiente y relevante

9 Validez Contenido Representatividad y pertinencia Juicio de expertos
Área Reactivos operativos pilotos Pensamiento matemático 25 5 Pensamiento analítico Estructura de la lengua Comprensión lectora Total 100 10 Representatividad del contenido que se desea evaluar Juicio de expertos Comités académicos de: diseño especificaciones validación de especificaciones elaboración de reactivos validación de reactivos puntos de corte

10 Validez Constructo Variable o rasgo latente Área Subárea Tema Subtema
Comprensión lectora 4.1 Mensaje del texto 4.1.1 Explícito Estructura de secuencias temporales Caracterización de personajes, ambientes y acciones Identificación de información concreta y explicaciones 4.1.2 Implícito Ideas principales y secundarias del texto Identificación de la forma sintética del texto Idea significativa central del texto (tema) 4.2 Intención del texto 4.2.1 Adecuación a la función Léxico que corresponde al texto (científico, culto, coloquial y literario) Elementos paratextuales (dedicatoria, epígrafe, citas, referencias y paráfrasis): en relación con el contexto 4.2.2 Propósito Utilidad del texto

11 Validez Constructo PMA PAN EUL CL R1 R10 R20 R21 R30 R40 R41 R50 R60

12 Validez Constructo EXANI Admisión PM PA EL CL R1 R10 R20 R21 R30 R40

13 Validez Criterio Correlación con una variable externa
Anticipación respecto al desempeño futuro Puntuación obtenida en un examen Calificaciones en el primer año del siguiente tipo escolar

14 Validez Criterio Promedio académico en el primer año 100 90 80 70 60
80 70 60 50 40 30 20 10 700 800 900 1,000 1,100 1,200 1,300 Puntaje global obtenido en el examen de admisión

15 Consistencia en los resultados al realizar una medición
Confiabilidad Consistencia en los resultados al realizar una medición

16 Confiabilidad ¿Cómo lo hace Ceneval? Plan de piloteo de reactivos
Análisis cuantitativo Confiabilidad Plan de ensamble de versiones

17 Confiabilidad Plan de piloteo Elaboración de reactivos
Diagnóstico de bancos Validación de contenido Piloteo de reactivos

18 Confiabilidad Plan de piloteo Piloteo de reactivos Noroeste Noreste
Centro-Occidente Centro-Sur Sur-Sureste Metropolitana

19 Análisis cuantitativo Teoría de respuesta al ítem
Confiabilidad Análisis cuantitativo Teoría clásica Teoría de respuesta al ítem Dificultad Discriminación Parámetros del reactivo Aceptado Descartado

20 Análisis cuantitativo
Confiabilidad Análisis cuantitativo Análisis DIF Habilidad del sujeto

21 Análisis cuantitativo
Confiabilidad Análisis cuantitativo Análisis DIF Pública Privada Pública Privada Habilidad del sujeto Pública Privada Pública Privada

22 Estructura del examen Número de reactivos
Confiabilidad Ensamble de versiones Estructura del examen Número de reactivos EXANI Admisión Área Reactivos operativos Bloque piloto 1. Pensamiento matemático 20 5 2. Pensamiento analítico 3. Estructura de la lengua 4. Comprensión lectora Total 80 10

23 Confiabilidad Ensamble de versiones Diseño equivalente Recta 20-80
Reactivos Dificultad Recta 20-80

24 Confiabilidad Ensamble de versiones Verificación EXANI Admisión
Reactivos Dificultad

25 Imparcialidad Validez Confiabilidad Transparencia
Contenido Comités Académicos Imparcialidad Validez Constructo Dimensionalidad Criterio Predictiva Fundamentos Principios Plan de piloteo de reactivos Confiabilidad Análisis cuantitativo Transparencia Ensamble de versiones

26 Instrumentos de medición
Principios

27 Imparcialidad La evaluación que realiza el Centro no favorece a ninguna persona, organismo o institución en particular

28 Transparencia Los procesos concernientes a la elaboración, aplicación y calificación de los exámenes están abiertos a escrutinio, siempre y cuando no se contrapongan al principio de confidencialidad

29 Auditorías cualitativas Auditorías cuantitativas
Transparencia Auditorías cualitativas Reactivos Cuadernillos Procesos Auditorías cuantitativas Comportamiento de versiones Calidad de los reactivos

30 ¡Gracias!