Proceso de construcción de una prueba objetiva

Presentación del tema: "Proceso de construcción de una prueba objetiva"— Transcripción de la presentación:

1

2 Proceso de construcción de una prueba objetiva
Centro Nacional de Evaluación para la Educación Superior, A.C. Dirección General Adjunta de los Exámenes Nacionales de Ingreso [EXANI] 25 y 26 de noviembre de 2009 Mérida, Yucatán

3 CONTENIDO Características de un instrumento de medición
Prueba objetiva y sus características Proceso de construcción de una prueba objetiva: Planeación Diseño Construcción Ensamble Acciones de control

4 Características de un instrumento de medición
Validez. Es la congruencia que existe entre lo que se planeó medir y lo que se mide Confiabilidad. Se da cuando los resultados son estables y consistentes Objetividad. Se refiere a que el instrumento tiene independencia respecto a la persona que lo aplica o califica

5 ¿Qué es una prueba objetiva?
Es un instrumento de medición integrado por reactivos de respuesta estructurada con solución única, destinado a obtener información que sea comparable entre todos los sustentantes

6 Características de las pruebas objetivas
Exploran una muestra representativa de conocimientos, habilidades o competencias Pueden aplicarse a gran escala Cumplen con reglas de diseño y calificación estandarizadas Proporcionan información útil para la toma de decisiones No benefician a un grupo determinado Tienen una cobertura suficiente y relevante de lo que se desea medir

7 Características de los EXANI
Exigen el máximo rendimiento del sustentante Se componen por reactivos de cuatro opciones Contienen reactivos con diferente grado de dificultad y de complejidad Cuentan con reglas fijas de diseño y aplicación, por lo que sus versiones son equivalentes aunque contengan una mezcla distinta de reactivos Se califican de forma automatizada

8 Proceso de construcción de una prueba objetiva
Planeación Diseño Decisión de iniciar el proceso Conformación de un Consejo Técnico Definición del objeto de medida Definición del perfil referencial Diseño de la estructura de la prueba Elaboración de especificaciones Elaboración de reactivos Revisión técnica, validación, piloteo y calibración de los reactivos Construcción Ensamble

9 Proceso de construcción de una prueba objetiva
Planeación Diseño Decisión de iniciar el proceso Conformación de un Consejo Técnico Definición del objeto de medida Definición del perfil referencial Diseño de la estructura de la prueba Elaboración de especificaciones Elaboración de reactivos Revisión técnica, validación, piloteo y calibración de los reactivos Construcción Ensamble

10 Aspectos por considerar para iniciar el proceso
Se debe contar con… personal calificado necesario para el diseño y construcción de la prueba tiempo suficiente para el ensamble de versiones según lo planeado recursos materiales y económicos

11 Proceso de construcción de una prueba objetiva
Planeación Diseño Decisión de iniciar el proceso Conformación de un Consejo Técnico Definición del objeto de medida Definición del perfil referencial Diseño de la estructura de la prueba Elaboración de especificaciones Elaboración de reactivos Revisión técnica, validación, piloteo y calibración de los reactivos Construcción Ensamble

12 Consejo Técnico Misión
Apoyar al Ceneval en el diseño, perfeccionamiento y promoción de los exámenes Funciones Delimitar el propósito de la prueba y sus alcances (objeto de medida) Definir la población a la que se destinará el examen Dirigir el proceso de construcción del perfil referencial de la prueba Validar la estructura de la prueba Definir el perfil de los integrantes de los Comités Académicos Cuidar que el instrumento sea vigente y que cumpla con las características de validez, confiabilidad, objetividad, pertinencia y relevancia

13 Integrantes del Consejo Técnico
Son académicos e investigadores de reconocido prestigio en el ámbito de la evaluación educativa o en el campo de contenido de los exámenes, con estudios en psicometría y filosofía de la educación Estos especialistas son convocados por su trayectoria académica y laboral, sin importar la institución educativa, asociación u organismo al que pertenezcan

14 Proceso de construcción de una prueba objetiva
Planeación Diseño Decisión de iniciar el proceso Conformación de un Consejo Técnico Definición del objeto de medida Definición del perfil referencial Diseño de la estructura de la prueba Elaboración de especificaciones Elaboración de reactivos Revisión técnica, validación, piloteo y calibración de los reactivos Construcción Ensamble

15 Construcción de la estructura de la prueba
En los EXANI se toma como base el plan único de estudios, o bien los planes de estudios de las instituciones con mayor matrícula o relevancia en el país Se convoca a un grupo de especialistas que, en mesas de trabajo, delimitan los contenidos que se consideran indispensables para cursar estudios del nivel educativo posterior

16 Contenido de la estructura de la prueba
La estructura de la prueba precisa los contenidos para la elaboración del instrumento En ella se encuentran las áreas, subáreas y temas que contendrá el examen, el número de reactivos que deberán elaborarse para cada contenido y su nivel de complejidad o profundidad

17 Ejemplo de estructura: EXANI-II. Módulo Ingenierías y Tecnología
ÁREAS Reactivos para calificar piloto TOTAL CÁLCULO 20 2 22 FÍSICA MATEMÁTICAS QUÍMICA INGLÉS 100 10 110

18 Ejemplo de estructura: EXANI-II. Módulo Ingenierías y Tecnología
ÁREA SUBÁREA TEMA Nivel taxonómico Dominio cognitivo 1C 2C 3A 4A 5S 6E CÁLCULO Funciones Funciones: notación, clasificación y propiedades. X Dominio, contradominio, tabulación y graficación. Operaciones con funciones. Límites Concepto y teoremas de límites. Límites de las funciones: polinomiales, racionales, trigonométricas, logarítmicas, exponenciales. Continuidad de funciones. Variación y cambio de funciones. Derivadas Concepto, definición e interpretación de la derivada. Derivada de funciones algebraicas y no algebraicas. Reglas y fórmulas de derivación. Derivadas de funciones trigonométricas, exponenciales y logarítmicas. Derivación implícita y de orden superior. Aplicaciones de la derivada. Integrales Concepto, definición e interpretación de la integral. La integral definida. Integración de funciones. Reglas y fórmulas de la integración. Integración de funciones exponenciales, logarítmicas y trigonométricas. Aplicaciones de la integral.

19 Acciones de control Las estructuras son analizadas y validadas por el Consejo Técnico

20 Proceso de construcción de una prueba objetiva
Planeación Diseño Decisión de iniciar el proceso Conformación de un Consejo Técnico Definición del objeto de medida Definición del perfil referencial Diseño de la estructura de la prueba Elaboración de especificaciones Elaboración de reactivos Revisión técnica, validación, piloteo y calibración de los reactivos Construcción Ensamble

21 ¿Qué es una especificación?
Es una plantilla con la descripción detallada de lo que se espera que el sustentante sea capaz de realizar en el contexto de la prueba sobre un contenido en específico De acuerdo con el último nivel de la estructura del examen, se desarrolla al menos una especificación por contenido Las especificaciones facilitan el trabajo de los elaboradores de reactivos y garantizan la validez de la prueba

22 Tipos de especificaciones
Concisa. Es una definición operacional del tema o subtema por evaluar, que incorpora el contenido, la acción que realizará el sustentante y el contexto en el que se dará dicha acción Integral. Además de la definición operacional, contiene un reactivo ejemplo elaborado según los lineamientos institucionales

23 Ejemplo de una especificación
Definición operacional El sustentante será capaz de identificar, en un texto breve (con una extensión de entre 3 y 5 líneas), entre tres y cinco palabras que requieren acentuación. Ejemplo de reactivo Elija las palabras que deben acentuarse en el fragmento siguiente. Estoy seguro de lo que quiero, mas poco (practicamente1 nada) he hecho para alcanzarlo2. ¿Debese3 esto4 a una falta de animo5 luego de la perdida6 de Fátima, o a mi7 irremediable y permanente sensación de vacío? A) 1, 2, 4, 7 B) 1, 3, 5, 6 C) 2, 3, 6, 7 D) 2, 4, 5, 7 Respuesta correcta B Bibliografía relacionada Vázquez, A., et al. (1997). Taller de Lectura y Redacción II, México, Nueva Imagen.

24 Proceso de construcción de una prueba objetiva
Planeación Diseño Decisión de iniciar el proceso Conformación de un Consejo Técnico Definición del objeto de medida Definición del perfil referencial Diseño de la estructura de la prueba Elaboración de especificaciones Elaboración de reactivos Revisión técnica, validación, piloteo y calibración de los reactivos Construcción Ensamble

25 Elaboración de reactivos
La DGA EXANI ofrece el Taller de Elaboración de Reactivos A partir del análisis cualitativo de los reactivos elaborados por cada asistente, se constituye un Comité de Elaboración de Reactivos De forma periódica, la DGA EXANI dictamina el desempeño de todos los profesores en los bancos de reactivos para su inclusión o permanencia en el Comité.

26 Acciones de control Se capacita a todos los profesores en el conocimiento de los lineamientos técnicos, los criterios editoriales y de formato que deben cumplir los reactivos

27 Acciones de control Asimismo, se les instruye en el manejo del Banco de Reactivos para Agentes Externos (BRAE), donde se cuenta con el registro de todos los elaboradores, sus reactivos y las fechas en que estos últimos fueron ingresados

28 Acciones de control

29 Proceso de construcción de una prueba objetiva
Planeación Diseño Decisión de iniciar el proceso Conformación de un Consejo Técnico Definición del objeto de medida Definición del perfil referencial Diseño de la estructura de la prueba Elaboración de especificaciones Elaboración de reactivos Revisión técnica, validación, piloteo y calibración de los reactivos Construcción Ensamble

30 Análisis cualitativo Éste se lleva a cabo en tres etapas:
Revisión técnica. Personal del Ceneval supervisa que los reactivos cumplan con los lineamientos técnico pedagógicos del Centro, exceptuando los de contenido En esta etapa, el elaborador puede recibir retroalimentación para la mejora de sus reactivos

31 Acciones de control

32 Análisis cualitativo Validación de contenido. Un grupo de expertos en alguna de las áreas de los exámenes verifica que los reactivos estén alineados a la estructura de la prueba, y que el contenido y conceptos utilizados sean veraces

33 Acciones de control

34 Acciones de control

35 Análisis cualitativo Revisión de estilo. La Dirección General Adjunta de Difusión verifica que los reactivos cumplan con las reglas ortográficas, de puntuación y redacción, así como el formato y correcta inserción de imágenes

36 Acciones de control

37 Análisis cuantitativo
Consiste en realizar un piloteo de los reactivos aprobados en validación, incluyéndolos en versiones operativas de los exámenes, a fin de obtener información sobre su calidad en situación real

38 Acciones de control Se capacita a un grupo de personas en los aspectos logísticos de la aplicación de los exémenes Personal del Ceneval supervisa aleatoriamente las aplicaciones y elabora un reporte de incidencias a fin de evaluar a los aplicadores

39 Análisis cuantitativo
A partir de los datos de la aplicación se obtienen parámetros estadísticos de cada uno de los reactivos piloteados y sus opciones, lo que permite determinar si pueden incorporarse al banco correspondiente Los reactivos se analizan con Teoría Clásica y Teoría de Respuesta al ÍTEM

40 Acciones de control

41 Acciones de control

42 Consideraciones finales para elaborar una prueba objetiva
Solicitar al Consejo Técnico la revisión de los cambios en la estructura y mantenerlo informado sobre el comportamiento del instrumento Verificar la vigencia de los contenidos de la estructura Incrementar la participación de los comités académicos Mantener actualizados a los miembros de los comités Establecer como meta incorporar en el banco, al menos, cuatro veces el número de reactivos en la prueba

43 Sofía Velázquez Ramírez
GRACIAS Sofía Velázquez Ramírez Coordinadora del Área de Producción y Validación de Reactivos