Relevancia y posibilidades de la formación de cuadros expertos en las IES en la formulación y validación de reactivos Catalina Betancourt Correa Jefa del.

Presentación del tema: "Relevancia y posibilidades de la formación de cuadros expertos en las IES en la formulación y validación de reactivos Catalina Betancourt Correa Jefa del."— Transcripción de la presentación:

1

2 Relevancia y posibilidades de la formación de cuadros expertos en las IES en la formulación y validación de reactivos Catalina Betancourt Correa Jefa del Departamento de Producción de Reactivos de la DGA de los EGEL Centro Nacional de Evaluación para la Educación Superior, A.C. (Ceneval) Dirección General Adjunta de los EGEL 6 al 7 Diciembre de 2007 Campeche, Campeche

3 Contenido Qué es un banco de reactivos Características de un banco de reactivos Talleres de Elaboración de Reactivos Talleres de Validaciones de Reactivos Especificaciones de reactivos Banco de Reactivos para Agentes Externos (BRAE) Conclusiones

4 ¿Cómo se elabora un examen?
Determinación del objeto de medida Estructura del examen Elaboración de especificaciones Versiones operativas de los exámenes Elaboración de reactivos Validación de reactivos Selección de reactivos Análisis psicométrico de reactivos Piloteo

5 ¿Qué es un Banco de Reactivos?
Es un conjunto de preguntas referidas a un determinado campo profesional o de conocimiento. Almacenadas y clasificadas en función de su contenido y las propiedades métricas. Especialmente la dificultad de cada reactivo y su capacidad de discriminar entre los sujetos de alto y bajo rendimiento.

6 ¿Cómo se determina la calidad de un reactivo?
Dificultad Discriminación Redacción Validez Sesgo Opciones de respuesta Criterios técnicos de construcción

7 Tabla de especificaciones de un examen
Clasificación Tabla de especificaciones de un examen Una tabla de especificaciones es la descripción detallada de lo que se pretende evaluar (contenido), la definición de los procesos cognoscitivos implicados y la determinación de la importancia relativa del contenido. La tabla de especificaciones es la etapa crucial para la planeación de una prueba. Es una herramienta que dirigirá el diseño de los reactivos.

8 Niveles de calidad de los bancos de reactivos
Básico Una colección relativamente grande de elementos de medida fácilmente asequibles, se ajustaría a este nivel. Validación Formal Un grupo de expertos hace una revisión y validación, de contenido, por cada uno de los reactivos que conforman el banco de reactivos, con evidencias que garanticen la idoneidad del reactivo. Reactivos calibrados Banco de reactivos que se analizan las características psicométricas del reactivos ya sea por Teoría Clásica (TC) o por Teoría de Respuesta al Ítem (TRI) de cada reactivo, tales como índice de dificultad, índice de discriminación, distribución de las respuestas, etc. Una colección de reactivos de medida organizados y catalogados para tomar en cuenta tanto su contenido como las características métricas.

9 Estándar de calidad de un banco de reactivos
La calidad de los instrumentos depende de la cantidad de reactivos adecuados disponibles. Contar con tres veces la longitud de la tabla de especificaciones, suficientemente representados por cada contenido y con los estándares psicométricos que marca el Ceneval.

10 Beneficio de contar con un banco de reactivos de calidad
Eficiencia El ensamble del instrumento requiere menor esfuerzo y se puede automatizar el ensamble. El experto necesita menos esfuerzo y tiempo para construir un instrumento de evaluación. Adaptación Se puede construir una prueba específica para un determinado tipo de sustentantes, adaptándola a sus circunstancias. Seguridad El que algunos sustentantes pretendan aprenderse todas las posibles respuestas no les sale a cuenta, y en cualquier caso asegura una adecuada medida de todo el contenido del examen.

11 Ventajas de la participación de las instituciones en los procesos del Ceneval de elaboración de reactivos Recursos humanos calificados para elaborar exámenes objetivos. Fomento de la generación de exámenes departamentales y de asignatura de mayor calidad técnica. Incorporar el punto de vista de la institución en el nivel de mayor especificidad del examen. Los docentes forman parte de una red de expertos del Ceneval.

12 Dificultades para contar con un banco de calidad
El costo elevado que resulta de la fase de construcción del Banco. Se requiere invertir un número elevado de horas de trabajo de personal especializado. Se requiere captar un número elevado de expertos que colaboren en la elaboración y validación de los reactivos, lo cual implica un esfuerzo importante de coordinación. Se necesita una plataforma informática que brinde seguridad en el manejo de los reactivos y las versiones de exámenes.

13 Capacitación permanente
El personal técnico del Ceneval que apoya a los cuerpos colegiados requiere de capacitación constante, aún cuando las pruebas ya se hayan estabilizado con numerosas aplicaciones. Los expertos que participan en los cuerpos colegiados deben ser capacitados para seguir los lineamientos establecidos por el Centro para la elaboración y validación de reactivos. Se requiere actualizar constantemente los talleres y materiales.

14 CRONOGRAMA

15 El Departamento de Producción de Reactivos

16 Departamento de producción de reactivos
objetivos Vigilar que se cumplan los referentes teóricos metodológicos. Identificar las mejores prácticas y garantizar su ejecución en las actividades involucradas en los procesos de elaboración. Coordinar la validación de los reactivos para los exámenes adscritos a la Dirección General Adjunta.

17 Taller de Elaboración de Reactivos

18 Talleres de elaboración de reactivos
impartidos en 2007 33 Talleres de elaboración de reactivos 697 Asistentes 9,650 Reactivos obtenidos 33 Instituciones sede, con centenares de instituciones participantes

19 Objetivos del taller Conocer y aplicar las bases metodológicas y técnicas que sigue el Ceneval para la construcción de reactivos de opción múltiple (simples y multirreactivos). Elaborar y capturar en el Banco de Reactivos para Agentes Externos (BRAE) reactivos para un examen en específico, para contar con bancos de reactivos robustos.

20 Taller de Elaboración de Reactivos
SESIÓN HORARIO TEMAS Primera 9:00 a 13:00 Presentación y encuadre Marco Institucional ¿Qué es el Ceneval? Conceptos básicos Pruebas objetivas Segunda 15:00 a 19:00 Reactivos de opción múltiple Reactivo simple Multirreactivo Tercera Taxonomía Banco de Reactivos de Asesores Externos (BRAE) Cuarta BRAE Validación Cierre

21 Proceso del Taller de elaboración de reactivos
Organización previa Funciones del redactor Funciones del instructor Recursos

22 1. Organización previa Ceneval / Institución Solicitud
Requisitos para llevar a cabo un taller Acuerdo con la institución (fecha, horario, participantes)

23 2. Funciones de la Institución
Convocar a 20 docentes a participar en el taller Contar con un aula adecuada para la primera parte del taller (lap top y cañón) Institución Contar con un laboratorio de cómputo para la captura de reactivos Reproducir los manuales del participante Coordinar a los docentes a cumplir con los compromisos adquiridos

24 Asistir a todas las sesiones del taller
2. Funciones Redactor Asistir a todas las sesiones del taller Participar en las actividades de demande el taller Especialistas/ Redactores Firmar su clave y contraseña de acceso al sistema de captura de reactivos Elaborar los reactivos, en las fechas establecidas Hacer las modificaciones a los reactivos que se le sugieran

25 2. Funciones Instructor Instructor del taller Ceneval
Impartir el taller Resolver las dudas y sugerencias de los participantes Instructor del taller Ceneval Entregar a cada participante su clave y contraseña de acceso al sistema de captura de reactivos Revisar técnicamente los reactivos y hacer las sugerencias pertinentes al redactor Elaborar su constancia de elaboración de reactivos

26 Tabla de especificaciones Manual del elaboración de reactivos
3. Recursos Equipo de cómputo Acceso a Internet Presentación Recursos Clave BRAE Tabla de especificaciones Libros, diccionarios Manual del elaboración de reactivos

27 Sesiones de Taller de elaboración de reactivos

28 Sesiones de Taller de elaboración de reactivos

29 Sesiones de Taller de elaboración de reactivos

30 Taller de elaboración de reactivos

31 Reactivos de opción múltiple: Lineamientos generales

32 Formatos y tipos de reactivos de
opción múltiple Simple Multirreactivo Cuestionamiento directo Completamiento (Canevá) Jerarquización Elección de elementos Relación de columnas Casos Problemas Contexto Simuladores

33 Reactivo El empleo de los fertilizantes sintéticos produce un efecto quelante en la planta bloqueando la utilización de: A) oligoelementos B) superfosfatos C) nitritos D) prótidos BASE OPCIONES

34 JUSTIFICACIÓN DE LA OPCIÓN CORRECTA Y DE LOS DISTRACTORES
Es necesario que el autor especifique las razones por las qué esa respuesta es la correcta, y el porqué de los distractores, incluyendo los errores más frecuentes que comete el sustentante.

35 Formatos y tipos de reactivos de opción múltiple
Simple Multirreactivo Cuestionamiento directo Completamiento (Canevá) Jerarquización Elección de elementos Relación de columnas Casos Problemas Contexto Simuladores

36 Estructura del Multirreactivo
Planteamiento Reactivo 1 2 3 4 5

37 Taxonomía

38

39 Especificaciones de Reactivos

40 Especificaciones (INEE, 2005).
Las especificaciones de reactivos son el conjunto de características que definen a un tipo o clase de reactivo, son “retratos hablados” de las conocimientos, habilidades o competencias que se desean evaluar en los sujetos. (INEE, 2005). Las especificaciones de los reactivos son una descripción detallada de los contenidos que exploran los [reactivos] que conforman la prueba. Constituyen un referente muy importante para la elaboración de los instrumentos de medición, en virtud de que definen lo que los sustentantes deben de realizar en el momento de contestar un reactivo. (Ceneval, 2006)

41 Especificaciones Concisas
Es un enunciado, brevemente, en términos conductuales. Lo que el sustentante debe realizar. El contexto en que se presenta la acción. Se le puede considerar como una definición operacional que detalla los resultados de aprendizaje. Los elementos que la componen son: 1. Contenido al que pertenece la especificación 2. Descripción del componente a medir 3. Nivel de complejidad

42 Especificaciones Integrales
Compuesta por elementos que delimitan. Detallan la información para un reactivo explore un contenido particular. Se pueden elaborar reactivos en paralelo. Los elementos que la componen son: 1. Contenido al que pertenece la especificación 2. Descripción del componente a medir 3. Nivel de complejidad 4. Formato de reactivo sugerido 5. Plantilla del reactivo 6. Reactivo ejemplo 7. Bibliografía

43 Banco de Reactivos de Acceso Externo (BRAE)

44 Banco de Reactivos de Acceso Externo (BRAE)
Requerimientos: Enlace Internet por persona B90 (40k´s) Navegadores actualizados: netscape o explorer No utilizar plataforma Mac o el navegador Safari

45 Banco de Reactivos de Agentes Externos (BRAE)
Escribir en los espacios, el usuario y contraseña que le proporcionó el instructor de Ceneval

46 Validación de Reactivos

47 Validaciones de reactivos
Impartidas en 2007 20 Validaciones 274 Asistentes 7,650 Reactivos validados

48 Taller de validación de reactivos Validación de reactivos por área
SESIÓN HORARIO TEMAS Primera Día 9:00 a 10:30 Bienvenida Proceso de construcción del examen Elementos conceptuales de validez Proceso de validación Taxonomía de Bloom Lista de validación de reactivos Práctica guiada 10:30 a 14:00 Validación de reactivos por área 14:00 a 15:30 Comida 15:30 a 18:30

49 Taller de validación de reactivos Validación de reactivos por área
SESIÓN HORARIO TEMAS Segundo Día 9:00 a 10:30 Validación de reactivos por área 14:00 a 15:30 Comida 15:30 a 18:30

50 Proceso de construcción del examen

51 ¿Cómo se elabora un examen?
Determinación del objeto de medida Estructura del examen Elaboración de especificaciones Versiones operativas de los exámenes Elaboración de reactivos Validación de reactivos Selección de reactivos Análisis psicométrico de reactivos Piloteo

52 Validación por especialistas
Elaboradores Validadores REACTIVOS

53 Proceso de validación externa de reactivos
Organización Funciones Recursos

54 Formación de mesas de trabajo
1. Organización Formación de mesas de trabajo Tres a cinco especialistas Un representante del Ceneval, coordinador de mesa

55 2. Funciones Representante del Ceneval
Da a conocer el número de reactivos a validar Registra a los jueces en el sistema Representante del Ceneval Resuelve dudas del procedimiento Realiza los cambios necesarios a solicitud de los especialistas Imprime los informes de los reactivos validados

56 Proporciona sus datos para el sistema Firma los informes de reactivos
2. Funciones Proporciona sus datos para el sistema Lee y analiza de manera individual los reactivos Especialistas Analiza colectivamente los reactivos Dictamina los reactivos y/o sugiere mejoras Firma los informes de reactivos

57 Equipo de cómputo, software, impresora Manual del validador externo
3. Recursos Equipo de cómputo, software, impresora Perfil referencial (Objeto de medida) Recursos Estructura Reactivos Libros, diccionarios Manual del validador externo

58 Sesiones de validación

59 Sesiones de validación

60 Sesiones de validación

61 Lista de Verificación El reactivo Criterios Tipos de dictamen
Componentes de un reactivo Criterios Tipos de dictamen

62 Ejemplo de reactivo Base Opciones
Papelería y librería el Da Vinci, S.A. de C.V. localizada en Baja California, solicita sus servicios para calcular el impuesto al valor agregado trasladado del periodo, considerando las siguientes ventas: Conceptos Cantidad Prontuarios fiscales $10,000.00 Calculadoras de escritorio $20,000.00 A) $ 10,000 B) $ 20,000 C) $ 30,000 D) $ 45,000 Base Opciones

63 Característica Sí No Generales Corresponde al contenido definido en el perfil (área, subárea y/o tema)  El contenido evaluado es relevante en el área de estudio/desempeño Carece de estereotipos de género o culturales Es congruente con la población objetivo Pertenece al nivel cognoscitivo especificado 1. 2. 3.

64 Característica Sí No De la base del reactivo Plantea sólo un problema  Especifica claramente la tarea que se debe realizar Plantea sólo la información necesaria Está libre de pistas sobre la respuesta correcta La redacción es correcta y está libre de errores ortográficos Está libre de errores de diseño (tablas, gráficos, alineación, etc.)

65 Característica Sí No De las opciones de respuesta Existe sólo una respuesta correcta   Los distractores son plausibles   Están libres de pistas sobre la respuesta correcta   La redacción es correcta y está libre de errores ortográficos   Está libre de errores de diseño (tablas, gráficos, alineación, etc.)  

66 Dictamen SIN DICTAMEN ACEPTADO MODIFICADO Y ACEPTADO
VERIFICACIÓN ESTADÍSTICA ACEPTADO-REQUIERE DISEÑO ÚTIL PARA OTRO EXAMEN DESCARTADO

67 Reclasificar (NO DICTAMINAR)
Si el reactivo no está clasificado en el área / subárea / tema que le corresponde. SIN DICTAMEN Si los jueces no llegan a un consenso sobre las modificaciones necesarias.

68 ACEPTADO Si el reactivo cumple con todos los criterios señalados. MODIFICADO Y ACEPTADO Si se determina que con algún cambio el reactivo cubre los criterios de calidad especificados.

69 VERIFICACIÓN ESTADÍSTICA
Si los expertos consideran que hay que esperar los resultados estadísticos del piloteo del reactivo. ACEPTADO-REQUIERE DISEÑO Si el reactivo es aceptado pero requiere ajustes en su diseño (dibujos, gráficos, mapas, esquemas, etcétera) y se necesita más tiempo para realizar los cambios. 57

70 ÚTIL PARA OTRO EXAMEN Si el reactivo es adecuado para el nivel educativo de otro examen. DESCARTADO Si los expertos tienen observaciones en el cumplimiento de los tres primeros aspectos señalados en la lista de verificación.

71 Taxonomía

72

73 Práctica guiada

74

75

76

77 Evidencias

78 Sesión de preguntas y respuestas

79 RESULTADOS DE LOS PROCESOS DE
VALIDACIÓN EN LOS EGEL

80

81

82

83 Redactores en el país Redactores Validadores

84 Total 959

85

86 Síntesis Los reactivos son materia prima para un examen, por ellos se debe contar con un procedimiento para diseñarlos y redactarlos, por lo tanto la forma de integrar el banco de reactivos. La normativa se debe transmitir a los redactores de reactivos para cumplir los requerimientos de la prueba con calidad y eficiencia. Los reactivos deben ser revisados por un cuerpo de especialistas diferente de los diseñadores.

87 Síntesis Calibrar los reactivos a partir de las aplicaciones piloto como una actividad cotidiana. Se debe garantizar que los reactivos contengan los parámetros que permiten identificar las cualidades de los reactivos empleados en la prueba y disponer de políticas de uso y control, donde se cuide: La clasificación y la vigencia del reactivo respecto a las especificaciones de la prueba.

88 “UN REACTIVO ES UN PRODUCTO COLECTIVO”
Reflexión Un banco de reactivos, más allá de que funcione como un almacén debidamente clasificado, es un sistema de gestión de los reactivos, que permite generar pruebas en forma eficaz. “UN REACTIVO ES UN PRODUCTO COLECTIVO”

89 ¡GRACIAS!