Relevancia y posibilidades de la formación de cuadros expertos en las IES en la formulación y validación de reactivos Catalina Betancourt Correa Jefa del Departamento de Producción de Reactivos de la DGA de los EGEL Centro Nacional de Evaluación para la Educación Superior, A.C. (Ceneval) Dirección General Adjunta de los EGEL 6 al 7 Diciembre de 2007 Campeche, Campeche

Contenido Qué es un banco de reactivos Características de un banco de reactivos Talleres de Elaboración de Reactivos Talleres de Validaciones de Reactivos Especificaciones de reactivos Banco de Reactivos para Agentes Externos (BRAE) Conclusiones

¿Cómo se elabora un examen? Determinación del objeto de medida Estructura del examen Elaboración de especificaciones Versiones operativas de los exámenes Elaboración de reactivos Validación de reactivos Selección de reactivos Análisis psicométrico de reactivos Piloteo

¿Qué es un Banco de Reactivos? Es un conjunto de preguntas referidas a un determinado campo profesional o de conocimiento. Almacenadas y clasificadas en función de su contenido y las propiedades métricas. Especialmente la dificultad de cada reactivo y su capacidad de discriminar entre los sujetos de alto y bajo rendimiento.

¿Cómo se determina la calidad de un reactivo? Dificultad Discriminación Redacción Validez Sesgo Opciones de respuesta Criterios técnicos de construcción

Tabla de especificaciones de un examen Clasificación Tabla de especificaciones de un examen Una tabla de especificaciones es la descripción detallada de lo que se pretende evaluar (contenido), la definición de los procesos cognoscitivos implicados y la determinación de la importancia relativa del contenido. La tabla de especificaciones es la etapa crucial para la planeación de una prueba. Es una herramienta que dirigirá el diseño de los reactivos.

Niveles de calidad de los bancos de reactivos Básico Una colección relativamente grande de elementos de medida fácilmente asequibles, se ajustaría a este nivel. Validación Formal Un grupo de expertos hace una revisión y validación, de contenido, por cada uno de los reactivos que conforman el banco de reactivos, con evidencias que garanticen la idoneidad del reactivo. Reactivos calibrados Banco de reactivos que se analizan las características psicométricas del reactivos ya sea por Teoría Clásica (TC) o por Teoría de Respuesta al Ítem (TRI) de cada reactivo, tales como índice de dificultad, índice de discriminación, distribución de las respuestas, etc. Una colección de reactivos de medida organizados y catalogados para tomar en cuenta tanto su contenido como las características métricas.

Estándar de calidad de un banco de reactivos La calidad de los instrumentos depende de la cantidad de reactivos adecuados disponibles. Contar con tres veces la longitud de la tabla de especificaciones, suficientemente representados por cada contenido y con los estándares psicométricos que marca el Ceneval.

Beneficio de contar con un banco de reactivos de calidad Eficiencia El ensamble del instrumento requiere menor esfuerzo y se puede automatizar el ensamble. El experto necesita menos esfuerzo y tiempo para construir un instrumento de evaluación. Adaptación Se puede construir una prueba específica para un determinado tipo de sustentantes, adaptándola a sus circunstancias. Seguridad El que algunos sustentantes pretendan aprenderse todas las posibles respuestas no les sale a cuenta, y en cualquier caso asegura una adecuada medida de todo el contenido del examen.

Ventajas de la participación de las instituciones en los procesos del Ceneval de elaboración de reactivos Recursos humanos calificados para elaborar exámenes objetivos. Fomento de la generación de exámenes departamentales y de asignatura de mayor calidad técnica. Incorporar el punto de vista de la institución en el nivel de mayor especificidad del examen. Los docentes forman parte de una red de expertos del Ceneval.

Dificultades para contar con un banco de calidad El costo elevado que resulta de la fase de construcción del Banco. Se requiere invertir un número elevado de horas de trabajo de personal especializado. Se requiere captar un número elevado de expertos que colaboren en la elaboración y validación de los reactivos, lo cual implica un esfuerzo importante de coordinación. Se necesita una plataforma informática que brinde seguridad en el manejo de los reactivos y las versiones de exámenes.

Capacitación permanente El personal técnico del Ceneval que apoya a los cuerpos colegiados requiere de capacitación constante, aún cuando las pruebas ya se hayan estabilizado con numerosas aplicaciones. Los expertos que participan en los cuerpos colegiados deben ser capacitados para seguir los lineamientos establecidos por el Centro para la elaboración y validación de reactivos. Se requiere actualizar constantemente los talleres y materiales.

CRONOGRAMA

El Departamento de Producción de Reactivos

Departamento de producción de reactivos objetivos Vigilar que se cumplan los referentes teóricos metodológicos. Identificar las mejores prácticas y garantizar su ejecución en las actividades involucradas en los procesos de elaboración. Coordinar la validación de los reactivos para los exámenes adscritos a la Dirección General Adjunta.

Taller de Elaboración de Reactivos

Talleres de elaboración de reactivos impartidos en 2007 33 Talleres de elaboración de reactivos 697 Asistentes 9,650 Reactivos obtenidos 33 Instituciones sede, con centenares de instituciones participantes

Objetivos del taller Conocer y aplicar las bases metodológicas y técnicas que sigue el Ceneval para la construcción de reactivos de opción múltiple (simples y multirreactivos). Elaborar y capturar en el Banco de Reactivos para Agentes Externos (BRAE) reactivos para un examen en específico, para contar con bancos de reactivos robustos.

Taller de Elaboración de Reactivos SESIÓN HORARIO TEMAS Primera 9:00 a 13:00 Presentación y encuadre Marco Institucional ¿Qué es el Ceneval? Conceptos básicos Pruebas objetivas Segunda 15:00 a 19:00 Reactivos de opción múltiple Reactivo simple Multirreactivo Tercera Taxonomía Banco de Reactivos de Asesores Externos (BRAE) Cuarta BRAE Validación Cierre

Proceso del Taller de elaboración de reactivos Organización previa Funciones del redactor Funciones del instructor Recursos

1. Organización previa Ceneval / Institución Solicitud Requisitos para llevar a cabo un taller Acuerdo con la institución (fecha, horario, participantes)

2. Funciones de la Institución Convocar a 20 docentes a participar en el taller Contar con un aula adecuada para la primera parte del taller (lap top y cañón) Institución Contar con un laboratorio de cómputo para la captura de reactivos Reproducir los manuales del participante Coordinar a los docentes a cumplir con los compromisos adquiridos

Asistir a todas las sesiones del taller 2. Funciones Redactor Asistir a todas las sesiones del taller Participar en las actividades de demande el taller Especialistas/ Redactores Firmar su clave y contraseña de acceso al sistema de captura de reactivos Elaborar los reactivos, en las fechas establecidas Hacer las modificaciones a los reactivos que se le sugieran

2. Funciones Instructor Instructor del taller Ceneval Impartir el taller Resolver las dudas y sugerencias de los participantes Instructor del taller Ceneval Entregar a cada participante su clave y contraseña de acceso al sistema de captura de reactivos Revisar técnicamente los reactivos y hacer las sugerencias pertinentes al redactor Elaborar su constancia de elaboración de reactivos

Tabla de especificaciones Manual del elaboración de reactivos 3. Recursos Equipo de cómputo Acceso a Internet Presentación Recursos Clave BRAE Tabla de especificaciones Libros, diccionarios Manual del elaboración de reactivos

Sesiones de Taller de elaboración de reactivos

Sesiones de Taller de elaboración de reactivos

Sesiones de Taller de elaboración de reactivos

Taller de elaboración de reactivos

Reactivos de opción múltiple: Lineamientos generales

Formatos y tipos de reactivos de opción múltiple Simple Multirreactivo Cuestionamiento directo Completamiento (Canevá) Jerarquización Elección de elementos Relación de columnas Casos Problemas Contexto Simuladores

Reactivo El empleo de los fertilizantes sintéticos produce un efecto quelante en la planta bloqueando la utilización de: A) oligoelementos B) superfosfatos C) nitritos D) prótidos BASE OPCIONES

JUSTIFICACIÓN DE LA OPCIÓN CORRECTA Y DE LOS DISTRACTORES Es necesario que el autor especifique las razones por las qué esa respuesta es la correcta, y el porqué de los distractores, incluyendo los errores más frecuentes que comete el sustentante.

Formatos y tipos de reactivos de opción múltiple Simple Multirreactivo Cuestionamiento directo Completamiento (Canevá) Jerarquización Elección de elementos Relación de columnas Casos Problemas Contexto Simuladores

Estructura del Multirreactivo Planteamiento Reactivo 1 2 3 4 5

Taxonomía

Especificaciones de Reactivos

Especificaciones (INEE, 2005). Las especificaciones de reactivos son el conjunto de características que definen a un tipo o clase de reactivo, son “retratos hablados” de las conocimientos, habilidades o competencias que se desean evaluar en los sujetos. (INEE, 2005). Las especificaciones de los reactivos son una descripción detallada de los contenidos que exploran los [reactivos] que conforman la prueba. Constituyen un referente muy importante para la elaboración de los instrumentos de medición, en virtud de que definen lo que los sustentantes deben de realizar en el momento de contestar un reactivo. (Ceneval, 2006)

Especificaciones Concisas Es un enunciado, brevemente, en términos conductuales. Lo que el sustentante debe realizar. El contexto en que se presenta la acción. Se le puede considerar como una definición operacional que detalla los resultados de aprendizaje. Los elementos que la componen son: 1. Contenido al que pertenece la especificación 2. Descripción del componente a medir 3. Nivel de complejidad

Especificaciones Integrales Compuesta por elementos que delimitan. Detallan la información para un reactivo explore un contenido particular. Se pueden elaborar reactivos en paralelo. Los elementos que la componen son: 1. Contenido al que pertenece la especificación 2. Descripción del componente a medir 3. Nivel de complejidad 4. Formato de reactivo sugerido 5. Plantilla del reactivo 6. Reactivo ejemplo 7. Bibliografía

Banco de Reactivos de Acceso Externo (BRAE)

Banco de Reactivos de Acceso Externo (BRAE) http://brae.ceneval.edu.mx Requerimientos: Enlace Internet por persona B90 (40k´s) Navegadores actualizados: netscape o explorer No utilizar plataforma Mac o el navegador Safari

Banco de Reactivos de Agentes Externos (BRAE) Escribir en los espacios, el usuario y contraseña que le proporcionó el instructor de Ceneval

Validación de Reactivos

Validaciones de reactivos Impartidas en 2007 20 Validaciones 274 Asistentes 7,650 Reactivos validados

Taller de validación de reactivos Validación de reactivos por área SESIÓN HORARIO TEMAS Primera Día 9:00 a 10:30 Bienvenida Proceso de construcción del examen Elementos conceptuales de validez Proceso de validación Taxonomía de Bloom Lista de validación de reactivos Práctica guiada 10:30 a 14:00 Validación de reactivos por área 14:00 a 15:30 Comida 15:30 a 18:30

Taller de validación de reactivos Validación de reactivos por área SESIÓN HORARIO TEMAS Segundo Día 9:00 a 10:30 Validación de reactivos por área 14:00 a 15:30 Comida 15:30 a 18:30

Proceso de construcción del examen

¿Cómo se elabora un examen? Determinación del objeto de medida Estructura del examen Elaboración de especificaciones Versiones operativas de los exámenes Elaboración de reactivos Validación de reactivos Selección de reactivos Análisis psicométrico de reactivos Piloteo

Validación por especialistas Elaboradores Validadores REACTIVOS

Proceso de validación externa de reactivos Organización Funciones Recursos

Formación de mesas de trabajo 1. Organización Formación de mesas de trabajo Tres a cinco especialistas Un representante del Ceneval, coordinador de mesa

2. Funciones Representante del Ceneval Da a conocer el número de reactivos a validar Registra a los jueces en el sistema Representante del Ceneval Resuelve dudas del procedimiento Realiza los cambios necesarios a solicitud de los especialistas Imprime los informes de los reactivos validados

Proporciona sus datos para el sistema Firma los informes de reactivos 2. Funciones Proporciona sus datos para el sistema Lee y analiza de manera individual los reactivos Especialistas Analiza colectivamente los reactivos Dictamina los reactivos y/o sugiere mejoras Firma los informes de reactivos

Equipo de cómputo, software, impresora Manual del validador externo 3. Recursos Equipo de cómputo, software, impresora Perfil referencial (Objeto de medida) Recursos Estructura Reactivos Libros, diccionarios Manual del validador externo

Sesiones de validación

Sesiones de validación

Sesiones de validación

Lista de Verificación El reactivo Criterios Tipos de dictamen Componentes de un reactivo Criterios Tipos de dictamen

Ejemplo de reactivo Base Opciones Papelería y librería el Da Vinci, S.A. de C.V. localizada en Baja California, solicita sus servicios para calcular el impuesto al valor agregado trasladado del periodo, considerando las siguientes ventas: Conceptos Cantidad Prontuarios fiscales $10,000.00 Calculadoras de escritorio $20,000.00 A) $ 10,000 B) $ 20,000 C) $ 30,000 D) $ 45,000 Base Opciones

Característica Sí No Generales   Corresponde al contenido definido en el perfil (área, subárea y/o tema)  El contenido evaluado es relevante en el área de estudio/desempeño Carece de estereotipos de género o culturales Es congruente con la población objetivo Pertenece al nivel cognoscitivo especificado 1. 2. 3.

Característica Sí No De la base del reactivo   Plantea sólo un problema  Especifica claramente la tarea que se debe realizar Plantea sólo la información necesaria Está libre de pistas sobre la respuesta correcta La redacción es correcta y está libre de errores ortográficos Está libre de errores de diseño (tablas, gráficos, alineación, etc.)

Característica Sí No De las opciones de respuesta     Existe sólo una respuesta correcta   Los distractores son plausibles   Están libres de pistas sobre la respuesta correcta   La redacción es correcta y está libre de errores ortográficos   Está libre de errores de diseño (tablas, gráficos, alineación, etc.)  

Dictamen SIN DICTAMEN ACEPTADO MODIFICADO Y ACEPTADO VERIFICACIÓN ESTADÍSTICA ACEPTADO-REQUIERE DISEÑO ÚTIL PARA OTRO EXAMEN DESCARTADO

Reclasificar (NO DICTAMINAR) Si el reactivo no está clasificado en el área / subárea / tema que le corresponde. SIN DICTAMEN Si los jueces no llegan a un consenso sobre las modificaciones necesarias.

ACEPTADO Si el reactivo cumple con todos los criterios señalados. MODIFICADO Y ACEPTADO Si se determina que con algún cambio el reactivo cubre los criterios de calidad especificados.

VERIFICACIÓN ESTADÍSTICA Si los expertos consideran que hay que esperar los resultados estadísticos del piloteo del reactivo. ACEPTADO-REQUIERE DISEÑO Si el reactivo es aceptado pero requiere ajustes en su diseño (dibujos, gráficos, mapas, esquemas, etcétera) y se necesita más tiempo para realizar los cambios. 57

ÚTIL PARA OTRO EXAMEN Si el reactivo es adecuado para el nivel educativo de otro examen. DESCARTADO Si los expertos tienen observaciones en el cumplimiento de los tres primeros aspectos señalados en la lista de verificación.

Taxonomía

Práctica guiada

Evidencias

Sesión de preguntas y respuestas

RESULTADOS DE LOS PROCESOS DE VALIDACIÓN EN LOS EGEL

Redactores en el país Redactores Validadores

Total 959

Síntesis Los reactivos son materia prima para un examen, por ellos se debe contar con un procedimiento para diseñarlos y redactarlos, por lo tanto la forma de integrar el banco de reactivos. La normativa se debe transmitir a los redactores de reactivos para cumplir los requerimientos de la prueba con calidad y eficiencia. Los reactivos deben ser revisados por un cuerpo de especialistas diferente de los diseñadores.

Síntesis Calibrar los reactivos a partir de las aplicaciones piloto como una actividad cotidiana. Se debe garantizar que los reactivos contengan los parámetros que permiten identificar las cualidades de los reactivos empleados en la prueba y disponer de políticas de uso y control, donde se cuide: La clasificación y la vigencia del reactivo respecto a las especificaciones de la prueba.

“UN REACTIVO ES UN PRODUCTO COLECTIVO” Reflexión Un banco de reactivos, más allá de que funcione como un almacén debidamente clasificado, es un sistema de gestión de los reactivos, que permite generar pruebas en forma eficaz. “UN REACTIVO ES UN PRODUCTO COLECTIVO”

¡GRACIAS!