Patricia Frola y Jesús Velásquez

Presentación del tema: "Patricia Frola y Jesús Velásquez"— Transcripción de la presentación:

1 Patricia Frola y Jesús Velásquez
Centro de Investigación Educativa y Profesionalización Institucional Elaboración de reactivos para pruebas objetivas Patricia Frola y Jesús Velásquez CIECI Elaboración de reactivos

2 CIECI Elaboración de reactivos
El examen “sorpresa” Piensa en un seudónimo para tí y Responde las preguntas del examen diagnóstico (anexo 1) que se encuentra en la página 69 de tu manual. Cuentas con 15 minutos. CIECI Elaboración de reactivos

3 CIECI Elaboración de reactivos

4 CIEPI Elaboración de reactivos
Tema I. El proceso evaluativo. Evaluación Evaluación del aprendizaje Medición Calificación 1.1. Proceso evaluativo Representación del proceso y sus fases Tipos de evaluación Funciones de la evaluación Vinculación evaluación / objetivos curriculares Tema II. Tipos de instrumentos de medición Pruebas de respuesta estructurada Características y ejemplos Ventajas y desventajas de su uso Atributos de los instrumentos de evaluación Validez Confiabilidad Objetividad Estándares de calidad Utilidad, exactitud, equidad, factibilidad Tema III. Metodología para la elaboración de reactivos Reactivo de opción múltiple Características Tipos y formatos El sustento metodológico de los reactivos de opción múltiple Propósito de la prueba y correspondencia curricular Perfil de referencia Nivel cognoscitivo (taxonomía) Tabla de especificaciones Lineamientos para la elaboración Tema IV. Elaboración y validación de reactivos Prácticas de elaboración Prácticas de validación colegiada CIEPI Elaboración de reactivos

5 Objetivo General del taller
Proporcionar información que permita a los participantes enriquecer y reorientar sus prácticas evaluativas relacionadas con la elaboración de reactivos para pruebas objetivas, a partir de elementos conceptuales, metodológicos y lineamientos estandarizados.

6 Elaboración de reactivos para pruebas objetivas
II. Tipos de instrumentos de medición III. Metodología para la elaboración de reactivos IV. Elaboración y validación de reactivos - De respuesta estructurada - De respuesta no estructurada - Validez, confiabilidad y objetividad - Estándares de calidad - Medición - Calificación - Evaluación del aprendizaje de las competen cias I. El Proceso evaluativo Conceptos y fundamentación - El proceso y sus fases - Tipos - Funciones - Vinculación curricula/planeación/ evaluación - Reactivo de opción múltiple - Tipos y formatos -Propósito de la prueba -Perfil referencial - Nivel Cognoscitivo - Tabla de especificaciones -Lineamientos -Validación - Estudio psicométrico * Producción de reactivos - retroalimentación colegiada -validación a priori

7 Tema I. El proceso evaluativo, conceptos y fundamentación
¿Qué es evaluación? El proceso psicológico superior, inherente al ser humano, se relaciona con la capacidad de juicio que toda persona desarrolla a lo largo de su vida y le permite sobrevivir y resolver necesidades. CIEPI Elaboración de reactivos

8 Evaluación . Proceso Decisiones 3. Tomar 2. Formular Información
Fig. 2 El proceso genérico de evaluación [1] Evaluación . Proceso 1. Obtener 3. Tomar 2. Formular Decisiones Información Juicios [1] Stufflebeam, D.L. y Shinkfield, A.J. (1993). Evaluación Sistemática. Guía teórica y práctica. Paídos-Madrid. MEC

9 Evaluación educativa Proceso para obtener información sobre
cualquier componente del sistema educativo, emitir juicios de valor referidos a ciertos criterios y llegar a una toma de decisiones que lleven a la mejora . Funcional, sistemática, continua, integral, orientadora y cooperativa. Componentes: la planta física, el proceso administrativo, la gestión directiva, el proceso de titulación, rendimiento escolar estatal, municipal o nacional .

10 Evaluación del aprendizaje (en canevá)
Proceso ______, ________, ________, _________, Que recaba_______ para emitir______, con base en el logro de los _____________ curriculares, que permita la __________ de ____________ educativas tales como: _____________ Acreditación Programas remediales

11 Medición Medir es recabar información y ordenarla a partir de sus características cuantitativas o numéricas, es asignar un numeral a partir de su comparación con una unidad o escala previamente definida o convenida. [1] [1] Santibáñez, R. J. (2001) Manual para la evaluación del aprendizaje estudiantil. Trillas. México

12 Calificación Es el procedimiento para establecer una correspondencia entre la escala numérica y rangos o categorías cualitativas, por ejm. Muy bien = 100 y 90; Bien =70 y 80; Regular = 60; No aprobado= 50

13 Estudio de la versión utilizada USO DE LA INFORMACIÓN RESULTANTE
1 2 3 4 Diseño del INSTRUMENTO PREPARACIÓN PLANEACION APLICACION Calibración de los reactivos estudio psicométrico Estudio de la versión utilizada 6 5 7 PUNTUACIÓN USO DE LA INFORMACIÓN RESULTANTE RESULTADOS Fases del proceso evaluativo

14 Instrumentos de evaluación se pueden clasificar
Por su función Diagnóstica Formativa Sumativa Inicial Intermedia Final Por la interpretación de sus resultados Por su temporalidad Con referencia a la norma Con referencia al criterio

15 Vinculación contenidos-planeación-evaluación
Asegurar que existe concordancia metodológica entre la currícula, la planeación, lo que se realiza en clase, los materiales, y el instrumento de evaluación.

16 Tema II. Los instrumentos de evaluación
Son herramientas que se diseñan para medir o valorar atributos identificados en un contexto determinado. Un cuestionario, una encuesta, una prueba, una escala , un inventario, lista de verificación. Atributos Validez Confiabilidad Objetividad Estándares de calidad Utilidad Equidad Factibilidad Exactitud Reactivos como ejemplos y contraejemplos de los principios

17 Los atributos de un instrumento
Que mida lo que pretende, para lo que fue diseñado Que al replicar el instrumento se encuentren resultados estables Que esté libre de sesgos emotivos del evaluador Validez Confiabilidad Objetividad Definir en cada equipo V-C-O Analicemos la actividad el examen Dx con base en estos principios

18 Los estándares de calidad
Debe Servir para una mejora continua Ser viable, ejecutable Ofrecer condiciones equitativas para el acceso al instrumento a todos los evaluados Ofrecer resultados lo más exactos y precisos posible, al seguir una metodología adecuada Utilidad Factibilidad Equidad Exactitud

19 Qué es una Prueba Objetiva
Instrumento de evaluación cerrado conformado por: Reactivos de opción múltiple cuya respuesta correcta es única Con distractores que deben ser plausibles pero incorrectos Permite hacer comparaciones entre grupos y son susceptibles de tratamiento estadístico Exploran una muestra representativa del aprendizaje logrado por el estudiante Pueden aplicarse a gran escala Cumplen con reglas de diseño y calificación estandarizadas Se realizan con base en los estándares de calidad Proporcionan información relevante sobre el nivel de aprendizaje conceptual del programa; Sus resultados deben apoyar la toma de decisiones educativas

20 Pruebas objetivas Ventajas Desventajas

21 Tema III. Metodología para la elaboración de reactivos
El paso a paso para elaborar reactivos de opción múltiple

22 Para elaborar reactivos debes saber:
El reactivo de opción múltiple Tipos Formatos Lineamientos para su elaboración El sustento de los reactivos Taxonomía cognoscitiva Correspondencia curricular Perfil de referencia (PR) Tabla de especificaciones Validación del reactivo Por pares, academia o colegiado Estudio piloto Estudio cuantitativo a posteriori

23 ¿Cómo se construye una prueba objetiva?

24 El examen de ladrillos I Actividad didáctica
Fila A Escribe Qué es un ladrillo _______________________ Fila B ¿Cuál es la función de un ladrillo?_________________ Fila C Describe brevemente la etapas de fabricación de un ladrillo ______________________________________ Fila D Explica brevemente el proceso de comercialización del ladrillo en México desde un enfoque economía dependiente ______________________________________________ CIEPI Elaboración de reactivos

25 El reactivo de opción múltiple ( ROM)
¿Qué es? Es un planteamiento que puede presentarse en forma de pregunta o de afirmación, a la cual el examinado debe elegir de entre 4 o 5 opciones, únicamente la correcta, sin oportunidad de escribir o expresar más allá. .

26 Componentes de un reactivo
Elige la opción que completa correctamente la siguiente afirmación: la instrucción la base las opciones La evaluación como proceso psicológico superior es: Común a los seres vivos Inherente al ser humano Inherente a procesos biológicos inherente a la conciencia social

27 Tipos y formatos del reactivo de opción múltiple
Reactivo simple Multireactivo Formatos Respuesta directa y canevá Ordenamiento Relación de columnas Opción alterna F-V Selección de elementos

28 Tipos El reactivo simple El multirreactivo

29 CIEPI Elaboración de reactivos
Instrucción Elije la opción que completa correctamente la afirmación. Base La vitamina C se agrega a la dieta para prevenir: Opciones A.       El beriberi B.       El cretinismo C.         El escorbuto D.      La esterilidad Opción correcta C Fomato Respuesta directa Nivel taxonómico Conocimiento Justificación y fuente La Vitamina C previene el escorbuto Fuente: Libro de Texto Ciencias Naturales 5o. grado p. 45 Identificadores del reactivo Examen de Ciencias Naturales, 5o. grado 3er. Bloque. Tema: Nutrición y salud. Subtema: las vitaminas y el organismo. consecutivo: 76 CIEPI Elaboración de reactivos

30 CIEPI Elaboración de reactivos
El multirreactivo La base o planteamiento . CIEPI Elaboración de reactivos

31 Reactivo dependiente 1 El nombre de la gráfica anterior es: Histograma
Polígono Dispersión Circunferencia

32 Reactivo dependiente 2 ¿Cuál es la media de ingreso entre los años 1992 y 2000? 250 200 150 300

33 Reactivo dependiente 3 3. De acuerdo con los datos de la gráfica, ¿qué afirmación es correcta? 300 El ingreso de alumnos en los tres últimos años aumentó en forma directamente proporcional Cada dos años aumenta el número de alumnos que admite la escuela Cada dos años disminuye el número de alumnos que admite la escuela Las variaciones en el número de alumnos que ingresa no son directamente proporcionales

34 Formatos Cuestionamiento directo o canevá
Ordenamiento y jerarquización Relación de columnas Selección de elementos Opción alterna falso-verdadero

35 Respuesta directa y canevá
Elije la frase que completa correctamente la siguiente afirmación: Si un coche circula por un camino recto a velocidad constante, la fuerza es __________________. cero o continuamente cero una suma que no es cero pero es constante Cero, una constante, después mayor a cero y luego otra vez cero Continuamente variable

36 Canevá Elija las palabras que completen correctamente el siguiente enunciado. 1. Claire is _____pretty ______Polly as -- as the same -- as same -- as as -- same

37 Jerarquización u ordenamiento
Elige la combinación que representa correctamente la secuencia cronológica de hechos históricos 2. La secuencia en la que suceden cronológicamente los acontecimientos de la vida política de Benito Juárez es 1 Derrocó a Santa Ana 2 Se convirtió en gobernador de Oaxaca. 3 Fue desterrado a Cuba y Nueva Orleáns. 4 Contribuyó a la caída de Maximiliano. 2,3,1,4 1,2,4,3 3,4,2,1 4,1,3,2

38 CIEPI Elaboración de reactivos
Jerarquización Instrucciones: Elija la opción que combine correctamente los siguientes elementos de la lista. Ordene, los niveles de aprendizaje propuestos por B. Bloom en el dominio cognoscitivo, empezando por el más elemental.  Comprensión Evaluación Aplicación         Análisis Conocimiento Síntesis Opciones: CIEPI Elaboración de reactivos

39 Relación de columnas Autores Obras
I. Señala la opción que represente correctamente la relación entre cada autor con su obra Autores Shakespeare Chaucer Orwell Hardy Huxley Obras A.       1984 B.       Jude, the obscure C.       Crome Yellow D.       Hamlet E.       The Canterbury Tales Opciones 1- D, 2-A, 3- B, 4-C, 5-E 1- B, 2-A, 3- D, 4-C, 5-E 1- E, 2-A, 3- B, 4-C, 5-D 1- E, 2-A, 3- D, 4-C, 5-B

40 I. Señala la opción que represente correctamente la relación entre cada exponente con su teoría.
Exponentes 1. Smirnov 2. Watson 3. Adler 4. Wundt 5. Thorndike Aportaciones A. Precursor del conductismo B. Perteneciente a la escuela psicoanalítica. C. Exponente de la corriente reflexológica. D. Especialista en psicología del aprendizaje. E. Creador del primer laboratorio de psicología. F. Creador de la escala de autorrealización Opciones a). 1-C, 2-A, 4-E, 5-D, 3-B b). 1-C, 2-A, 4-E, 3- F, 5-B c)., 4-D, 3-E, 5-B, 1-A, 2-C d). 4-D, 3-F, 5-B, 1-C, 2-A

41 Opción alterna falso - verdadero
La Odisea es una epopeya F ( ) V ( ) La toma de la Bastilla tuvo lugar en F ( ) V ( ) Pasteur descubrió la penicilina

42 Selección de elementos
I. Elige la combinación correcta de elementos del listado que complete la afirmación Los estándares de calidad son : Utilidad Exactitud Confiabilidad Dificultad Equidad Factibilidad Objetividad Opciones 3,4,6 y 7 1,2,3 y 5 1,2,5 y 6 1,3, 6 y 7 CIEPI Elaboración de reactivos

43 El acta de nacimiento de un reactivo
Instrucción Elige la combinación correcta de elementos del listado que complete la afirmación Base Los estándares de calidad son : 1. Utilidad 2. Exactitud 3. Confiabilidad 4. Dificultad 5. Equidad 6. Factibilidad Objetividad Opciones A) 3,4,6 y 7 B) 1,2,3 y 5 C) 1,2, 5 y 6 D) 1,3, 6 y 7 Opción correcta C Nivel Taxonómico Conocimiento Formato Selección de elementos Justificación y referencia C es la combinación correcta los estándares los otros elementos son atributos de los instrumentos de evaluación, y la dificultad es un parámetro de los reactivos. Joint Comitee for Educational Evaluation (2003) Normas de evaluación para programas proyectos y materiales. Trillas. Mexico. Identificadores Examen de Evaluación Educativa. Diplomado en Evaluación. Área: Evaluación del Aprendizaje Subárea : Instrumentos de evaluación objetiva Tema: estándares de calidad. consecutivo: 27 CIEPI Elaboración de reactivos

44 Lineamientos para elaborar reactivos
Del contenido De la base De las opciones

45 El sustento metodológico del examen
Diseño El propósito del examen (preguntas) Definir el perfil de referencia PR Contenidos del bloque curricular (objeto de medida) Contenidos representativos, sustanciales, básicos, suficientes Definición operacional de sus elementos Asignar niveles taxonómicos Definir manifestaciones operacionales de los conocimientos Validar el PR (ver formato) Estructura del examen Extensión, formas de calificación, organización lógica de componentes temáticos Plan de verificación de los reactivos Por el colegiado, verificación a priori Estudio cuantitativo

46 Taxonomía de los objetivos educacionales
(Benjamín S.Bloom, J. Thomas Hasting and George F. Madaus) Afectivo Cognitivo Psicomotriz Examen objetivo

47 taxonomía cognoscitiva
Conocimiento Comprensión Aplicación Análisis Síntesis Evaluación simple complejo implicación Tomado de manual del participante.taller de reactivos CENEVAL 2007.

48 Conocimiento Ejemplos
Supone la evocación o recuerdo de información concreta Conocimientos generales El enunciar o listar métodos, procesos, estructuras y modelos recuerdo y la memoria. Ejemplos Identificación de fechas históricas Definición de conceptos Términos de diferentes disciplinas Convenciones Clasificaciones Enunciar o enlistar los diferentes pasos de un proceso

49 Reactivos tipo ¿Qué enunciado define el término de...?
Observa la siguiente imagen e identifica... ¿En qué año se descubrió...? ¿Cuál es la fórmula de...? ¿Cuáles son las características de...? ¿Qué enunciado expresa el principio de...? ¿Cuál es el objeto de estudio de…? ¿Cuál es el principio de…? ¿Cómo se define el concepto de…? ¿Cuál es la clasificación de…?

50 CIEPI Elaboración de reactivos
Comprensión Ejemplos Ejemplificación las relaciones que guardan entre sí los elementos . Comprensión de las relaciones de jerarquía de los elementos de un grupo Comprensión de un caso específico con procedimientos generales. Comprensión de casos diferentes con procedimientos particulares. Explicar los elementos de una imagen El significado de palabras en otro idioma Nivel primario del entendimiento, El individuo descifra, traduce, decodifica puede utilizar el material para devolver una respuesta sin conocer sus implicaciones totales. CIEPI Elaboración de reactivos

51 Reactivos tipo ¿Qué significa la palabra...?
¿Por qué se debe implementar el orden de pasos del procedimiento...? ¿Cuándo se debe utilizar la fórmula...? ¿Por qué los metales se encuentran en la clasificación de.....? ¿Cuál fue la trascendencia de…? ¿Qué relevancia tiene…? ¿Qué entiendes por…? ¿Qué fenómenos puede propiciar la…?

52 Aplicación el estudiante debe hacer abstracciones de situaciones particulares, concretas, en forma de Ideas generales reglas, procedimientos, métodos generalizados, principios y teorías, que deben ser aplicadas Ejemplos A partir de descripción de casos o planteamientos: La aplicación de diferentes procedimientos en la realización de algo El reconocimiento de excepciones en la aplicación de un procedimiento

53 Análisis Descomponer un evento o fenómeno en sus elementos a fin de determinar el orden, la jerarquía y las relaciones entre ellas Es un proceso superior pues implica la combinación de atención, la retención, la observación y la comprensión entre otras. Ejemplos Clasificar los elementos incluidos en un caso, o problema Determinar las relaciones que presentan los elementos involucrados en la aparición de fenómenos o hechos Organizar los principios que orientan el análisis de los problemas, casos o situaciones

54 Síntesis Proceso cognitivo superior producto de la combinación de procesos y habilidades básicas para lograr juntar las partes o elementos para constituir un todo. Implica el proceso de trabajar con piezas, Formar un todo a partir de las partes de un modelo o estructura no evidente hasta entonces. Ejemplos Producir un plan de acción en la solución de un problema Deducir un conjunto de relaciones abstractas

55 Evaluación Emisión de juicios de valor acerca del material para determinados propósitos Tales juicios pueden ser cualitativos o cuantitativos respecto del grado en que el material y los métodos mencionados satisfacen criterios Utilización de pautas de apreciación, los criterios para evaluar previamente determinados por los que diseñan la prueba Ejemplos Producir un plan de acción en la solución de un problema Deducir un conjunto de relaciones abstractas El dictamen de juicios en función de evidencia interna La toma de decisiones La solución de casos justificando el uso de uno u otro procedimiento

56 Insumos para elaborar reactivos
Perfil de referencia PR Tabla de especificaciones Niveles taxonómicos Componentes programáticos / curriculares Reactivos

57 Resultado de Aprendizaje TABLA DE ESPECIFICACIONES
Ejemplo: Unidad Temática No. Resultado de Aprendizaje 1 2 3 4 5 6 01 El sustentante será capaz de identificar, al menos un histograma de frecuencias, a partir de varios tipos de gráficos Estadística 02 El sustentante será capaz de identificar un polígono de frecuencias, a partir de varios tipos de gráficos Descriptiva 03 El sustentante será capaz de calcular las tres medidas de tendencia central (media, mediana y moda), a partir de una serie de datos 04 El sustentante será capaz de calcular la dispersión de una muestra de datos 05 El sustentante será capaz de de comprobar, al menos dos hipótesis con base en una muestra estimativa 9 El sustentante será capaz de distinguir, al menos dos fenómenos determinísticos, de otros que no lo son Fundamentos El sustentante será capaz de distinguir, al menos dos los fenómenos aleatorios, de otros que no lo sean de la Teoría El sustentante será capaz de distinguir una muestra aleatoria, de otras no probabilísticas de la Probabilidad El sustentante será capaz de resolver, al menos dos ejercicios con la técnica de conteo, para la enumeración de puntos muestrales El sustentante será capaz de distinguir cuáles son las aplicaciones para la probablidad clásica de otros tipos que no lo sean 06 El sustentante será capaz de distinguir, al menos cuatro aplicaciones para la probabilidad frecuentista, de otros tipos que no lo sean 7 18 03 Variable Aleatoria El sustentante será capaz de diferenciar, al menos dos variables aleatorias discretas, de otras que no lo sean El sustentante será capaz de diferenciar, al menos dos variables continuas discretas, de otras que no lo sean El sustentante será capaz de identificar, al menos dos conjuntos de variables aleatorias conjuntas, de un conjunto de otro tipo de variables 04 Modelos analíticos El sustentante será capaz de diferenciar, al menos tres funciones de probabilidad, entre otros tipos aleatorios El sustentante será capaz de diferenciar, al menos tres funciones de densidad, entre otros tipos discretos y continuos El sustentante será capaz de diferenciar, al menos tres funciones de distribución acumulativa, entre otros tipos El sustentante será capaz de resolver un problema con las funciones de distribución uniforme exponencial El sustentante será capaz de resolver un problema con las funciones de distribución uniforme normal estándar El sustentante será capaz de resolver un problema con las funciones de distribución binomial 07 El sustentante será capaz de resolver un problema con las funciones de distribución geométrica 08 El sustentante será capaz de resolver un problema con las funciones de distribución de Poisson 22 53 Nivel Taxonómico TABLA DE ESPECIFICACIONES Total de Resultados de Aprendizaje de la Tabla de Especificaciones CIEPI Elaboración de reactivos

58 Resultado de Aprendizaje TABLA DE ESPECIFICACIONES
Unidad Temática No. Resultado de Aprendizaje 1 2 3 4 5 6 01 02 03 04 05 9 06 7 18 07 08 22 Nivel Taxonómico TABLA DE ESPECIFICACIONES CIEPI Elaboración de reactivos

59 El proceso diseño-elaboración-validación del reactivo
Fuente: Manual del participante del taller de elaboración de reactivos del CENEVAL, A.C. 2007

60 Análisis cuantitativo
utilización de dos procedimientos que son complementarios: análisis estadístico convencional y otro basado en el modelo de la teoría de la respuesta al ítem.

61 Ventajas proporciona información sobre la calidad del reactivo y fundamenta objetivamente la inclusión o exclusión de un reactivo en un examen final. Si un reactivo no cumple con los estándares estadísticos establecidos deberá ser sometido a la revisión de su contenido y forma, probablemente éste posea un error de construcción.

62 Análisis teoría clásica
Índice de dificultad. Es la proporción de alumnos que contestaron correctamente el reactivo, puede tomar valores de 0 a 1 y nos indica que tan fácil o difícil resultó el reactivo en el piloteo. Su valor debe estar entre 0.20 a 0.80 Índice de discriminación. Es la diferencia entre la proporción de los examinados con un mayor número de aciertos (grupo alto 27% del total) y la de los examinados con menor rendimiento (grupo bajo 27% del total). Este dato indica la capacidad que tiene el reactivo para diferenciar de los alumnos que poseen el conocimiento de los que no. Puede asumir valores de 0 a 1, sin embargo un índice de discriminación considerado como adecuado es aquel que es mayor o igual a .20

63 Matemáticas 17. ¿En cuál de las siguientes expresiones se dice que toma un valor igual a infinito? A) csc 0° B) cot 90° C) sen 180° D) cos 270° E) tan 360°

64 Física 35. En el movimiento de un proyectil despreciando la fricción con el aire, el único cambio de velocidad se da después de A) 4 hrs B) 5 hrs C) 10 hrs D) 15 hrs E) 20 hrs

65 Biología . 76. Característica de la partenogénesis:
A) Es un tipo de reproducción asexual. B) Se produce por fertilización de un óvulo. C) Se desarrolla un óvulo sin fecundar. D) Se realiza por endogamia. E) Es activada por el espermatozoide.

66 Historia Universal 90. Los países integrantes del bloque socialista formaron un consejo de asistencia económica mutua, conocido como A) Plan Marshall. B) Pacto de Varsovia. C) COMECON D) OTAN. E) Mercomún.

67 Contacta a CIECI Escocia 29 1er. Piso dep. 109
Col. Parque San Andrés Coyoacán Tel y