La descarga está en progreso. Por favor, espere

La descarga está en progreso. Por favor, espere

CIECI Elaboración de reactivos 1 Patricia Frola Patricia Frola y Jesús Velásquez Centro de Investigación Educativa y Profesionalización Institucional Elaboración.

Presentaciones similares


Presentación del tema: "CIECI Elaboración de reactivos 1 Patricia Frola Patricia Frola y Jesús Velásquez Centro de Investigación Educativa y Profesionalización Institucional Elaboración."— Transcripción de la presentación:

1 CIECI Elaboración de reactivos 1 Patricia Frola Patricia Frola y Jesús Velásquez Centro de Investigación Educativa y Profesionalización Institucional Elaboración de reactivos para pruebas objetivas

2 CIECI Elaboración de reactivos 2 El examen sorpresa Piensa en un seudónimo para tí y Responde las preguntas del examen diagnóstico (anexo 1) que se encuentra en la página 69 de tu manual. Cuentas con 15 minutos.

3 CIECI Elaboración de reactivos 3 Elaboración de reactivos para pruebas objetivas 1. El proceso evaluativo 2. Los Instrumentos de medición 3. Metodología 4. Elaboración y validación de reactivos

4 CIEPI Elaboración de reactivos 4 Tema I. El proceso evaluativo. Evaluación Evaluación del aprendizaje Medición Calificación 1.1. Proceso evaluativo Representación del proceso y sus fases Tipos de evaluación Funciones de la evaluación Vinculación evaluación / objetivos curriculares Tema II. Tipos de instrumentos de medición Pruebas de respuesta estructurada Características y ejemplos Ventajas y desventajas de su uso 2.3 Atributos de los instrumentos de evaluación Validez Confiabilidad Objetividad 2.4 Estándares de calidad Utilidad, exactitud, equidad, factibilidad Tema III. Metodología para la elaboración de reactivos Reactivo de opción múltiple Características Tipos y formatos 3.2 El sustento metodológico de los reactivos de opción múltiple Propósito de la prueba y correspondencia curricular Perfil de referencia Nivel cognoscitivo (taxonomía) Tabla de especificaciones Lineamientos para la elaboración Tema IV. Elaboración y validación de reactivos Prácticas de elaboración Prácticas de validación colegiada

5 5 Objetivo General del taller Proporcionar información que permita a los participantes enriquecer y reorientar sus prácticas evaluativas relacionadas con la elaboración de reactivos para pruebas objetivas, a partir de elementos conceptuales, metodológicos y lineamientos estandarizados.

6 6 Elaboración de reactivos para pruebas objetivas II. Tipos de instrumentos de medición III. Metodología para la elaboración de reactivos IV. Elaboración y validación de reactivos - De respuesta estructurada - De respuesta no estructurada - Validez, confiabilidad y objetividad - Estándares de calidad - Medición - Calificación - Evaluación del aprendizaje de las competen -cias I. El Proceso evaluativo Conceptos y fundamentación - El proceso y sus fases - Tipos - Funciones - Vinculación curricula/planeació n/ evaluación - Reactivo de opción múltiple - Tipos y formatos -Propósito de la prueba -Perfil referencial - Nivel Cognoscitivo - Tabla de especificaciones -Lineamientos -Validación - Estudio psicométrico * Producción de reactivos - retroalimentación colegiada -validación a priori

7 CIEPI Elaboración de reactivos 7 Tema I. El proceso evaluativo, conceptos y fundamentación ¿Qué es evaluación? El proceso psicológico superior, inherente al ser humano, se relaciona con la capacidad de juicio que toda persona desarrolla a lo largo de su vida y le permite sobrevivir y resolver necesidades.

8 8 Evaluación. 2. Formular 1. Obtener 3. Tomar Información Juicios Decisiones Proceso Fig. 2 El proceso genérico de evaluación [1] [1] [1] Stufflebeam, D.L. y Shinkfield, A.J. (1993). Evaluación Sistemática. Guía teórica y práctica. Paídos-Madrid. MEC

9 9 Evaluación educativa Proceso para obtener información sobre cualquier componente del sistema educativo, emitir juicios de valor referidos a ciertos criterios y llegar a una toma de decisiones que lleven a la mejora. Funcional, sistemática, continua, integral, orientadora y cooperativa. Componentes: – la planta física, el proceso administrativo, – la gestión directiva, el proceso de titulación, – rendimiento escolar estatal, municipal o nacional.

10 10 Evaluación del aprendizaje (en canevá) Proceso ______, ________, ________, _________, Que recaba_______ para emitir______, con base en el logro de los _____________ curriculares, que permita la __________ de ____________ educativas tales como: _____________ Acreditación Programas remediales

11 11 Medición Medir es recabar información y ordenarla a partir de sus características cuantitativas o numéricas, es asignar un numeral a partir de su comparación con una unidad o escala previamente definida o convenida. [1][1] [1] Santibáñez, R. J. (2001) Manual para la evaluación del aprendizaje estudiantil. Trillas. México

12 12 Calificación Es el procedimiento para establecer una correspondencia entre la escala numérica y rangos o categorías cualitativas, por ejm. Muy bien = 100 y 90; Bien =70 y 80; Regular = 60; No aprobado= 50

13 13 USO DE LA INFORMACIÓN RESULTANTE Diseño del INSTRUMENTO PLANEACION APLICACION RESULTADOS Calibración de los reactivos Estudio de la versión utilizada PUNTUACIÓN PREPARACIÓN estudio psicométrico Fases del proceso evaluativo 1 3

14 14 Instrumentos de evaluación se pueden clasificar Por su función Diagnóstica Formativa Sumativa Inicial Intermedia Final Por la interpretación de sus resultados Por su temporalidad Con referencia a la norma Con referencia al criterio

15 15 Vinculación contenidos-planeación-evaluación Asegurar que existe concordancia metodológica entre la currícula, la planeación, lo que se realiza en clase, los materiales, y el instrumento de evaluación.

16 16 Tema II. Los instrumentos de evaluación Son herramientas que se diseñan para medir o valorar atributos identificados en un contexto determinado. – Un cuestionario, una encuesta, una prueba, una escala, un inventario, lista de verificación. Atributos – Validez – Confiabilidad – Objetividad Estándares de calidad – Utilidad – Equidad – Factibilidad – Exactitud – Reactivos como ejemplos y contraejemplos de los principios

17 17 Los atributos de un instrumento Validez Confiabilidad Objetividad Que mida lo que pretende, para lo que fue diseñado Que al replicar el instrumento se encuentren resultados estables Que esté libre de sesgos emotivos del evaluador Definir en cada equipo V-C-O Analicemos la actividad el examen Dx con base en estos principios

18 18 Los estándares de calidad Utilidad Factibilidad Equidad Exactitud Debe Servir para una mejora continua Ser viable, ejecutable Ofrecer condiciones equitativas para el acceso al instrumento a todos los evaluados Ofrecer resultados lo más exactos y precisos posible, al seguir una metodología adecuada

19 19 Qué es una Prueba Objetiva Instrumento de evaluación cerrado conformado por: Reactivos de opción múltiple cuya respuesta correcta es única Con distractores que deben ser plausibles pero incorrectos Permite hacer comparaciones entre grupos y son susceptibles de tratamiento estadístico Exploran una muestra representativa del aprendizaje logrado por el estudiante Pueden aplicarse a gran escala Cumplen con reglas de diseño y calificación estandarizadas Se realizan con base en los estándares de calidad Proporcionan i nformación relevante sobre el nivel de aprendizaje conceptual del programa; Sus resultados deben apoyar la toma de decisiones educativas

20 20 Pruebas objetivas Ventajas Desventajas

21 21 Tema III. Metodología para la elaboración de reactivos El paso a paso para elaborar reactivos de opción múltiple

22 22 Para elaborar reactivos debes saber: El reactivo de opción múltiple – Tipos – Formatos – Lineamientos para su elaboración El sustento de los reactivos – Taxonomía cognoscitiva – Correspondencia curricular Perfil de referencia (PR) Tabla de especificaciones Validación del reactivo – Por pares, academia o colegiado – Estudio piloto – Estudio cuantitativo a posteriori

23 23 ¿Cómo se construye una prueba objetiva? Etapas principales Diseño Propósito, población, Características técnicas, Perfil de referencial, Tabla de especificaciones Elaboración de reactivos taxonomía indicada Lineamientos tipos y formatos Validación Revisión Técnica Validación de expertos, Piloteo análisis psicométrico, Pasa a banco de reactivos

24 CIEPI Elaboración de reactivos 24 El examen de ladrillos I Actividad didáctica Fila A 1. Escribe Qué es un ladrillo _______________________ Fila B 1. ¿Cuál es la función de un ladrillo?_________________ Fila C 1. Describe brevemente la etapas de fabricación de un ladrillo ______________________________________ Fila D 1. Explica brevemente el proceso de comercialización del ladrillo en México desde un enfoque economía dependiente ______________________________________________

25 25 El reactivo de opción múltiple ( ROM) ¿Qué es? Es un planteamiento que puede presentarse en forma de pregunta o de afirmación, a la cual el examinado debe elegir de entre 4 o 5 opciones, únicamente la correcta, sin oportunidad de escribir o expresar más allá..

26 26 Componentes de un reactivo la instrucción la base las opciones Elige la opción que completa correctamente la siguiente afirmación: a.Común a los seres vivos b.Inherente al ser humano c.Inherente a procesos biológicos d.inherente a la conciencia social La evaluación como proceso psicológico superior es:

27 27 Tipos y formatos del reactivo de opción múltiple Tipos – Reactivo simple – Multireactivo Formatos – Respuesta directa y canevá – Ordenamiento – Relación de columnas – Opción alterna F-V – Selección de elementos

28 28 Tipos El reactivo simple El multirreactivo

29 CIEPI Elaboración de reactivos 29 Instrucción Elije la opción que completa correctamente la afirmación. BaseLa vitamina C se agrega a la dieta para prevenir: OpcionesA. El beriberi B. El cretinismo C. El escorbuto D. La esterilidad Opción correcta C FomatoRespuesta directa Nivel taxonómico Conocimiento Justificación y fuente La Vitamina C previene el escorbuto Fuente: Libro de Texto Ciencias Naturales 5o. grado p. 45 Identificadores del reactivo Examen de Ciencias Naturales, 5o. grado 3er. Bloque. Tema: Nutrición y salud. Subtema: las vitaminas y el organismo. consecutivo: 76

30 CIEPI Elaboración de reactivos 30 El multirreactivo. La base o planteamiento

31 31 Reactivo dependiente 1 1. El nombre de la gráfica anterior es: a) Histograma b) Polígono c) Dispersión d) Circunferencia

32 32 Reactivo dependiente 2 2. ¿Cuál es la media de ingreso entre los años 1992 y 2000? a) 250 b) 200 c) 150 d) 300

33 33 Reactivo dependiente 3 3. De acuerdo con los datos de la gráfica, ¿qué afirmación es correcta? 300 a) El ingreso de alumnos en los tres últimos años aumentó en forma directamente proporcional b) Cada dos años aumenta el número de alumnos que admite la escuela c) Cada dos años disminuye el número de alumnos que admite la escuela d) Las variaciones en el número de alumnos que ingresa no son directamente proporcionales

34 34 Formatos 1. Cuestionamiento directo o canevá 2. Ordenamiento y jerarquización 3. Relación de columnas 4. Selección de elementos 5. Opción alterna falso-verdadero

35 35 Respuesta directa y canevá Elije la frase que completa correctamente la siguiente afirmación: 1. Si un coche circula por un camino recto a velocidad constante, la fuerza es __________________. a) cero o continuamente cero b) una suma que no es cero pero es constante c) Cero, una constante, después mayor a cero y luego otra vez cero d) Continuamente variable

36 36 Canevá Elija las palabras que completen correctamente el siguiente enunciado. 1. Claire is _____pretty ______Polly a) as -- as b) the same -- as c) same -- as d) as -- same

37 37 Jerarquización u ordenamiento Elige la combinación que representa correctamente la secuencia cronológica de hechos históricos 2. La secuencia en la que suceden cronológicamente los acontecimientos de la vida política de Benito Juárez es 1 Derrocó a Santa Ana 2 Se convirtió en gobernador de Oaxaca. 3 Fue desterrado a Cuba y Nueva Orleáns. 4 Contribuyó a la caída de Maximiliano. a) 2,3,1,4 b) 1,2,4,3 c) 3,4,2,1 d) 4,1,3,2

38 CIEPI Elaboración de reactivos 38 Jerarquización Instrucciones: Elija la opción que combine correctamente los siguientes elementos de la lista. 1. Ordene, los niveles de aprendizaje propuestos por B. Bloom en el dominio cognoscitivo, empezando por el más elemental. 1. Comprensión 2. Evaluación 3. Aplicación 4. Análisis 5. Conocimiento 6. Síntesis Opciones: a) b) c) d)

39 39 Relación de columnas Autores 1. Shakespeare 2. Chaucer 3. Orwell 4. Hardy 5. Huxley Obras A B. Jude, the obscure C. Crome Yellow D. Hamlet E. The Canterbury Tales Opciones 1- D, 2-A, 3- B, 4-C, 5-E 1- B, 2-A, 3- D, 4-C, 5-E 1- E, 2-A, 3- B, 4-C, 5-D 1- E, 2-A, 3- D, 4-C, 5-B I. Señala la opción que represente correctamente la relación entre cada autor con su obra

40 40 I. Señala la opción que represente correctamente la relación entre cada exponente con su teoría. Exponentes 1. Smirnov 2. Watson 3. Adler 4. Wundt 5. Thorndike Aportaciones A. Precursor del conductismo B.Perteneciente a la escuela psicoanalítica. C. Exponente de la corriente reflexológica. D. Especialista en psicología del aprendizaje. E. Creador del primer laboratorio de psicología. F. Creador de la escala de autorrealización Opciones a). 1-C, 2-A, 4-E, 5-D, 3-B b). 1-C, 2-A, 4-E, 3- F, 5-B c)., 4-D, 3-E, 5-B, 1-A, 2-C d). 4-D, 3-F, 5-B, 1-C, 2-A

41 41 Opción alterna falso - verdadero La Odisea es una epopeya F ( )V ( ) La toma de la Bastilla tuvo lugar en 1790 F ( )V ( ) Pasteur descubrió la penicilina F ( )V ( )

42 CIEPI Elaboración de reactivos 42 Selección de elementos I. Elige la combinación correcta de elementos del listado que complete la afirmación Los estándares de calidad son : 1. Utilidad 2. Exactitud 3. Confiabilidad 4. Dificultad 5. Equidad 6. Factibilidad 7. Objetividad Opciones a) 3,4,6 y 7 b) 1,2,3 y 5 c) 1,2,5 y 6 d) 1,3, 6 y 7

43 CIEPI Elaboración de reactivos 43 Instrucción Elige la combinación correcta de elementos del listado que complete la afirmación Base Los estándares de calidad son : 1.Utilidad 2.Exactitud 3.Confiabilidad 4.Dificultad 5.Equidad 6.Factibilidad 7. Objetividad Opciones A) 3,4,6 y 7 B) 1,2,3 y 5 C) 1,2, 5 y 6 D) 1,3, 6 y 7 Opción correctaC Nivel Taxonómico Conocimiento Formato Selección de elementos Justificación y referencia C es la combinación correcta los estándares los otros elementos son atributos de los instrumentos de evaluación, y la dificultad es un parámetro de los reactivos. Joint Comitee for Educational Evaluation (2003) Normas de evaluación para programas proyectos y materiales. Trillas. Mexico. Identificadores Examen de Evaluación Educativa. Diplomado en Evaluación. Área: Evaluación del Aprendizaje Subárea : Instrumentos de evaluación objetiva Tema: estándares de calidad. consecutivo: 27 El acta de nacimiento de un reactivo

44 44 Lineamientos para elaborar reactivos Del contenido De la base De las opciones

45 45 El sustento metodológico del examen Diseño El propósito del examen (preguntas) Definir el perfil de referencia PR Contenidos del bloque curricular (objeto de medida) Contenidos representativos, sustanciales, básicos, suficientes Definición operacional de sus elementos Asignar niveles taxonómicos Definir manifestaciones operacionales de los conocimientos Validar el PR (ver formato) Estructura del examen Extensión, formas de calificación, organización lógica de componentes temáticos Plan de verificación de los reactivos Por el colegiado, verificación a priori Estudio cuantitativo

46 46 Taxonomía de los objetivos educacionales Cognitivo Afectivo Psicomotriz Examen objetivo ( ) (Benjamín S.Bloom, J. Thomas Hasting and George F. Madaus)

47 47 taxonomía cognoscitiva Conocimiento Comprensión Aplicación Análisis Síntesis Evaluación simple complejo implicación Tomado de manual del participante.taller de reactivos CENEVAL 2007.

48 48 Conocimiento Supone la evocación o recuerdo de información concreta Conocimientos generales El enunciar o listar métodos, procesos, estructuras y modelos recuerdo y la memoria. Ejemplos 1. Identificación de fechas históricas 2. Definición de conceptos 3. Términos de diferentes disciplinas 4. Convenciones 5. Clasificaciones 6. Enunciar o enlistar los diferentes pasos de un proceso

49 49 ¿Qué enunciado define el término de...? Observa la siguiente imagen e identifica... ¿En qué año se descubrió...? ¿Cuál es la fórmula de...? ¿Cuáles son las características de...? ¿Qué enunciado expresa el principio de...? ¿Cuál es el objeto de estudio de…? ¿Cuál es el principio de…? ¿Cómo se define el concepto de…? ¿Cuál es la clasificación de…? Reactivos tipo

50 CIEPI Elaboración de reactivos 50 Comprensión Nivel primario del entendimiento, El individuo descifra, traduce, decodifica puede utilizar el material para devolver una respuesta sin conocer sus implicaciones totales. Ejemplos Ejemplificación las relaciones que guardan entre sí los elementos. Comprensión de las relaciones de jerarquía de los elementos de un grupo Comprensión de un caso específico con procedimientos generales. Comprensión de casos diferentes con procedimientos particulares. Explicar los elementos de una imagen El significado de palabras en otro idioma

51 51 Reactivos tipo ¿Qué significa la palabra...? ¿Por qué se debe implementar el orden de pasos del procedimiento...? ¿Cuándo se debe utilizar la fórmula...? ¿Por qué los metales se encuentran en la clasificación de.....? ¿Cuál fue la trascendencia de…? ¿Qué relevancia tiene…? ¿Qué entiendes por…? ¿Qué fenómenos puede propiciar la…?

52 52 Aplicación el estudiante debe hacer abstracciones de situaciones particulares, concretas, en forma de Ideas generales reglas, procedimientos, métodos generalizados, principios y teorías, que deben ser aplicadas Ejemplos A partir de descripción de casos o planteamientos: La aplicación de diferentes procedimientos en la realización de algo El reconocimiento de excepciones en la aplicación de un procedimiento

53 53 Análisis Descomponer un evento o fenómeno en sus elementos a fin de determinar el orden, la jerarquía y las relaciones entre ellas Es un proceso superior pues implica la combinación de atención, la retención, la observación y la comprensión entre otras. Ejemplos Clasificar los elementos incluidos en un caso, o problema Determinar las relaciones que presentan los elementos involucrados en la aparición de fenómenos o hechos Organizar los principios que orientan el análisis de los problemas, casos o situaciones

54 54 Síntesis Proceso cognitivo superior producto de la combinación de procesos y habilidades básicas para lograr juntar las partes o elementos para constituir un todo. Implica el proceso de trabajar con piezas, Formar un todo a partir de las partes de un modelo o estructura no evidente hasta entonces. Ejemplos Producir un plan de acción en la solución de un problema Deducir un conjunto de relaciones abstractas

55 55 Evaluación Emisión de juicios de valor acerca del material para determinados propósitos Tales juicios pueden ser cualitativos o cuantitativos respecto del grado en que el material y los métodos mencionados satisfacen criterios Utilización de pautas de apreciación, los criterios para evaluar previamente determinados por los que diseñan la prueba Ejemplos Producir un plan de acción en la solución de un problema Deducir un conjunto de relaciones abstractas El dictamen de juicios en función de evidencia interna La toma de decisiones La solución de casos justificando el uso de uno u otro procedimiento

56 56 Insumos para elaborar reactivos Perfil de referencia PR Tabla de especificaciones Niveles taxonómicos Componentes programáticos / curriculares Reactivos

57 CIEPI Elaboración de reactivos 57 Ejemplo:

58 CIEPI Elaboración de reactivos 58

59 59 El proceso diseño-elaboración-validación del reactivo Fuente: Manual del participante del taller de elaboración de reactivos del CENEVAL, A.C. 2007

60 60 Análisis cuantitativo utilización de dos procedimientos que son complementarios: análisis estadístico convencional y otro basado en el modelo de la teoría de la respuesta al ítem.

61 61 Ventajas proporciona información sobre la calidad del reactivo y fundamenta objetivamente la inclusión o exclusión de un reactivo en un examen final. Si un reactivo no cumple con los estándares estadísticos establecidos deberá ser sometido a la revisión de su contenido y forma, probablemente éste posea un error de construcción.

62 62 Análisis teoría clásica Índice de dificultad. Es la proporción de alumnos que contestaron correctamente el reactivo, puede tomar valores de 0 a 1 y nos indica que tan fácil o difícil resultó el reactivo en el piloteo. Su valor debe estar entre 0.20 a 0.80 Índice de discriminación. Es la diferencia entre la proporción de los examinados con un mayor número de aciertos (grupo alto 27% del total) y la de los examinados con menor rendimiento (grupo bajo 27% del total). Este dato indica la capacidad que tiene el reactivo para diferenciar de los alumnos que poseen el conocimiento de los que no. Puede asumir valores de 0 a 1, sin embargo un índice de discriminación considerado como adecuado es aquel que es mayor o igual a.20

63 63 Matemáticas 17. ¿En cuál de las siguientes expresiones se dice que toma un valor igual a infinito? A) csc 0° B) cot 90° C) sen 180° D) cos 270° E) tan 360°

64 64 Física 35. En el movimiento de un proyectil despreciando la fricción con el aire, el único cambio de velocidad se da después de A) 4 hrs B) 5 hrs C) 10 hrs D) 15 hrs E) 20 hrs

65 65 Biología. 76. Característica de la partenogénesis: A) Es un tipo de reproducción asexual. B) Se produce por fertilización de un óvulo. C) Se desarrolla un óvulo sin fecundar. D) Se realiza por endogamia. E) Es activada por el espermatozoide.

66 66 Historia Universal 90. Los países integrantes del bloque socialista formaron un consejo de asistencia económica mutua, conocido como A) Plan Marshall. B) Pacto de Varsovia. C) COMECON D) OTAN. E) Mercomún.

67 67 Contacta a CIECI Escocia 29 1er. Piso dep. 109 Col. Parque San Andrés Coyoacán Tel y


Descargar ppt "CIECI Elaboración de reactivos 1 Patricia Frola Patricia Frola y Jesús Velásquez Centro de Investigación Educativa y Profesionalización Institucional Elaboración."

Presentaciones similares


Anuncios Google