Dg s dirección general de educación superior.

Presentación del tema: "Dg s dirección general de educación superior."— Transcripción de la presentación:

1 dg s dirección general de educación superior

2 TALLER DE ELABORACION DE REACTIVOS

3 La planeación de un examen
Componentes 1.Definición del dominio o del atributo latente 2.Usos para los que se destina el instrumento 3.Indicación de restricciones en tiempo, medios y condiciones de aplicación 4.Especificaciones del contenido 5.Especificación del formato de los reactivos, tipo de respuesta y procedimiento de calificación

4 La planeación de un examen
Componentes 6.Plan de verificación de eficacia de los reactivos de la prueba 7.Especificación de los parámetros estadísticos que se deben incluir en la prueba para asegurar el nivel requerido de dificultad y confiabilidad 8.Determinación de otras actividades para evaluar la validez de la prueba 9. Organización de un manual de la prueba o cualquier otro material auxiliar.

5 Definición del dominio o del atributo
latente Se refiere a la expresión clara y explícita de la intención de la prueba- Ejemplos de rasgos o dominios definidos: Habilidad verbal: Evidenciada por el conocimiento de significados de un gran número de palabras y elección de la palabra más adecuada para un contexto dado. Destreza en el cálculo aritmético: mostrada por la velocidad y exactitud con que se llevan a cabo operaciones numéricas simples.

6 2. Objetivos de una prueba
Es importante tener en mente: El grupo al cual se aplicará Los tipos de decisión que se tomarán a partir de los resultados para poder decidir: Contenido de la prueba Nicvel de dificultad y duración de la prueba Puntuaciones a obtener Formas de reporte

7 Es importante conocer de antemano
el uso de los resultados de la prueba: Certificación Selección Acreditación Colocación Decisiones Diagnóstico Clasificación Orientación

8 3. Restricciones Se refiere a todos aquellos factores que
rodean la aplicación de una prueba, ya sean externos y de forma, o internos y de fondo, deben reconocerse y hacerse explícitos Ponderando todos y cada uno de ellos se puede juzgar si es factible elaborar una prueba que sea efectiva en términos psicométricos y práctica de usar en las circunstancias para las cuales se elaboró

9 4. Plan detallado Constituye la base de la planeación en sí.
En el caso de una prueba de rendimiento académico en alguna materia, se contempla usualmente con dos dimensiones: la de contenido que expresa lo que se ha enseñado la de proceso que indica lo que se espera que haga el examinado con ese contenido

10 Consideraciones para la elaboración
de reactivos La base principal de la elaboración de reactivos, son los contenidos, así como el nivel de amplitud y profundidad (nivel taxonómico) establecidos en la tabla de especificaciones correspondiente.

11 Consideraciones para la elaboración
de reactivos Es común preparar una tabla de especificaciones consistente en una red de dos dimensiones: en una se muestran los temas y en la otra los tipos de operación o niveles del proceso a evaluar. La taxonomía de uso más generalizado es la Bloom (1954), elaborada por un comité de la American Educational Research Association y enlista las siguientes jerarquías de objetivos para la educación:

12 Taxonomía de Bloom Conocimiento Comprensión Aplicación Análisis
Síntesis Evaluación Cuando se inicia la elaboración de una prueba la característica clave del plan detallado es la especificación del dominio que se va a estudiar.

13 Conocimiento Conocimientos específicos de los hechos o términos.
Conocimientos acerca de formas y medios de tratar casos: convenciones, tendencias y secuencias, categorías, criterios, métodos. Conocimientos universales y abstracciones: teorías, generalizaciones, estructuras.

14 Comprensión Traducción Interpretación Extrapolación Clasificación
Discriminación

15 Aplicación Determinar qué principios son apropiados
Reformular un problema Especificar límites Reconocer excepciones Explicar nuevos fenómenos Predecir lo que sucederá mediante principios pertinentes Determinar o justificar cursos de acción o decisión.

16 Análisis Elementos Relaciones Principios organizados

17 Síntesis Producción de una comunicación única
Producción de un plan de acción en la solución de un problema Deducción de un conjunto de relaciones abstractas Elaboración de una tesis

18 Evaluación Emitir juicios en valor de evidencia interna
Emitir juicios en función de criterios externos

19 5. Especificaciones del formato
Ventajas del formato de elección múltiple: El sujeto puede manipular más preguntas en un periodo determinado de tiempo Las respuestas pueden calificarse más rápida y objetivamente. La flexibilidad para probar una gran variedad de contenidos y procesos mentales. El número de opciones más conveniente es de 4 ó 5. Las especificaciones de formato incluyen las hojas de respuesta y los procedimientos de calificación.

20 Las especificaciones deben indicar:
El resultado de aprendizaje a evaluar en términos de una conducta observable El nivel taxonómico correspondiente El estándar que se usará para representar el nivel satisfactorio Cómo se establece el muestreo del dominio Cualquier restricción adicional o de limitación del dominio

21 Generalidades sobre los reactivos de opción múltiple
Un reactivo o pregunta se define como la formulación de una proposición o problema para que sea contestado por un sujeto, con el fin de conocer los resultados de su aprendizaje Principales características: Se adaptan a la complejidad de los contenidos que se pretende evaluar Permiten realizar un muestreo de lo que se quiere evaluar La información que de ellos se desprende se puede procesar rápida y objetivamente.

22 Están conformados por una base y varias opciones:
La base es el enunciado que presenta la situación o problema, planteado explícita o implícitamente en una pregunta, afirmación o enunciado incompleto. Las opciones se entienden como las posibles respuestas, entre las cuales una responde correctamente al enunciado o pregunta y las otras son respuestas incorrectas llamadas distractores.

23 Indicaciones para elaborar la base:
Incluir todos los elementos estrictamente necesarios para comprender el sentido correcto de la pregunta Presentar un problema o situación bien definida, de tal manera que sin leer las opciones tenga sentido propio Construir un esquema de indagación y no simplemente una palabra Cuidar que la redacción sea precisa y adecuada Evitar términos que confundan o den claves de la respuesta correcta Evitar que una pregunta ayude a responder otra

24 Indicaciones para elaborar las opciones:
De las opciones (4 ó 5) sólo UNA será correcta La respuesta correcta debe resolver el problema Deberán contener concordancia gramatical con la base Deberán guardar entre sí un equilibrio coherente en su aspecto gramatical: sintaxis, género, número, tiempo... No debe repetirse ninguna opción, ni con sinónimos Deben´presentar la misma extensión Evitar que una opción ayude a elegir la opción correcta Se presentarán al azar, a menos que se requiera un orden cronológico o numérico Incluir en los distractores los errores más comunes

25 Preguntas de ensayo: Para obtener información acerca de las habilidades que los alumnos tienen en la organización, integración y síntesis de su conocimiento a fin de resolver problemas para los cuales no existan planes predeterminados de solución, se recomienda la elaboración de preguntas de ensayo. Para identificar este potencial se requiere que cada pregunta sea cuidadosamente redactada de tal manera que el estudiante manifieste esta clase de habilidades cognoscitivas

26 Preguntas de ensayo: El simple hecho de formular una pregunta para que se escriba un ensayo a partir de ella, no garantiza que se podrán evaluar esas habilidades. En el examen de ensayo típico, las diferencias de conocimiento del contenido generalmente encubren las diferencias en la habilidad para usarlo y organizarlo. Por otra parte, las presiones de tiempo frecuentemente disminuyen la capacidad del estudiante de producir su mejor respuesta.

27 Sugerencias para la elaboración de preguntas de ensayo más eficaces:
Relacione las preguntas con los resultados de aprendizaje que se desea evaluar. Use las preguntas de ensayo sólo para obtener evidencia de procesos mentales complejos y utilice material novedoso para redactar las preguntas Formule preguntas que presenten al estudiante una tarea clara y definida Evalúe en términos de la evidencia presentada para tomar una posición determinada ante un punto controvertido y no por la posición que se tome Adapte el tamaño y la complejidad de la respuesta al nivel de maduración de los estudiantes y conceda tiempo suficiente para responder la prueba

28 Recomendaciones para calificar las pruebas de ensayo:
Evalúe las respuestas en función del resultado de aprendizaje en cuestión y no de otros factores como la información factual presentada Decida de antemano qué cualidades tomará en cuenta para estimar la adecuación de una respuesta. Si existe más de una cualidad para ser apreciada, haga evaluaciones separadas para cada una Prepare una guía de respuestas o una respuesta modelo en la cual muestre los aspectos que deben quedar incluidos, especificando el número de puntos que asignará a cada respuesta así como a cada parte de la misma Califique las respuestas a una misma pregunta en todos los exámenes antes de calificar la siguiente pregunta Califique las respuestas ignorando quién las escribió para evitar predisposiciones personales durante la calificación Escriba comentarios y corrija los errores de las respuestas para retroalimentar a sus estudiantes

29 Cómo evaluar el instrumento:
Las pruebas tienen dos indicadores clásicos para determinar su calidad: Indice de validez Indice de confiabilidad

30 Validez teórica Validez empírica
¿Qué es la validez? La validez de un instrumento consiste en que podamos medir lo que pretendemos que mida. Validez teórica constructo contenido predictiva Validez empírica concurrente

31 Validez teórica Constructo Contenido
Es necesario elaborar la tabla de especificaciones que incluya todos los contenidos temáticos, así como el nivel taxonómico en que queremos lograr el aprendizaje Constructo Universo de conocimientos Muestreo representativo de este universo Contenido

32 Validez empírica Predictiva Concurrente
Implica el impacto de lo aprendido en un futuro previsible Predictiva Relación de lo aprendido con otros aspectos importantes del proceso educativo Concurrente

33 Confiablidad: Se refiere a la precisión y estabilidad de la medición que podemos hacer en diferentes condiciones 1.Estabilidad temporal 2.Equivalencia 3.Consistencia interna

34 1. La estabilidad temporal de un instrumento se refiere a la obtención de los mismos resultados por una persona en dos momentos diferentes, sin que medie ningún aprendizaje extra. Por el dinamismo del proceso de aprendizaje, no se sugiere realizar estudios de este tipo en periodos que excedan los tres meses

35 2. La equivalencia se refiere a la similitud entre instrumentos elaborados con la misma cantidad de reactivos, con índices de dificultad iguales y con base en una tabla de especificaciones común En este caso un sujeto deberá obtener calificaciones similares en los dos instrumentos Por lo general, en el ámbito educativo, es conveniente tener varias versiones de una prueba y verificar su equivalencia

36 3. La consistencia interna se refiere a la relación que guardan los resultados de un sujeto en cada una de las partes de un instrumento, con el resultado total que obtiene -Esta es la forma más estable de medir la confiabilidad de un instrumento. -Un estudio de consistencia interna permite además corroborar la validez teórica, siempre y cuando esté bien definido el universo de conocimientos y el muestreo sea representativo.

37 Gracias por su asistencia
dg s dirección general de educación superior