1 Exámenes tipo test: Redacción y valoración Antonio Matas Terrón Universidad de Málaga Enero 2010

2 Índice: ■ Redacción de los test. ■ Análisis de los ítems. ■ Calidad de los test. ■ Calificación en un test.

3 I - Redacción de los test ■ Componentes del examen tipo test. ■ Componentes del ítem. ■ Redacción de los ítems.

4 Ejercicio 1 ■ Antes de comenzar asumimos que todos hemos pasado alguna vez por un examen tipo test, y por tanto se sabe cómo son y para qué se utilizan. ■ Si es así, pasemos a realizar el siguiente ejercicio: Elijamos un tema académico cualquiera. Escribamos en un papel (y debe hacerse realmente en un papel o en el procesador de textos) 10 preguntas tipo ítem sobre dicho tema. Guardemos el papel o archivo hasta dentro de un rato.

5 Componentes del examen tipo test ■ Un examen tipo test es una colección de ítems que presentan estimulos (en distintos formatos: texto, gráfico, imagen, etc.) con el objetivo de recoger información sobre el grado de conocimiento, habilidades, actitudes, emociones, compromiso, valores, etc., de una persona. ■ Cuestiones sobre la persona que contesta: Nombre, grupo de clase, fecha, etc.

6 Componentes del ítem ■ Los ítems tienen dos elementos básicos: ➔ Tronco: Se trata del argumento del estímulo, la parte principal que contextualiza la cuestión. Puede ser una pregunta, un enunciado, un párrafo incompleto, unas directrices, una imagen, un sonido, etc. ➔ Opciones: Conjunto de elementos entre los que debe elegir la persona. A su vez las opciones son dos: - Distractores: Opciones no pertinentes (incorrectas) repecto al tronco del ítem. - Clave: Opción coherente (correcta) y pertinente con el tronco del ítem. Ejemplo: - El caballo blanco de Santiago es de color: a) Blanco b) Verde c) Azul Tronco Clave Distractores Opciones

7 Redacción de los ítems ■ Antes de redactar un ítem debe estar claro el nivel de aprendizaje sobre el que versará. ■ Puede utilizarse como referente alguna de las propuestas psicopedagógicas como la taxonomía de Bloom, por ejemplo. ■ Taxonomía de Bloom -> objetivo del ítem: Conocimiento-> Ítems que tratan de hacen recordar. Comprensión-> La persona debe interpretar. Aplicación->Saber cómo intervenir. Análisis-> Capacidad de conocer y comprender cómo funciona un todo. Evaluación-> Valoración

8 Redacción de los ítems ■ Consejos: No hacer preguntas triviales. Utilizar un vocabulario conocido (adecuado) por las personas que contestarán. Redactar con claridad. Una sola opción correcta (clave). Independencia entre ítems. Evitar giros expresivos, “noes” o negaciones, abreviaturas innecesarias, etc. ■ Consejos: El tronco debe ser claro y breve, no debe instruir. Los distractores se pueden obtener de errores habituales en profanos a la materia o de temas relacionados con el que se pregunta. Todas las opciones deben tener la misma longitud y estilo literario. Utilizar 3 opciones de respuesta.

9 Redacción de los ítems ■ La “prueba del 9” de las opciones: Una opción clave es buena y efectiva si toda persona instruida sobre la temática de la que versa el ítem, identifica la “clave” sin ningún tipo de problemas. Un distractor es bueno y efectivo si cualquier persona sin formación en la temática sobre la que versa el ítem, aunque con un nivel de formación suficiente como para compreder el ítem sin dificultad, tiene la misma probabilidad de elegir el “distractor” que la “clave”.

10 Ejercicio 1 (continuación) ■ Vamos a sacar ahora el papel o archivo con nuestra prueba de 10 ítems que hicimos antes: ¿Qué opinamos sobre nuestra forma de redactar ítems? ¿Deberíamos cambiar nuestro enfoque de redacción? ¿Hemos ido en contra de muchos de los consejos ofrecidos anteriormente?...

11 II – Análisis de los ítems ■ Dificutad. ■ Discriminación. ■ Homogeneidad.

12 Dificultad ■ Índice de dificultad: Indica lo difícil que es contestar correctamente (elegir la clave) al ítem. Se calcula diviendiendo el número de personas que han contestado correctamente al ítem, entre todas las que han contestado. Su valor se mueve entre 0 (muy difícil) y 1 (muy fácil). Expresión: i.d: Índice de dificultad. n: Número de personas que han contestado correctamente. N: Número de personas totales que han contestado al ítem. Interpretación: i.d Difícil Fácil

13 Discriminación ■ Índice de discriminación: Indica la capacidad del ítem para diferenciar entre las personas que saben la respuesta del ítem de los que no. El índice de discriminación se calcula a partir del percentil 25 y 75 del test. 0 indica una discriminación nula, y 1 una discriminación máxima. Expresión: na: Número de personas del percentil 25 que ha contestado correctamente al ítem. nb: Idem del percentil 75. Na: Número de personas totales del percentil 25 que han contestado al ítem. Nb: Idem del percentil 75 Interpretación: i.ds No discrimina-Alta discriminación

14 Homogeneidad ■ Índice de homogeneidad: Indica en qué grado un ítem es homogeneo con el resto del test. Ofrece una medida cuanto un ítem trabaja a favor de la misma medición que el resto del test. Se calcula a partir de la correlación del ítem con el resto del test. 0 suponen baja homogeneidad y 1 alta homogeneidad. Expresión: r ix : Correlación test-item. S x : Desviación típica del test. El cuadrado es la varianza del test. S i : Desviación típica del ítem, su cuadrado es la varianza del ítem. Interpretación: i.h No homogeneo Homogeneo

15 III– Calidad del test ■ Fiabilidad. ■ Validez

16 Fiabilidad ■ La fiabilidad puede entenderse en dos sentidos: Como estabilidad o constancia de varias medidas obtenidas con un mismo test. Se trata de la fiabilidad relativa. Como precisión de las medidas obtenidas por un test. Se trata de la fiabilidad absoluta. Fiabilidad relativa Fiabilidad absoluta

17 Validez ■ Un test es válido si realmente mide lo que afirma medir. ■ Tipos de validez: Aparente. Comprobada: ➔ Teórica: - Validez de contenido. - Validez de constructo. ➔ Empírica: - Validez relativa. - Validez absoluta.

18 IV– Calificación en un test ■ Calificación: índice de dificultad de la persona

19 Calificación: i. d. de la persona ■ Supuesto: Un alumno contesta a un examen de 20 ítems con 3 opciones cada ítem. Obtiene 15 aciertos y 3 errores. Deja sin contestar 2 ítems. Para corregir los posibles aciertos por azar, se calcula la calificación restando a los aciertos una cantidad proporcional al número de opciones. ➔ Expresiones para el cálculo: ➔ Desarrollo del ejemplo: A: Aciertos. E: Errores. np: Número de opciones de los ítems. N: Número de ítems que tiene el test. C: Calificación.