BANCOS DE ÍTEMS.

Presentación del tema: "BANCOS DE ÍTEMS."— Transcripción de la presentación:

1 BANCOS DE ÍTEMS

2 1. ¿Qué es un banco de ítems?
Un conjunto de ítems debidamente calibrados, que miden un mismo rasgo o dominio de conocimientos, y que se encuentran almacenados en un ordenador junto a las estimaciones empíricas de sus parámetros (Van der Linder y Eggen, 1986). Los primeros en construir bancos de ítems fueron los educadores, los cuales se vieron en la necesidad de guardar ítems y construir otros nuevos para evaluar el rendimiento de sus alumnos

3 1. ¿Qué es un banco de ítems?
Los primeros bancos de ítems consistían en un conjunto de tarjetas, donde se escribía el enunciado del ítem en cada una de ellas junto a sus características de contenido y psicométricas si las hubiera, y, en el momento de construir un test, se buscaba entre todas las tarjetas hasta encontrar las que tuvieran ítems más adecuados En la década de los ochenta, debido a la revolución informática, se han llevado a cabo una serie de cambios en la concepción de bancos de ítems y en la construcción de test a partir de dichos bancos

4 2. Utilidad de bancos de ítems y ámbitos de aplicación.
Para algunos autores los bancos de ítems han de ser: Computerizados Tener un sistema de mantenimiento Incluir ítems únicamente de probada calidad Incluir ítems cuyos niveles de dificultad estén calibrados en una escala común

5 2. Utilidad de bancos de ítems y ámbitos de aplicación.
Ventajas de los bancos de ítems en diversos ambientes: La flexibilidad que introducen en la evaluación en el campo psicológico y educativo La posibilidad de usar de forma eficiente las respuestas de los sujetos a los ítems La posibilidad de diseñar el test más adecuado para cada objetivo y de construir test con el número de ítems que se desee por cada uno de los objetivos Permite predecir cuál será el comportamiento de un sujeto en un test antes de su aplicación. se puede reducir el tiempo de aplicación por sujeto y mejorar la precisión y rapidez en el proceso de construcción de test. Los bancos de ítems permiten construir test de gran calidad puesto que los ítems incluidos en el banco son el resultado de un proceso de depuración

6 2. Utilidad de bancos de ítems y ámbitos de aplicación.
Milliman y Arter (1984) consideran que el gran potencial de los bancos de ítems se manifiesta cuando se presenta algunas de las condiciones siguientes: Los test que existen en el mercado no son adecuados y es necesario contruir test de acuerdo a especificaciones locales. Se requieren frecuentes evaluaciones. Se necesitan múltiples formas de un test. Hay varios usuarios dispuestos a construir test a partir de la misma colección de ítems Los usuarios disponen del hardware y software necesario. Se desea construir test adaptados a las características individuales de los sujetos (test a medida).

7 3. Fases para la construcción de un banco de ítems
Para construir un banco de ítems necesitamos: Disponer de una colección de ítems estructurados en función de sus contenidos y catalogados de forma que se facilite su identificación. Disponer de una o varias muestras a las que aplicar el conjunto de ítems Disponer de un modelo psicométrico para la calibración de los ítems, para identificar los de baja calidad si los hubiera y eliminarlos

8

9 3. Fases para la construcción de un banco de ítems
El conjunto de ítems debe tener ciertas características: Todos los ítems del banco deben medir el mismo dominio de conocimiento, habilidad o conjunto de habilidades. Los datos obtenidos al aplicar los ítems han de ajustarse al mismo modelo Las estimaciones de los parámetros de los ítems han de estar en la misma escala

10 3. Fases para la construcción de un banco de ítems
Tres fases fundamentales para construir un banco de ítems: La elección del diseño: se refiere a la forma en que se va a llevar a cabo la aplicación de los ítems en función de su número y de las muestras disponibles. Los tipos más utilizados son: De un solo grupo: se utilizará cuando el número de ítems iniciales es poco numeroso. De grupos equivalentes: Se usará cuando se dispone de un gran número de ítems.  se seleccionan dos muestras aleatorias de una misma población y, a cada una de ellas, se les aplica uno de los conjuntos de ítems de los dos en que se dividió el conjunto total. De anclaje: También es usado cuando se dispone de un gran número de ítems o de sujetos. Dentro de este tipo de diseños se puede hablar de anclaje de ítems o de anclaje de sujetos. La elección de uno u otro dependerá de las circunstancias de cada momento.

11 3. Fases para la construcción de un banco de ítems
Evaluación del ajuste: El objetivo final de esta frase es analizar si los datos obtenidos al aplicar los ítems que van a constituir es banco se ajustan a alguno de los modelos de la TRI. Para la evaluación del ajuste Hambleton y Swaminathan (1985); Hambleton (1989) y Hambleton, Swaminathan y Roger (1991) proponen tres vías Determinar si los datos satisfacen los supuestos del modelo: Unidimensionalidad, ausencia de velocidad, inexistencia de aciertos al azar y discriminación constante. Analizar hasta qué punto se consiguen las ventajas esperadas derivadas del uso de los modelos. La obtención de estas ventajas depende del grado de ajuste de los datos al modelo elegido. Determinar la bondad de ajuste propiamente dicha, es decir, el ajuste entre las puntuaciones observadas y las predicciones realizadas a partir del modelo elegido

12 3. Fases para la construcción de un banco de ítems
Calibración: El objetivo de esta fase es doble: Primero hay que llevar a cabo la estimación de los parámetros de los ítems. Segundo, hay que transformar las estimaciones obtenidas a una misma escala de manera que las puntuaciones obtenidas por los sujetos que han respondido a distintos subconjuntos de ítems puedan ser comparables. Creación del banco de ítems: Esto se lleva a cabo una vez estimados los parámetros de los ítems, a partir de aquí se procede a almacenar la información obtenida de una forma organizada y estructurada

13 3. Fases para la construcción de un banco de ítems
Los bancos de ítems contienen tres tipos diferentes de información acerca de los ítems: El contenido del ítem tal y como aparecerá en el test que se construya (su enunciado, sus gráficos en el caso de que los haya, etc.) Identificador del ítem (palabras claves, formando una secuencia alfanumérica, que describen a cada uno de los ítems en función de su contenido, el área curricular a la que pertenece, etc) Características psicométricas de cada ítem (los parámetros estimados (a,b y c), el tamaño de la muestra utilizada en la caliración, información total proporcionada por cada ítem, número de veces que ha sido utilizado el ítem, etc.)

14 4.Ampliación de un banco de ítems.
Se refiere a la incorporación de nuevos ítems al banco a medida que se van desarrollando, mientras que pueden eliminarse aquellos que se consideren irrelevantes El diseño más utilizado para llevar a cabo esta tarea es el diseño de anclaje de ítems. De esta manera, a la muestra de sujetos seleccionada se le aplicará junto a los ítems que se quieren incorporar al banco unos cuantos pertenecientes al banco y, por lo tanto, debidamente calibrados

15 5. Construcción de tests a partir del banco.
Los bancos de ítems se consideran como una parte de un sistema computerizado de evaluación (Testing Service System) que es un sistema para: Almacenar los ítems, construir test y procesar las respuestas a los ítems. El sistema computerizado permite garantizar la estandarización de las instrucciones, la presentación de los ítems, el registro de las respuestas, la corrección y puntuación de las pruebas y el almacenamiento y análisis estadístico de los datos sin necesidad de etapas intermedias de codificación, grabación, etc

16 5. Construcción de tests a partir del banco.
Una vez que se han especificado las características de los ítems que se han de utilizar, el ordenador busca entre los ítems que forman el banco hasta encontrar aquellos cuyas características coinciden con las especificadas, entonces pueden ser seleccionados para formar parte del test.

17 6. Estrategias de selección de los ítems
La selección de los ítems va a depender del tipo de test que se quiera construir y de los fines para los que vaya a ser utilizado. Existen tres tipos de test : Tests convencionales: Se fija de antemano el número de ítems que se quiere que formen parte del test. Se administrará el mismo conjunto de ítems a todos los sujetos de la muestra, con independencia de su nivel de habilidad. No son muy eficientes porque se administra el mismo conjunto de ítems a sujetos con diferentes niveles de habilidad. Tests adaptativos: Se pueden seleccionar del banco los ítems que son más adecuados al nivel de habilidad de los sujetos. Test referidos al criterio: La mayoría de estos tests se construyen muestreando aleatoriamente los ítems del banco que pertenezcan a un dominio o área de conocimiento y asumiendo que el rendimiento de los sujetos en los ítems seleccionados es representativo del que habrían tenido si se hubieran aplicado todos los ítems del dominio

18 7. Aplicación de los tests.
Formas de administración: Papel y lápiz: En esta forma de administración es necesario presentar a los sujetos los mismos ítems y en el mismo orden. Test administrados mediante el ordenador: Los test que se pueden aplicar van desde los convencionales (que no son aplicados mediante papel y lápiz), hasta los test adaptativos informatizados.

19 7. Aplicación de los tests.
Tests convencionales informatizados: Son los mismos test que se pueden presentar mediante papel y lápiz pero administrados a través del ordenador. El formato más utilizado es el de elección múltiple, pero esta forma de administración admite varios tipos de formatos y de contenidos ( graficos en tres dimensiones, graficos que puedan rotarse, simulación de situaciones de la vida real, etc.). Tests adaptativos informatizados:

20 Evaluación ¿ Qué es un banco de ítems?
Un conjunto de ítems que miden diversos rasgos y que se encuentran almacenados en un ordenador. Un conjunto de ítems que miden un mismo rasgo y que se encuentran almacenados en un ordenador. Un conjunto de ítems que pueden medir uno o diversos rasgos y que se encuentran almacenados en un ordenador

21 Evaluación ¿ Qué se necesita para construir un banco de ítems?
Disponer de una colección de ítems estructurados, de una o varias muestras y de un modelo psicométrico para la calibración de los ítems Disponer de una colección de ítems estructurados, de varias muestras y de un modelo psicométrico para la calibración de los ítems Ninguna opción es correcta.

22 Evaluación El conjunto de ítems debe tener ciertas características, ¿cuál de ellas es incorrecta? Los datos obtenidos al aplicar los ítems deben ajustarse a los diversos modelos existentes. Todos los ítems del banco deben medir el mismo dominio de conocimiento, habilidad o conjunto de habilidades. Las estimaciones de los parámetros de los ítems han de estar en la misma escala

23 Evaluación ¿cuáles son las fases fundamentales para construir un banco de ítems? Elección de los ítems, calibración y construcción del banco de ítems. Elección de los ítems, evaluación del ajuste, calibración y creación del test Elección del diseño, evaluación del ajuste, calibración y construcción del banco de ítems

24 Evaluación ¿Cuándo utilizamos el diseño de grupos equivalentes?
Cuando el número de ítems iniciales es poco numeroso Cuando se dispone de un gran número de ítems Cuando se dispone de un gran número de sujetos

25 Evaluación ¿ Por qué no son muy eficientes los test convencionales?
Porque las respuestas son conocidas por la mayoría de los sujetos Porque se administra el mismo conjunto de ítems a todos los sujetos de la muestra, sin tener en cuenta el nivel de habilidad de cada uno Ambas opciones son correctas

26 Evaluación ¿Cuáles son los tipos de test existentes?
Test de papel y lápiz, test convencionales informatizados y test adaptativos informatizados. Test computerizados y test de papel y lápiz Test convencionales, test adaptativos y test referidos al criterio

27 Evaluación Señala la opción incorrecta:
Los ítems test han de incluir ítems únicamente de probada calidad Los bancos de ítems han de tener un sistema de mantenimiento. Los ítems han de estar calibrados en base a diferentes escalas.

28 Bibliografía Barbero, M. I. (1996) Bancos de ítems. En J. Muñiz, J
Bibliografía Barbero, M.I. (1996) Bancos de ítems. En J. Muñiz, J., (Coord). Psicometría. Cap. 4, p.p Madrid: Ed. Universitas, S.A. Barbero, M.I. (1999) Gestión informatizada de bancos de ítems. En J. Olea, V. Ponsoda y G. Prieto, (Eds). Tests informatizados. Fundamentos y aplicaciones. Cap. 3, p.p Madrid: Ed. Pirámide.