Tests Autoadaptativos Informatizados (TADI) Desarrollos Actuales de la Medición Norma Beatriz Márquez Ruiz

ORIGEN El avance de la informática, y el desarrollo de la Teoría de Respuesta a los Ítems (TRI), ha generado la creación de nuevos procedimientos de medida diferentes a los típicos de papel y lápiz. Los primeros tests adaptativos en formato de lápiz y papel y los test convencionales informatizados han dado paso a los tests adaptativos informatizados (TAIs) entre los cuales, los denominados tests autoadaptados informatizados (TADIs) constituyen una de sus variantes más recientes.

TRI Objetivo principal “conseguir medidas invariantes respecto de los sujetos medidos y de los instrumentos utilizados” Principales supuestos Unidimensionalidad del espacio latente Independencia local

TRI Supuesto de unidimensionalidad.- asume que la ejecución de los sujetos puede ser explicada con base a un espacio latente con rasgo único. Las respuestas de los sujetos está en función de su localización en el rasgo latente. Supuesto de independencia local.- asume que cada nueva respuesta es independiente de la respuesta anterior, y éstas sólo vienen determinadas por la probabilidad de acierto a ese ítem, que para sujetos con igual nivel de habilidad, es la misma para todo el grupo.

Tests Informatizados (TI) Utilizan el ordenador como medio de: - presentación de ítems, - de entrada de las respuestas y - de análisis e interpretación del rendimiento.

Tests Adaptativos Informatizados (TAI) Consisten en un banco de ítems con propiedades conocidas y un procedimiento para seleccionar los más apropiados para la habilidad de cada persona (un algoritmo informático que presenta ítems más difíciles o más fáciles según se acierten o fallen los anteriores). Inconveniente La ansiedad puede llegar a convertirse en un factor que condicione a los candidatos

Tests Autoadaptativos Informatizados (TADI) Rocklin y O´Donnell (1987) propusieron un procedimiento alternativo para intentar controlar la ansiedad de evaluación que pueden experimentar los sujetos cuando respondan a los TAIs, modificando el procedimiento de selección de los ítems. Los evaluandos podían ajustar de forma dinámica el nivel de dificultad de los ítems que debían responder, hasta situarse en el nivel que les permitiera un rendimiento óptimo.

TAI vs. TADI TAITADI Selección de ítems Algoritmo informático El propio sujeto Estimación de habilidad MenorMayor EfectividadMayorMenor

ENTONCES … ¿QUÉ TIPO DE TEST ES MEJOR?

Características TADI 1) Representa una aplicación alternativa de la TRI en contextos de evaluación informatizada. 2) Dividir el banco de ítems en varias categorías de dificultad (normalmente entre 5 y 8). 3) Permitir al evaluando, antes de responder a cada ítem, situarse en la categoría que considere más adecuada para su nivel. 4) TADI selecciona en cada momento el ítem más informativo de la categoría elegida por el evaluando y proporciona feedback sobre el resultado obtenido (acierto o fallo).

ESTRUCTURA Y DESARROLLO Podemos establecer una secuencia prototípica en la construcción de un TADI; de hecho, se trata de la misma secuencia que se lleva a cabo con los TAI, la única diferencia estriba en el tipo de algoritmo utilizado (propio sujeto vs. Algoritmo informático). Para crear un TADI existen 6 fases: planificación planificación, producción producción, calibrado-ensamblado calibrado-ensamblado, implementación implementación, gestión-explotación gestión-explotación y mantenimiento mantenimiento.

FASE 1: Planificación I.Decidir presentar cuáles van a ser los objetivos de la evaluación y la viabilidad del TADI. II.Fabricar un Banco de Ítems Calibrados (BIC) unidimensional. III.Seleccionar el formato de los ítems. Lo más habitual es efectuar el Diseño de Anclaje de Pruebas (DAP).

FASE 2: Producción I.Elaborar las reglas de generación de los ítems. II.Determinar el tamaño del banco de ítems y del DAP. III.Tomarse decisiones relativas a los examinados y a la administración del DAP.

FASE 3: Calibrado - Ensamblado I.Calibrar, ajustar y valorar la dimensionalidad de los ítems. II.Planificar estrategias con el fin de obtener ítems calibrados en la misma métrica sin tener que pasar todos al mismo sujeto.

FASE 4: Implementación I.Implementar los ítems, sus parámetros y características en el entorno de un software de administración determinado. En este momento, es donde se diferencia el TADI del TAI, ya que es aquí cuando se seleccionaría el algoritmo adaptativo

FASE 5: Gestión - Explotación I.Se trata de realizar la sesión misma de evaluación. En esta sesión, habrá que mantener las condiciones de examen en un ambiente de tranquilidad. II.Cálculo de la fiabilidad de las puntuaciones. III.Validación de las puntuaciones (Validez de criterio, de contenido y de constructo)

FASE 6: Mantenimiento I.Se plantean algunos temas por resolver, en parte debido a que la mayoría de proyectos terminan en la fase 5. II.El mantenimiento tiene un doble sentido: actualizar los parámetros de los ítems renovar los más desgastados por otros con características similares

Consejos aplicación TADI Emplear el mayor número de estratos posible y el máximo de ítems por categoría, de este modo un mismo sujeto podría elegir todos los ítems de un mismo nivel. El éxito en la aplicación va a depender en gran medida de las instrucciones: –Darles las instrucciones sobre que se tendrá en cuenta la puntuación que obtengan dependiendo del nivel de dificultad. –Recomendar a los sujetos que elijan los niveles superiores de dificultad a los que puedan responder adecuadamente.

PROCESO DE APLICACIÓN Éste tiene lugar en tres fases:  FASE 1: -Instrucciones para la realización del test. -La sesión puede empezar de varias maneras, nos podemos encontrar con: Ítem al azar Ítem centrado en la dificultad Ítem elegido por el sujeto

PROCESO DE APLICACIÓN  FASE 2: -El programa informa del acierto y fallo en cada respuesta siendo el examinado quien elige: El sentido del siguiente ítem Tanto el sentido como la distancia en dificultad

PROCESO DE APLICACIÓN  FASE 3: -Tiene lugar cuando se alcanza determinado nivel de precisión o bien se agotan las nuevas elecciones. - La puntuación queda fijada por la estimación de la pauta de aciertos y fallos según los procedimientos de la TRI.

VENTAJAS AL USAR UN TADI Incremento en nivel de rasgo estimado y descenso en ansiedad estado. ¿Por qué? “Hipótesis de auto-regulación" “Hipótesis de distracción" “Hipótesis de control percibido"

VENTAJAS AL USAR UN TADI Ventajas de valor aplicado: - Homogeneizar las condiciones de aplicación. - Establecer controles para preservar la seguridad de la prueba. - Registrar información que puede ser útil para la evaluación (tiempo de respuesta). - Conseguir un rápido procesamiento de los datos.

VENTAJAS AL USAR UN TADI Ventajas de valor aplicado: - Minimizar errores de corrección. - Proporcionar feedback inmediato a los evaluandos. - Evaluar procesos psicológicos básicos u otro tipo de destrezas o competencias que exigen la presentación de la información de forma dinámica.

VENTAJAS AL USAR UN TADI Ventajas por condición adaptativa: - Mejoran la seguridad del test, ya que los ítems que se presentan a los evaluandos son diferentes. - Reducen el tiempo de aplicación, ya que consiguen niveles similares de precisión que los tests convencionales con un número menor de ítems. - Permiten, con el mismo número de ítems que un test convencional, realizar estimaciones más precisas.

INCOVENIENTES AL USAR UN TADI Requiere un tiempo de aplicación mayor. Produce errores típicos de estimación más altos, puesto que la precisión de un TADI depende del grado en que los sujetos eligen categorías de dificultad ajustadas a su nivel. Problema de la validez. No está clara la validez de los resultados obtenidos, se necesitarían más investigaciones al respecto. ¿Sólo por la población ansiosa merece la pena aplicar este ti p o de tests?

CONCLUSIONES Los resultados de investigación sobre TADI indican que éstos disminuyen la ansiedad, atenúan la relación entre ansiedad y rendimiento, dan lugar a puntuaciones en el rasgo más elevadas en algunos casos, requieren un tiempo de aplicación mayor y produce errores típicos de estimación más altos. medidas más válidas, aunque menos fiables y eficientesEn definitiva, un TADI ofrece medidas más válidas, aunque menos fiables y eficientes, siendo estas cualidades independientes de dar o no feedback de los resultados (Rocklin, 1994; Wise, 1994).

ACTIVIDADES A continuación vamos a presentar las actividades dedicadas a este tema: