Tema 5 Test informatizados (TIs)

Historia… Años 40: aplican los desarrollos analógicos a la puntuación automatizada del Strong Vocational Interest Blank(SVIB) y del Minnesota Multiphasic Personality Inventory (MMPI). Años 50: primeras aplicaciones de hojas de respuesta electrónica y lectoras ópticas, que sustituyen a los sistemas basados en tarjetas. Años 60: Surgen sistemas automatizados de interpretación para tests como el 16PF, el California Psychological Inventory, el Rorschach o el WAIS.

…Historia… Años 70: primeras experiencias sobre la aplicación informatizada de test. MMPI: de los primeros que puede presentarse en pantalla y responderse mediante el teclado. También administraciones informatizadas y otros test de personalidad como el Eysenck Personality Inventory, el 16PF. Gracias a la tecnología digital se informatizan tests de inteligencia general y aptitudes ( con presentación de ítems más complejos)

…Historia Años 80: incremento exponencial de versiones informatizadas de tests convencionales aplicados en contextos escolares, organizacionales o clínicos. En los Recursos Humanos: la batería CAM (conjunto de tests informatizados que miden habilidades relacionadas con el procesamiento de la información). En Clínica: versiones informatizadas de entrevistas estructuradas y ensayos con los que se denominan entrevistas adaptativas informatizadas (para establecer procedimientos de ramificación e itinerarios según las respuestas de los sujetos. En psicoterapia: tests informatizados para identificar pensamientos irracionales o programas integrados para evaluar y superar progresivamente problemas relacionados con la toma de decisiones en diversas situaciones.

¿ Qué son? Son test que existen en papel y lápiz y se trasladan al formato informático. Son test que existen en papel y lápiz y se trasladan al formato informático. Utilizan el ordenador para: presentar los ítems, responder y analizar e interpretar el rendimiento. Utilizan el ordenador para: presentar los ítems, responder y analizar e interpretar el rendimiento. Se presentan los mismos ítems y con la misma secuencia de presentación a todos los sujetos, es decir no son adaptativos, al igual que los test informatizados de procesos cognitivos. Se presentan los mismos ítems y con la misma secuencia de presentación a todos los sujetos, es decir no son adaptativos, al igual que los test informatizados de procesos cognitivos. Por tanto son: técnica sistemática o estandarizada en la que la tarea, las instrucciones, las respuestas, el procedimiento de aplicación, la corrección, y la interpretación están pautadas y son equivalentes para todos los sujetos a los que se les aplica. Por tanto son: técnica sistemática o estandarizada en la que la tarea, las instrucciones, las respuestas, el procedimiento de aplicación, la corrección, y la interpretación están pautadas y son equivalentes para todos los sujetos a los que se les aplica.

Diferencias con los TAIS 1. En los TAIS, los ítems son seleccionados y se presentan al candidato según el nivel. 2. El test se acaba justo cuando se ha especificado el nivel del alumno. 3. Son relativamente cortos tanto en el número de preguntas como en el tiempo que se necesita para completarlos.

Ventajas En Condiciones de aplicación En Condiciones de aplicación En Procesamiento de respuesta e interpretación de datos Menos tiempo Que en hoja electrónica Permite baremar (informa del nivel del sujeto) Que en lápiz y papel Menor posibilidad de copia (no conocen respuestas correctas) Menos tiempo Para corregir Condiciones similares para todos los sujetos Para baremar respuestas Menos costes Menos errores al corregir y baremar

Otras ventajas La tecnología informática permite diseñar nuevos instrumentos dentro de “la nueva generación de test”. La tecnología informática permite diseñar nuevos instrumentos dentro de “la nueva generación de test”. En estos test se requiere el uso del ordenador para un control adecuado del tiempo de presentación de los ítems y de las latencias de respuesta.

Inconvenientes… ¿Al automatizar un test de papel y lápiz se proporcionan puntuaciones equivalentes? Lo estudian Mazzeo y Harvey (1988) y obtienen: Puntuaciones medias diferentes, aunque pequeñas y de poca significación. Dichas diferencias tenían medias más altas en las versiones originales no informatizadas. Los test de rapidez se respondían en menos tiempo empleando el teclado. En algunos test informatizados de personalidad se produjo un mayor número de elecciones de la opción “no lo sé”.

… Inconvenientes Resultados no concluyentes: - Entre las versiones informatizadas:  Mucha heterogeneidad en el nivel de automatización  Se produjeron deficiencias técnicas que explicarían el menor rendimiento de los sujetos en estas pruebas  No se permitió entrenamiento con el procedimiento de respuesta con la revisión de las respuestas proporcionadas.

Algunos estudios… Las diferencias halladas en test de personalidad son pequeñas o nulas, por lo que es mejor no realizar una nueva baremación para las versiones informatizadas. Esto no ocurre con los tests de aptitudes y neuropsicológicos. Si en la versión informatizada y en la no informatizada se proporcionan al sujeto las mismas condiciones de flexibilidad, los parámetros de dificultad de los ítems son equivalentes.

Más estudios: Sobre la utilidad de los informes generados mediante ordenador:  Comparativos con criterios externos: comparan las valoraciones que se realizan en el informe automatizado con otra fuente (expertos clínicos)  Sobre la satisfacción de los clientes: comprueban el grado en que manifestaban satisfacción los profesionales de la psicología y de la psiquiatría en relación a la claridad (adecuación de la información o utilidad)

Otros estudios Para mejorar la calidad de las interpretaciones automáticas (Endres, Guastello y Rieke (1992) :  La fiabilidad metainterpretativa: que comprueba el grado de precisión con que un sistema de interpretación automática refleja en texto las puntuaciones del test. Sobre propiedades psicométricas de las medidas procesuales (Roznowski, 1993):  las medidas procesuales reflejarán diferencias individuales estables si las tareas incluyen niveles heterogéneos de complejidad.

En definitiva: El verdadero problema de la validación de test informatizado de procesos cognitivos: requiere nuevas estrategias relacionadas con:  la comprobación empírica de que el test detecta las previsiones derivadas del modelo teórico y  la planificación de estudios predictivos para demostrar la utilidad de las medidas en situaciones reales donde intervienen los procesos que se pretende medir.

¿Cómo se construye una prueba? Pasos (Croker y Algina, 1986): 1.Delimitar el objetivo para el que van utilizarse las puntuaciones. 2.Definir el constructo que se pretenda medir. 3.Describir los componentes del constructo (general). 4.Diseñar el instrumento. 5.Redactar los ítems. 6.Analizar la calidad de los ítems. 7.Estudiar la fiabilidad del instrumento. 8.Estudiar la validez del instrumento. 9.Elaborar las normas de aplicación, interpretación y baremación de las puntuaciones.

I.Delimitar el objetivo 1.Delimitación formal: incluye número y tipo de ítems y número de alternativas de respuesta.  Número de ítems: se deben construir como mínimo el doble de los que se usarán para la versión final y ajustarlos al tiempo disponible para realizar el test.  Tipo de ítems: existen dos tipos de respuestas : a)Abiertas: el sujeto reproduce la respuesta. Son difíciles de cuantificar, pero adecuadas para evaluar conceptos complejos. Pueden ser de completar, sustituir o corregir y de ensayo b)Cerradas: el sujeto selecciona las respuestas de entre dos o más respuestas propuestas. Son fáciles de cuantificar, precisas y fiables; adecuadas para evaluar una gran diversidad de conceptos. Aparecen en los test de ejecución máxima (respuestas V/F, elección múltiple o relacionar) o típica (escalas tipo Likert).

2. Delimitación teórica-conceptual: Se identifica cuál es el objetivo del instrumento (el objetivo debe ser comportamental para declarar explícitamente el objetivo para el que van a utilizarse las puntuaciones).  Ventaja: objetivo comprensible y ayuda a definir el constructo. II.Definir el constructo  Definición operacional: define los comportamientos considerados como indicadores del constructo. Se identifica con el modelo de medida del constructo.  Definición estructural: teoría consistente y sustantiva, relaciona el constructo medido con otros constructos empíricos de su entorno. En técnica de modelos estructurales se denomina parte estructural de un modelo o teoría.

III.Descripción de los componentes del constructo. IV.Diseño del instrumento Errores frecuentes que han de evitarse (Muñiz):  Alternativas de respuestas que no sean igualmente plausibles  Enunciados negativos.  Alternativas de diferente longitud  Reiteración innecesaria en el texto.  Cifras desordenadas en las alternativas de respuestas.  Abuso de la opción “todas /ninguna de las anteriores” en las alternativas de respuestas.

V.Redacción de los ítems:  Partir de las ideas relevantes para elaborar ítems que midan objetivos importantes con el máximo poder discriminativo.  Presentar el ítem con claridad y precisión para evitar introducir elementos no funcionales demasiado específicos o que puedan sugerir las respuestas  Eliminar frases estereotipadas. VI.Analizar la calidad de los ítems  La calidad de los ítems, la fiabilidad y la validez son las características fundamentales de un buen instrumento de medida. Por ello se exigen a un buen test y se deben tener en cuenta para evaluarlos con criterios de calidad.

Análisis de los ítems: Implica obtener información descriptiva y estadística: a) Información descriptiva: evidencias de validez (de contenido, de constructo y de criterio) de los elementos. Objetivo: establecer juicios razonables sobre el grado en que las evidencias permiten emprender acciones basadas en el modelo de medida (a través de los ítems o indicadores). Por tanto, HAY QUE PLANTEARSE SI EL SISTEMA DE VALORES ESTA EN RELACION CON LOS OBJETIVOS A MEDIR. b) Información estadística: estimar parámetros para cada ítem, analizar los distractores o alternativas incorrectas de respuesta y examinar el posible funcionamiento diferencial de los ítems en grupos de interés.

VII.Fiabilidad - Criterio de calidad. Se relaciona con la precisión de las medidas obtenidas con un test. - Informa sobre: el grado en que las puntuaciones empíricas reflejan las verdaderas y grado de ajuste entre puntuaciones empíricas y verdaderas. - Procedimientos para constatar la fiabilidad: basados en el modelo lineal de regresión. Índice usado: coeficiente de correlación de Pearson (para la estabilidad temporal de las puntuaciones obtenidas y la consistencia interna del test). Por tanto, UNA MEDIDA ES FIABLE SI ES PRECISA. ESTABLE Y CONSISTENTE. VIII.Validez - Grado en que un instrumento mide aquello que dice medir.

IX.Elaborar las normas Evaluación de los sujetos: asignación, interpretación y equiparación de las puntuaciones.  Las puntuaciones directas se transforman en estandarizadas y con éstas se confeccionan baremos.  Existen dos tipos de baremos: a)Referidos al criterio: informan sobre el grado en que el sujeto posee la característica o dominio medido. Se ven posibilitados gracias a las mediciones que se realizan desde la TRI (teoría de respuesta al ítem). b)Referidos a la norma: informan de la posición que ocupa el sujeto, en el rasgo medido, respecto a su grupo de iguales. Las mediciones de este tipo de baremos se realizan desde la TCT (teoría clásica de los test).

Diferencias entre baremos DE CRITERIO DE NORMA Finalidad evaluación Estimar rendimiento en los objetivos que mide Indicar las diferencias interindividuales en el rasgo que miden. Construcción del instrumento Especificar el dominio de contenido y del uso pretendido por el instrumento Los ítems se construyen derivados de alguna teoría de rasgo o de constructo Selección de los ítems En función de objetivos y uso predeterminado del instrumento Indica la varianza del test, Maximiza la varianza y elige los ítems de dificultad Significado de las puntuaciones Puntuación = estimador muestral de la conducta del sujeto en el dominio indican las diferencias interindividuales, maximizan la varianza del test y eligen los ítems de dificultad Interpretación de las puntuaciones Significado en términos absolutos Significado solo con relación al grupo normativo de referencia

Construcción según distintas teoría Teoría de test:  Teoría que aporta modelos para las puntuaciones de los test  Función: Dar cuenta del error de medida inherente a toda medición psicológica (estimar el error y proporcionar una estimación del rasgo o característica evaluada: estimación de la característica de interés) Teoría clásica de los test :  Desarrolla un modelo estadístico que contempla los errores de medida.  Asume que la puntuación empírica que obtiene un sujeto cuando se le administra un test (X) es función de - El nivel real o verdadero en que el sujeto posee la característica o rasgo que se está evaluando (V) - El error de medida que siempre se introduce en cualquier proceso de medida (E). La relación entre el comportamiento observable (X) y el nivel del sujeto en la variable no observable (V) es una relación lineal.

Limitaciones de la TCT:  La no invarianza de las mediciones respecto de los instrumentos utilizados.  Las propiedades de los instrumentos de medida dependen en exceso de los objetos medidos, es decir, de los sujetos a los que se aplica el test.  Dificultad real que existe para construir test paralelos, concepto clave en la TCT ya que afecta directamente al cálculo del coeficiente de fiabilidad y longitud de los tests. Alternativa a las limitaciones anteriores  Teoría de Respuesta al ítem: - Permite construir y analizar de modo más potente los tests - Objetivo principal: “conseguir medidas invariantes respecto de los sujetos medidos y de los instrumentos utilizados”.(Muñiz,1997). - Unifica dos conceptos: el de separación de parámetros e invarianzas de los mismos. - Por tanto, sus principales supuestos se van a referir a la naturaleza del rasgo que se pretende medir y a las relaciones que se esperan entre las respuestas de los ítems.

Tipos de informes I Descriptivos: interpretan cada subescala sin referirse a las demás. Dichas interpretaciones pueden: Descriptivos: interpretan cada subescala sin referirse a las demás. Dichas interpretaciones pueden:  Añadir grado al nombre de la escala  Indicar la posición del sujeto en la subescala según varias categorías ordenadas.  Añadir información estadística sobre el rendimiento del sujeto en relación al grupo normativo (sólo los más elaborados) Condicionados: interpretan en qué nivel se cumplen ciertas condiciones en diferentes subescalas (primer acercamiento al problema). Condicionados: interpretan en qué nivel se cumplen ciertas condiciones en diferentes subescalas (primer acercamiento al problema).

Tipos de informes II Consultivos: Consultivos:  Empleados por los expertos que emplean frecuentemente el test  Utiliza lenguaje técnico adecuado y formas de redacción similares a las que se emplean en los informes clínicos  Más elaborados que los informes condicionados.

Test que se ofertan:

Recursos humanos AUTOMATIZA DOS POSIBLE CORRECCIO N MECANIZAD A POSIBLE CORRECCIO N POR INTERNET DISQUETE DE CORRECCIO N Y PERFIL INTELIGENCIA11100 APTITUDES0190 PERSONALID AD COMPETENC IAS 0020 CLIMA LABORAL, MOTIVACION ES, VALORES 0320 IDIOMAS0100

ESCOLAR Y CLINICA INFORMATIZ ADOS POSIBLE CORRECCIO N MECANIZAD A CORRECCIO N POR INTERNET DISQUETE DE CORRECCIO N Y PERFIL INTELIGENCIA1312 APTITUDES2910 PERSONALIDA D CLINICOS1846 INTERESES, MOTIVACIONES Y VALORES 0510 PROYECTIVO0000 NEUROPSICOL OGICO 1010 PEDAGOGICO Y DE RENDIMIEN TO2730 JUEGOS DE INTERVENCIO N 0000 PROGRAMAS DE INTERVENCIO N 2010 RELAJACION2000