TAIs EN EVALUACIÓN EDUCATIVA María Fuentes García

 Recientemente la tecnología digital empieza a impactar en el diseño y desarrollo de nuevos modelos y técnicas más sofisticadas de evaluación.  Bundreson, Inouye y Olsen (1989) hablan de cuatro generaciones de la evaluación asistida por ordenador: -1ª generación: Evaluación informatizada. -1ª generación: Evaluación informatizada. - 2ª generación: Evaluación adaptativa. - 2ª generación: Evaluación adaptativa. - 3ª generación: Evaluación continua. - 3ª generación: Evaluación continua. - 4ª generación: Evaluación inteligente. - 4ª generación: Evaluación inteligente.

 Wainer (1990) define los TAI de la siguiente forma:  “ La idea fundamental de un Test Adaptativo es imitar de forma automática el comportamiento de un examinador. Esto es, si un examinador le presenta al alumno un ítem demasiado difícil para él, éste dará una respuesta errónea, y por lo tanto, la siguiente vez, el examinador presentará una pregunta algo más fácil, y viceversa”

→ La selección de ítems y el criterio de parada del test son, por tanto, adaptativos. → La evaluación del alumno se toma dinámicamente, basándose en las respuestas del alumno. → Por disponer de un banco de ítems calibrado, será posible equiparar las habilidades de dos sujetos incluso aunque en sus tests no hayan respondido ningún ítem en común. → El objetivo final de un test adaptativo es diagnosticar el nivel de conocimiento del alumno.

- ¿DÓNDE SE PUEDEN APLICAR TAI ?  Pruebas de acceso.  Capacidad de comprensión lectora.  Conocimiento matemático.  Conocimiento sobre lengua inglesa.

Prueba de acceso: EXHCOBA  La Universidad Autónoma de Baja California (1994).  El objetivo central del examen es seleccionar a los mejores alumnos de primer ingreso a la universidad. Nace con la idea se evaluar el aprendizaje básico y que se supone necesario para poder tener aprendizajes significativos y por lo tanto cursar con éxito el nivel de licenciatura.

EXHCOBA  Tipo de pregunta: - Opción múltiple con 4 posibles respuestas más una 5ª denominada “No sé ”(Esta opción la debe utilizar el estudiante cuando no conozca o no recuerde la respuesta correcta). Importante recordar que el examen evalúa el manejo de la información y no la memorización del conocimiento. Por esta razón, algunas preguntas podrán tener más de una opción parcialmente verdadera, aunque siempre habrá sólo una respuesta correcta.

EXHCOBA  SICODEX: sistema informatizado para administrar el EXHCOBA.  Función: generación de examen personalizado.

EXHCOBA  Resultados: → El estudiante trabaja eficientemente. → Realizar muchos exámenes. → No permite que se copien. → Resultados inmediatos. → Seguridad.

Capacidad de comprensión lectora: COMTEX  Programa: MICROCAT. -Banco calibrado de 437 ítems. -10 y 35 ítems y error de estimación menor de 0,30. -Finalidad: valor del instrumento construido, recogiendo para ello las opiniones de quienes han tenido experiencia práctica con el mismo, y contrastando empíricamente la validez de los resultados que arrojara

COMTEX  Evaluaba: - Formato de la prueba - Contenido de la prueba - Aceptación por parte de los alumnos - Validez de las puntuaciones otorgadas a los examinados. - Utilidad para la docencia en el área de Geografía, Historia y Ciencias Sociales

COMTEX  Aplicación: - Alumnos de la ESO. - Alumnos de la ESO. -Participaron 5 Institutos. -Participaron 5 Institutos. → Estimación de la capacidad: 0 y 10.

COMTEX  Resultados: -Cuestionarios -Cuestionarios -Calificación en TAI -Calificación en TAI -Entrevistas -Entrevistas -Calificación del curso -Calificación del curso

TEST DE MATEMÁTICAS  “Prueba de signos”( Alonso Tapia y Olea, 1997)  Operaciones tipo: a * b = c  Formato de pregunta: Sentencias canónicas de verificación -24 ítems son sumas, 24 restas, 9 productos y 9 divisiones

Prueba de signos  Conclusiones: - Ítems de mayor dificultad. - Cumplir otros criterios de ajustes más exigentes. - Respecto al modelo de Rasch, que ítems de 2 respuesta pueden tener tasas de adivinación pequeñas en determinadas poblaciones y en cierto tipo de ítems, si se piensa bien la redacción de las opciones incorrectas.

Test de inglés: e-CAT  Desarrollado por el Instituto de Ingeniería del Conocimiento (IIC), en colaboración con el Equipo de Desarrollo e Investigación en Medición (EDIM) de la UAM.  Objetivo:  Medir de manera precisa el nivel de inglés escrito de cada persona.

e-CAT  Entre 20 y 40 ítems.  Formato: Ejercicios de cloze y de elección múltiple. -Al finalizar la prueba proporciona un informe. -Ideado para empresas. -Administración: a través de Internet o instalarse en la red local

 TOEFL:

¿QUÉ SE ESTÁ HACIENDO?  -Un modelo para el diagnóstico en STI basado en Tests Adaptativos.  -Sistemas de evaluación de los alumnos mediante test informatizados utilizando telefonía móvil.

Enseñanza asistida por ordenador  Hezinet es un Sistema Hipermedia Adaptativo  4 tipos de tests: -Tests de sesión -Tests de sesión -Tests de capa -Tests de capa -Tests de curso -Tests de curso -Tests de admisión -Tests de admisión

Hezinet  Resultado de la evaluación: -El estudiante recibirá el porcentaje de respuestas correctas sobre el total y una estimación de su habilidad. -Además de registrar cuales han sido las preguntas administradas y su respuesta -Además de registrar cuales han sido las preguntas administradas y su respuesta - El sistema almacena otros datos (como el tiempo invertido en la realización del test) que facilita una mejor adaptación al alumno en una próxima evaluación.

Sistemas de evaluación de los alumnos mediante test informatizados utilizando telefonía móvil.  La universidad de Córdoba ha desarrollado una aplicación que cubre la ejecución de test adaptativos informatizados de tipo actividad y examen  Java 2 Micro Edition

Java 2 Micro Edition

VENTAJAS:  Las estimaciones realizadas por un TAI son más precisas y no están sesgadas.  Se ajustan a las características personales de cada examinado.  Los tests son más seguros, ya que a cada alumno le es suministrado un conjunto y un número diferente de ítems.

DESVENTAJAS  Seguridad, ya que los examinados podrían memorizar los ítems de un test y dar esta información a futuros examinados  Calibraciones costosas  Sentirse discriminados  Inferir un único nivel de conocimiento del alumno.