1 / 20 Nuria Joglar, José Luis Risco, José Manuel Colmenar, Rubén Sánchez, Alberto Díaz Experiencia en el desarrollo y utilización de una herramienta de corrección automática de exámenes

2 / 20  Motivación  Herramientas similares  Experiencia previa  Mejora de la herramienta  Demostración  Pruebas y Resultados  Conclusiones y Trabajo Futuro Índice

3 / 20 Motivación  Doble objetivo: Obtener una herramienta de autoevaluación para los alumnos Necesidad propuesta por las asignaturas de Matemáticas Completar la formación académica de algunos alumnos con un proyecto de cierta envergadura Herramienta Desarrollo

4 / 20 Herramientas similares  Existe una gran variedad de herramientas similares a ExaNet WebCT Sakai OLAT dotLRN Moodle  El objetivo de ExaNet no es competir con estas herramientas  El objetivo es motivar a los estudiantes doblemente Mediante el uso de la herramienta, para autoevaluación Mediante el desarrollo de la misma

5 / 20 Experiencia previa  Este trabajo parte de uno previo Experiencia educativa entre varias asignaturas, presentado en JENUI 2005  Se desarrolló una primera versión de la herramienta Exámenes online tipo test Macropráctica compartida entre cinco asignaturas  Prueba en la asignatura de Estadística ( ) Prueba voluntaria realizada en un laboratorio del centro Resultado satisfactorio Sin errores relevantes Valorada positivamente por los alumnos

6 / 20 Mejora de la herramienta: objetivos  Superar deficiencias de la herramienta obtenida en el trabajo anterior Problemas de usabilidad en el interfaz, tanto de administración como de realización de examen Ausencia de soporte a fórmulas matemáticas Imposibilidad de acceder a la aplicación desde el exterior, al encontrarse en un servidor del Centro

7 / 20 Mejora de la herramienta: proceso  Desarrollado como práctica recompensada con créditos de libre elección Dos alumnos, 45 horas totales cada uno (1,5 créditos)  Método de trabajo bastante flexible para los alumnos Objetivo final: realizar una prueba en la asignatura de Cálculo Supervisión mediante reuniones  Problemas Dificultades para trabajar con un código ajeno Objetivos eran demasiado generales Comunicación algo confusa entre profesores y alumnos Fue necesario aplazar dos veces la prueba de Cálculo

8 / 20 Mejora de la herramienta: resultados  Renovación completa del interfaz de realización de exámenes No se logró un buen interfaz de administración  Soporte para fórmulas matemáticas mediante visualización a través de MathML El profesor introduce las fórmulas en LaTeX La aplicación las traduce a MathML para su visualización  Migración de la aplicación a un servidor externo

12 / 20

13 / 20 Utilización de la herramienta: CÁLCULO Curso: Primero, Año académico Configuración Examen sin supervisión vía Internet 5 preguntas tipo test (cubren 3 de los 5 temas del temario)  5 respuestas posibles 30 minutos Acierto = 0.2, Fallo = -0.1, No respondida = 0  ( ) Calificación sumada a nota examen final  (0.. 10)

14 / 20 Resultados obtenidos: CÁLCULO Curso: Primero, Año académico  98 matriculados  Observación: todos los alumnos que asisten regularmente a clase, realizan la prueba con ExaNet EACs  Ejercicios Adicionales Calificados realizados en clase FinalExaNet Final + Exanet EACs Presentados Aprobados % aprobados

15 / 20 Resultados obtenidos: ESTADÍSTICA Curso: Segundo, Año académico FinalExaNetFinal + Exanet Presentados Aprobados % aprobados  Supervisado en laboratorio  104 matriculados

16 / 20 Análisis del tiempo de realización: CÁLCULO Curso: Primero, Año académico  La herramienta registra el tiempo del examen Tiempo medio = 22 minutos (mín = 6, máx = 30) 8 alumnos acertaron las 5 preguntas  Tiempos de ejecución más bajos ↔ Bajas calificaciones en EACs Calificaciones ExaNet frente a tiempo

17 / 20 Estadísticas de aciertos por pregunta: CÁLCULO Curso: Primero, Año académico  La herramienta ofrece estadísticas de acierto a cada una de las preguntas 45 preguntas, sólo una no apareció en ningún examen Dos tipos de preguntas Tipo I (cálculo o propiedad) => entre 40 y 60% => dificultad homogénea Tipo II (único enunciado cierto) => entre 0 y 71% => dificultad variable Estadísticas sobre frecuencias de aciertos de preguntas

18 / 20 Conclusiones  La utilización de la herramienta mejora el porcentaje de aprobados en el examen final  Experiencia de desarrollo no fue totalmente satisfactoria  Difícil de controlar un experimento vía Internet (posibles trampas)

19 / 20 Trabajo futuro  Utilización más continua de la herramienta a lo largo del curso  Nuevas funcionalidades Grado de dificultad por pregunta  Aplicación de ExaNet en Bachillerato y Secundaria de manera continuada  Adaptación de ExaNet a Infantil y Escuelas de Música usando Flash en enunciados de preguntas

20 / 20 Experiencia en el desarrollo y utilización de una herramienta de corrección automática de exámenes Muchas gracias por su atención