REUMEVAL: SISTEMA ONLINE PARA LA EVALUACIÓN DOCENTE DE LAS ROTACIONES MIR EN REUMATOLOGÍA. Miguel Ángel Belmonte Serrano¹, Patricia Tejón Menéndez¹, Antonio Lozano Saez¹, Juan Antonio Castellano Cuesta², Nagore Fernández Llanio Comella², Javier Calvo Catalá³, Amparo Ybañez García⁴, Rafael Belenguer Prieto⁵, Francisco Javier Navarro Blasco⁶, Vicente Vila Fayos⁷, José Rosas Gómez de Salazar⁸, Eliseo Pascual Gómez⁹. ¹Hospital Universitario General de Castellón, Hospital Universitario Arnau de Vilanova², Hospital General Universitario de Valencia³, Hospital Universitario Doctor Peset⁴, Hospital Nisa 9 de Octubre⁵, Hospital General Universitario de Elche⁶, Hospital de Vinaroz⁷, Hospital de Villajoyosa⁸, Hospital General Universitario de Alicante⁹. Sociedad Valenciana de Reumatología. 1. Introducción En la mayor parte de las unidades de Reumatología de nuestro país los médicos en formación MIR de otras especialidades deben realizan rotaciones para adquirir conocimientos de nuestra especialidad, pero no se realizan evaluaciones formales de las capacidades adquiridas. Por ello, hemos creído interesante desarrollar un sistema de evaluación de conocimientos teóricos y prácticos que sea objetivo y cuantificable, de fácil acceso, estandarizado y sencillo de utilizar. 2. Objetivos Conocer el estado inicial de conocimientos de Reumatología y evaluar el incremento de éstos después de la rotación. Comparar resultados de los conocimientos que presentan según las características de los examinados (Universidad, edad, nº MIR...). Realizar y analizar encuestas de satisfacción y utilidad de la rotación tanto por el MIR como por el tutor de la Unidad y comparar los resultados entre distintos centros. Disponer de una herramienta de gestión para el tutor de cada centro donde se realiza este tipo de evaluación objetiva e informatizada. Obtener una base de datos global para realizar análisis sobre eficacia de educación reumatológica. 3. Materiales y métodos Se ha desarrollado una plataforma informática online para la realización de los test. Se elaboraron un conjunto de 300 preguntas, de las cuales >10% incluyen imágenes. Estas preguntas cubren temas de todo el espectro de la especialidad. Para confirmar la adecuación de las preguntas al nivel esperado de los MIR en rotación se realizó una ronda Delphi entre los centros participantes detectándose 61 preguntas inapropiadas que fueron sustituidas por otras más asequibles. El procedimiento de evaluación se realiza en dos tiempos: un primer test de 30 preguntas al iniciar la rotación, que incluye datos demográficos, y un segundo test similar que se realiza al finalizar la rotación en Reumatología y que incluye un cuestionario de satisfacción de la rotación realizada. Cada pregunta tiene cuatro posibles respuestas de las cuales solamente una es válida, cada respuesta acertada suma un punto y la fallada resta 0.25 puntos y se acompaña de una explicación. 4. Resultados Datos sociodemográficos Se recopilaron los datos de trece centros de la Comunidad Valenciana: dos de la provincia de Castellón, seis de Valencia y cinco de Alicante. Este sistema de evaluación de conocimientos fue utilizado por 65 MIR. La mayoría tenían como especialidad Medicina Familiar y Comunitaria (69.2%) y eran residentes de segundo año (61.5%). Su edad media fue de 29±5.1 años con un rango entre 26 y 53 años. El 73.9% eran mujeres y, el 89.1% de los participantes tenían nacionalidad española. Resultados de los test Los resultados corresponden a un periodo de trece meses de fase piloto del proyecto (ver gráfico). El primer test se realizó en un tiempo medio de 21.9±6.6 minutos. La media de preguntas acertadas fue de 19.3±3.3, de preguntas falladas 10.3±3.2 y no respondidas 0.5±1.2. La puntuación global media de la primera evaluación fue de 18.3±4.1 con un rango entre 8 y 26 puntos, en escala de cero a diez la media fue de 5.6±1.4 puntos. La segunda evaluación fue realizada por 38 médicos MIR (58.5%), el tiempo medio de este test fue de 23.5±11.0 minutos. La media de preguntas acertadas fue de 21.1±3.8, el número medio de preguntas contestadas de forma incorrecta fue de 8.2±3.5 y la media de preguntas no contestadas fue de 0.7±1.4. La media de la puntuación global fue de 20.2±4.6, con un rango entre 12.5 y 30 puntos, en una escala de cero a diez la media era de 6.3±1.5. Se objetivó un incremento medio entre ambas evaluaciones de 1.8±4.3 puntos en relación a la puntuación total, lo que se corresponde con un aumento medio de 0.8±1.4 puntos normalizados en rango de 0 a 10. Los índices de satisfacción por parte del MIR y tutor tras la rotación fueron >90% en todos los casos. 5. CONCLUSIONES REUMEVAL es un sistema online que permite una evaluación objetiva del incremento de conocimientos de Reumatología en los MIR que realizan el rotatorio por unidades de esta especialidad. En este estudio piloto comprobamos la aceptación del sistema por parte de los MIR y sus tutores, así como un aumento discreto pero demostrable de conocimientos tras la rotación. Estudio realizado con el aval de la Sociedad Valenciana de Reumatología y el patrocinio de MSD.