Evaluación de las competencias clinicas Dr. Alberto Alves de Lima El caso del Mini-CEX Dr. Alberto Alves de Lima

Expertise Unidades únicas elaboradas y bien organizadas de conocimiento, que afloran habitualmente gatilladas por patrones clínicos característicos Implican la habilidad practica de manejo de problemas ambiguos y mal estructurados, balancear explicaciones que compiten, evita cierres prematuros, identificar excepciones a las reglas y principios e inclusive elegir bajo presión diferentes cursos de acción que son aceptables pero imperfectos Ronald Epstein (2007)

Desarrollo de la expertise Vision moderna Los niveles de entrenamiento y de experiencia estan vinculados debilmente medidas objetivas de desempeño Individuos altamente experimentados pueden continuar mejorando a traves del entrenamiento Individuos motivados pueden mejorar las habilidades adquiridas a un nivel mucho mayor Vision tradicional Experiencia lleva a ser experto Las personas alcanzan un nivel limitado estable de desempeño luego de una experiencia considerable Hay una predeterminacion genetica que limita el nivel de desempeño que puede alcanzar el individuo Ericsson KA. Acad Med. 2004

Desempeño experto vs. Habilidades del dia a dia Ericsson KA. Deliberate Practice and the Acquisition and Maintenance of Expert Performance in Medicine and Related Domains. Acad Med. 2004

Desempeño profesional El grado en que un individuo puede utilizar el conocimiento, habilidades, el criterio asociado a su profesión para llevar adelante eficientemente los problemas relacionados con su práctica. (Michael Kane, 1992) Especificidad de contenido Multidimensionalidad Kane M. Evaluation and the Health professions 1992;15:163

Multidimensionalidad

Especificidad de contenido El ser competente frente a un caso / contexto no significa que lo sea frente a otro / contexto Estudiantes Van der Vleuten 16 hs Estudiantes Kreiter 8 = 0.65 Médicos Carline 10 – 17 observaciones Médicos Alves de Lima 10 - 50 observaciones Van der Vleuten et al. Teach and Learn 1990;2Kreiter Cet al. Acad Medicina 1998, Carline et al. Eval health professions 1989;12:409. Alves de Lima et al. MT 2005

Claves para el desarrollo de un desempeño competente Trabajar con objetivos y tareas concretas Tener feedback Repeticion Auto-refleccion Motivacion Resistencia Ericsson KA et al. Psych Rev.1993. 100(3):363-406.

Aprendizaje Implica el procesamiento de información. Las nuevas cosas que aprendemos son influenciadas por nuestro conocimiento previo asi la nueva información que procesamos esta en relación con la existente Se trata de un proceso activo, de construcción, autodirigido en el cual el estudiante construye representaciones propias de conocimiento que forma la interpretación personal de la experiencia de aprendizaje Estas representaciones cambian constantemente en función del significado que el individuo le da a su experiencia Duffy & Jonassen (1992)

El lente por donde se mire HACE ACCIÓN DESEMPEÑO MUESTRA COMO SABE CÓMO RAZONAMIENTO CONOCIMIENTO SABE Miller J. Acad Med, 1990

Evaluación en servicio Alves de Lima A. Rev Argent Cardiol 2005:73(1): 39-43

Problemas Calidad de la evaluación Problemas de exactitud Acuerdo intra e interevaluador Tiempo del hecho a la evaluación Contexto Información fragmentada Muestra pequeña y no sistematizada de observaciones Contacto personal limitado Alves de Lima A. Rev Argent Cardiol 2005:73(1): 39-43

Observaron 1 residentes (VIDEO) Exactitud 203 profesores de medicina interna Observaron 1 residentes (VIDEO) Randomizado Formulario abierto Formulario cerrado Evaluaron el 30 % de las debilidades y fortalezas. Las fortalezas fueron mas omitidas que las debilidades Evaluaron el 60 % de las debilidades y fortalezas. Las fortalezas fueron mas omitidas que las debilidades Noel GL: Annals of Internal Medicine 1991;114:393

Acuerdo intra e inter evaluadores Intra evaluadores: - Atención - Perspectiva - Estandares - Humor Inter evaluadores: - Diferente valor a diferentes aspectos Expertos vs NO expertos - Diferentes expectativas de cuál es el nivel aceptable de competencia - Indulgentes y exigentes Correlaciones NO uniformes Alves de Lima A. Rev Argent Cardiol 2005:73(1): 39-43 Kalet A, Earp JA. Journal of General Internal Medicine 1992;7:499 Weekly JA, Gier JA. Academic of Management Journal 1989;32:213

La Nación. 24.03.12

Tiempo del hecho a la evaluación Alves de Lima A. Devolución Constructiva. Medicina (Bs. As) 2008,67:1-5

Problemas Calidad de la evaluación Problemas de exactitud Acuerdo intra e inter evaluador Tiempo del hecho a la evaluación Contexto Información fragmentada Organizacion de datos Alves de Lima A. Rev Argent Cardiol 2005:73(1): 39-43

Información fragmentada Muestra pequeña y no sistematizada de observaciones Frecuencia de las observaciones Contacto personal limitado

Alves de Lima. Medicina (Bs2008 Aires), 2008 Devolución Dar información a un estudiante o residente describiendo su desempeño en una situación observada Alves de Lima. Medicina (Bs2008 Aires), 2008 Alves de Lima A. Devolución Constructiva. Medicina (Bs. As) 2008,67:1-5

(Pautado vs realizado) Recomendación para mejorar Devolución Apreciación del hecho vs patrón (Pautado vs realizado) Observación directa de un evento Recomendación para mejorar Recomendación (90%) Plan de acción 10% Reacción 10% Autoreflexión 10% Alves de Lima A. Devolución Constructiva. Medicina (Bs. As) 2008,67:1-5 Alves de Lima. Medicina (Bs Aires), 2008

Datos generales 55 herramientas descriptas 21 (38%) solo con estudiantes 32 (58%) solo con residentes 2 (4%) ambos (Mini-CEX) 58% caracter formativo 13 % caracter sumativo 13 % ambos Kogan J. et al. Tools for Direct Observation. JAMA 2009;302(12):1316-1326

Ejercicio de Examen Clínico Reducido Mini Clinical Evaluation eXercise Alves de Lima. REV ARGENT CARDIOL 2002; 70: 478-488.

Mini-CEX: consignas Habilidades para la Conducción de la Entrevista Médica: Facilita que el paciente explique lo que le pasa, usa eficazmente las preguntas y da instrucciones precisas y adecuadas para obtener la información necesaria; responde apropiadamente a las señales afectivas, verbales y no verbales. Habilidades para la Conducción del Examen Físico: Sigue una secuencia eficiente, equilibrio entre los pasos de detección / diagnóstico del problema; información al paciente; sensibilidad al bienestar y pudor del paciente. Cualidades Humanísticas / profesionalismo: Muestra respeto, compasión, empatía; genera confianza; atiende las necesidades del paciente en cuanto a bienestar, pudor, confidencialidad e información.     

Mini-CEX: consignas Criterio Clínico: Ordena, selecciona los estudios diagnóstico en forma apropiada, considera los riesgos, beneficios. Habilidades para el Asesoramiento del Paciente: Explica los fundamentos del estudio / tratamiento, obtiene el consentimiento del paciente; instruye / aconseja con respecto a la conducta a seguir. Organización / eficiencia: Prioriza; es oportuno; sucinto. Competencia Clínica Global: Demuestra criterio, síntesis, atención y cuidado, eficacia y eficiencia.

Alves de Lima. Medical Teacher, 2007; 29: 785–790 Mini-CEX Número de encuentros Alves de Lima. Medical Teacher, 2007; 29: 785–790 Alves de Lima. Medical Teacher, 2007

Mini-CEX Complejidad de los pacientes Alves de Lima. Medical Teacher, 2007; 29: 785–790 Alves de Lima. Medical Teacher, 2007

Alves de Lima. Medical Teacher, 2007; 29: 785–790 Mini-CEX Foco de encuentro Alves de Lima. Medical Teacher, 2007; 29: 785–790 Alves de Lima. Medical Teacher, 2007

Alves de Lima. Medical Teacher, 2007; 29: 785–790 Mini-CEX Problemas Alves de Lima. Medical Teacher, 2007; 29: 785–790 Alves de Lima. Medical Teacher, 2007

Alves de Lima. Medical Teacher, 2007; 29: 785–790 Mini-CEX Ámbito Alves de Lima. Medical Teacher, 2007; 29: 785–790 Alves de Lima. Medical Teacher, 2007

Grado de Competencia Global Mini-CEX Grado de Competencia Global Alves de Lima. Medical Teacher, 2007; 29: 785–790 Alves de Lima. Medical Teacher, 2007

Alves de Lima. Medical Teacher, 2007 Mini-CEX Validez Año de residencia 95 % IC Competencia Clinica Global Alves de Lima. Medical Teacher, 2007 Alves de Lima. Medical Teacher, 2007

Alves de Lima. Medical Teacher, 2007; 29: 785–790 Mini-CEX Validez Alves de Lima. Medical Teacher, 2007; 29: 785–790

CONFIABILIDAD Reproducibilidad Consistencia Interna Analiza la situación en que dos scores obtenidos ya sea: 2 ocasiones (test-retest) 2 formatos equivalentes (alternate forms) 2 observadores diferentes (inter-rater) Consistencia Interna El grado en que los ítems están midiendo cosas similares Un concepto o constructo

Teoría de la Generalización G(eneralizability)-study: Estima las fuentes de varianza que influencian la medición (e.j., varianza entre estudiantes, observadores, casos ) D(ecision)-study: Estima los indices de reproducibilidad en funcion de una muestra concreta (e.j., número de ejercicos, observaciones)

Fuentes de varianza o error (G) Vr Diferencia en desempeño: Varianza verdadera Vo Exigente o indulgente Vc Dificultad del caso o procedimiento Vro Prejuicio Vrc Aptitud (Especificidad de contenido / contexto) Voc Exigencia relacionada al caso. S/N experto Vroc Error residual Alves de Lima et al. Advances in Health Science Education, 2011

Alves de Lima. Medical Teacher, 2007; 29: 785–790 Mini-CEX Reproducibilidad Alves de Lima. Medical Teacher, 2007; 29: 785–790

Alves de Lima et al. Advances in Health Science Education, 2011

18 % G (Generalizability)-study Alves de Lima et al. Advances in Health Science Education, 2011

D (Decision)-study = 0,75 0,483 0,0,159/21 + 0,121/3 0,583/63 0,0072 0,04 0,0008 = Alves de Lima et al. Advances in Health Science Education, 2011

D(ecision)-study Full nested C-R/observador 10 encuentros 1 observador 2 observadores 7 encuentros 2 observadores 3 encuentros 4 encuentros 3 observadores 3 observadores Alves de Lima et al. Advances in Health Science Education, 2011