Evaluación de las competencias clinicas Dr. Alberto Alves de Lima

Presentación del tema: "Evaluación de las competencias clinicas Dr. Alberto Alves de Lima"— Transcripción de la presentación:

1 Evaluación de las competencias clinicas Dr. Alberto Alves de Lima
El caso del Mini-CEX Dr. Alberto Alves de Lima

2 Expertise Unidades únicas elaboradas y bien organizadas de conocimiento, que afloran habitualmente gatilladas por patrones clínicos característicos Implican la habilidad practica de manejo de problemas ambiguos y mal estructurados, balancear explicaciones que compiten, evita cierres prematuros, identificar excepciones a las reglas y principios e inclusive elegir bajo presión diferentes cursos de acción que son aceptables pero imperfectos Ronald Epstein (2007)

3 Desarrollo de la expertise
Vision moderna Los niveles de entrenamiento y de experiencia estan vinculados debilmente medidas objetivas de desempeño Individuos altamente experimentados pueden continuar mejorando a traves del entrenamiento Individuos motivados pueden mejorar las habilidades adquiridas a un nivel mucho mayor Vision tradicional Experiencia lleva a ser experto Las personas alcanzan un nivel limitado estable de desempeño luego de una experiencia considerable Hay una predeterminacion genetica que limita el nivel de desempeño que puede alcanzar el individuo Ericsson KA. Acad Med. 2004

4 Desempeño experto vs. Habilidades del dia a dia
Ericsson KA. Deliberate Practice and the Acquisition and Maintenance of Expert Performance in Medicine and Related Domains. Acad Med. 2004

5 Desempeño profesional
El grado en que un individuo puede utilizar el conocimiento, habilidades, el criterio asociado a su profesión para llevar adelante eficientemente los problemas relacionados con su práctica. (Michael Kane, 1992) Especificidad de contenido Multidimensionalidad Kane M. Evaluation and the Health professions 1992;15:163

6 Multidimensionalidad

7 Especificidad de contenido
El ser competente frente a un caso / contexto no significa que lo sea frente a otro / contexto Estudiantes Van der Vleuten 16 hs Estudiantes Kreiter 8 = 0.65 Médicos Carline 10 – 17 observaciones Médicos Alves de Lima observaciones Van der Vleuten et al. Teach and Learn 1990;2Kreiter Cet al. Acad Medicina 1998, Carline et al. Eval health professions 1989;12:409. Alves de Lima et al. MT 2005

8 Claves para el desarrollo de un desempeño competente
Trabajar con objetivos y tareas concretas Tener feedback Repeticion Auto-refleccion Motivacion Resistencia Ericsson KA et al. Psych Rev (3):

9 Aprendizaje Implica el procesamiento de información. Las nuevas cosas que aprendemos son influenciadas por nuestro conocimiento previo asi la nueva información que procesamos esta en relación con la existente Se trata de un proceso activo, de construcción, autodirigido en el cual el estudiante construye representaciones propias de conocimiento que forma la interpretación personal de la experiencia de aprendizaje Estas representaciones cambian constantemente en función del significado que el individuo le da a su experiencia Duffy & Jonassen (1992)

10 El lente por donde se mire
HACE ACCIÓN DESEMPEÑO MUESTRA COMO SABE CÓMO RAZONAMIENTO CONOCIMIENTO SABE Miller J. Acad Med, 1990

11 Evaluación en servicio
Alves de Lima A. Rev Argent Cardiol 2005:73(1): 39-43

12 Problemas Calidad de la evaluación Problemas de exactitud
Acuerdo intra e interevaluador Tiempo del hecho a la evaluación Contexto Información fragmentada Muestra pequeña y no sistematizada de observaciones Contacto personal limitado Alves de Lima A. Rev Argent Cardiol 2005:73(1): 39-43

13 Observaron 1 residentes (VIDEO)
Exactitud 203 profesores de medicina interna Observaron 1 residentes (VIDEO) Randomizado Formulario abierto Formulario cerrado Evaluaron el 30 % de las debilidades y fortalezas. Las fortalezas fueron mas omitidas que las debilidades Evaluaron el 60 % de las debilidades y fortalezas. Las fortalezas fueron mas omitidas que las debilidades Noel GL: Annals of Internal Medicine 1991;114:393

14 Acuerdo intra e inter evaluadores
Intra evaluadores: - Atención - Perspectiva - Estandares - Humor Inter evaluadores: - Diferente valor a diferentes aspectos Expertos vs NO expertos - Diferentes expectativas de cuál es el nivel aceptable de competencia - Indulgentes y exigentes Correlaciones NO uniformes Alves de Lima A. Rev Argent Cardiol 2005:73(1): 39-43 Kalet A, Earp JA. Journal of General Internal Medicine 1992;7:499 Weekly JA, Gier JA. Academic of Management Journal 1989;32:213

15 La Nación

16 Tiempo del hecho a la evaluación
Alves de Lima A. Devolución Constructiva. Medicina (Bs. As) 2008,67:1-5

17 Problemas Calidad de la evaluación Problemas de exactitud
Acuerdo intra e inter evaluador Tiempo del hecho a la evaluación Contexto Información fragmentada Organizacion de datos Alves de Lima A. Rev Argent Cardiol 2005:73(1): 39-43

18 Información fragmentada
Muestra pequeña y no sistematizada de observaciones Frecuencia de las observaciones Contacto personal limitado

19 Alves de Lima. Medicina (Bs2008 Aires), 2008
Devolución Dar información a un estudiante o residente describiendo su desempeño en una situación observada Alves de Lima. Medicina (Bs2008 Aires), 2008 Alves de Lima A. Devolución Constructiva. Medicina (Bs. As) 2008,67:1-5

20 (Pautado vs realizado) Recomendación para mejorar
Devolución Apreciación del hecho vs patrón (Pautado vs realizado) Observación directa de un evento Recomendación para mejorar Recomendación (90%) Plan de acción 10% Reacción 10% Autoreflexión 10% Alves de Lima A. Devolución Constructiva. Medicina (Bs. As) 2008,67:1-5 Alves de Lima. Medicina (Bs Aires), 2008

21 Datos generales 55 herramientas descriptas
21 (38%) solo con estudiantes 32 (58%) solo con residentes 2 (4%) ambos (Mini-CEX) 58% caracter formativo 13 % caracter sumativo 13 % ambos Kogan J. et al. Tools for Direct Observation. JAMA 2009;302(12):

22 Ejercicio de Examen Clínico Reducido Mini Clinical Evaluation eXercise
Alves de Lima. REV ARGENT CARDIOL 2002; 70:

23 Mini-CEX: consignas Habilidades para la Conducción de la Entrevista Médica: Facilita que el paciente explique lo que le pasa, usa eficazmente las preguntas y da instrucciones precisas y adecuadas para obtener la información necesaria; responde apropiadamente a las señales afectivas, verbales y no verbales. Habilidades para la Conducción del Examen Físico: Sigue una secuencia eficiente, equilibrio entre los pasos de detección / diagnóstico del problema; información al paciente; sensibilidad al bienestar y pudor del paciente. Cualidades Humanísticas / profesionalismo: Muestra respeto, compasión, empatía; genera confianza; atiende las necesidades del paciente en cuanto a bienestar, pudor, confidencialidad e información.     

24 Mini-CEX: consignas Criterio Clínico: Ordena, selecciona los estudios diagnóstico en forma apropiada, considera los riesgos, beneficios. Habilidades para el Asesoramiento del Paciente: Explica los fundamentos del estudio / tratamiento, obtiene el consentimiento del paciente; instruye / aconseja con respecto a la conducta a seguir. Organización / eficiencia: Prioriza; es oportuno; sucinto. Competencia Clínica Global: Demuestra criterio, síntesis, atención y cuidado, eficacia y eficiencia.

25 Alves de Lima. Medical Teacher, 2007; 29: 785–790
Mini-CEX Número de encuentros Alves de Lima. Medical Teacher, 2007; 29: 785–790 Alves de Lima. Medical Teacher, 2007

26 Mini-CEX Complejidad de los pacientes
Alves de Lima. Medical Teacher, 2007; 29: 785–790 Alves de Lima. Medical Teacher, 2007

27 Alves de Lima. Medical Teacher, 2007; 29: 785–790
Mini-CEX Foco de encuentro Alves de Lima. Medical Teacher, 2007; 29: 785–790 Alves de Lima. Medical Teacher, 2007

28 Alves de Lima. Medical Teacher, 2007; 29: 785–790
Mini-CEX Problemas Alves de Lima. Medical Teacher, 2007; 29: 785–790 Alves de Lima. Medical Teacher, 2007

29 Alves de Lima. Medical Teacher, 2007; 29: 785–790
Mini-CEX Ámbito Alves de Lima. Medical Teacher, 2007; 29: 785–790 Alves de Lima. Medical Teacher, 2007

30 Grado de Competencia Global
Mini-CEX Grado de Competencia Global Alves de Lima. Medical Teacher, 2007; 29: 785–790 Alves de Lima. Medical Teacher, 2007

31 Alves de Lima. Medical Teacher, 2007
Mini-CEX Validez Año de residencia 95 % IC Competencia Clinica Global Alves de Lima. Medical Teacher, 2007 Alves de Lima. Medical Teacher, 2007

32 Alves de Lima. Medical Teacher, 2007; 29: 785–790
Mini-CEX Validez Alves de Lima. Medical Teacher, 2007; 29: 785–790

33 CONFIABILIDAD Reproducibilidad Consistencia Interna
Analiza la situación en que dos scores obtenidos ya sea: 2 ocasiones (test-retest) 2 formatos equivalentes (alternate forms) 2 observadores diferentes (inter-rater) Consistencia Interna El grado en que los ítems están midiendo cosas similares Un concepto o constructo

34 Teoría de la Generalización
G(eneralizability)-study: Estima las fuentes de varianza que influencian la medición (e.j., varianza entre estudiantes, observadores, casos ) D(ecision)-study: Estima los indices de reproducibilidad en funcion de una muestra concreta (e.j., número de ejercicos, observaciones)

35 Fuentes de varianza o error (G)
Vr Diferencia en desempeño: Varianza verdadera Vo Exigente o indulgente Vc Dificultad del caso o procedimiento Vro Prejuicio Vrc Aptitud (Especificidad de contenido / contexto) Voc Exigencia relacionada al caso. S/N experto Vroc Error residual Alves de Lima et al. Advances in Health Science Education, 2011

36 Alves de Lima. Medical Teacher, 2007; 29: 785–790
Mini-CEX Reproducibilidad Alves de Lima. Medical Teacher, 2007; 29: 785–790

37 Alves de Lima et al. Advances in Health Science Education, 2011

38 18 % G (Generalizability)-study
Alves de Lima et al. Advances in Health Science Education, 2011

39 D (Decision)-study = 0,75 0,483 0,0,159/21 + 0,121/3 0,583/63 0,0072 0,04 0,0008 = Alves de Lima et al. Advances in Health Science Education, 2011

40 D(ecision)-study Full nested C-R/observador 10 encuentros 1 observador
2 observadores 7 encuentros 2 observadores 3 encuentros 4 encuentros 3 observadores 3 observadores Alves de Lima et al. Advances in Health Science Education, 2011