EVALUACIÓN DE COMPETENCIAS CLÍNICAS: Conceptos y Experiencias Dr. Ricardo Lillo ODE Facultad de Medicina CAS - UDD

Modelos Educacionales Aprendizaje SituacionalAprendizaje Situacional Aprendizaje basado en ProyectosAprendizaje basado en Proyectos Aprendizaje basado en ProblemasAprendizaje basado en Problemas Aprendizaje por DescubrimientoAprendizaje por Descubrimiento Aprendizaje Centrado en el EstudianteAprendizaje Centrado en el Estudiante Aprendizaje AuténticoAprendizaje Auténtico Aprendizaje basado en PacientesAprendizaje basado en Pacientes

Escalando la piramide... Knows Shows how Knows how Does Conocer Factual tests: MCQ, essay type, oral….. Saber cómo (Clinical) Context based tests: MCQ, essay type, oral….. Mostrar Cómo Performance assessment in vitro: OSCE, SP-based test….. Hacer Performance assessment in vivo: Undercover SPs, Video, Logs…..

Enfasis en Nuevas Destrezas Aprender a aprenderAprender a aprender Apreciación de sí mismoApreciación de sí mismo LiderazgoLiderazgo Habilidades para Trabajar en EquipoHabilidades para Trabajar en Equipo MetaconocimientoMetaconocimiento Habilidades para ExponerHabilidades para Exponer Espíritu Crítico y reflexivo…….Espíritu Crítico y reflexivo…….

Extensión de la pirámide Knows Shows how Knows how Does Saber Saber Cómo Mostrar Cómo Hacer “Meta” destrezas destrezas

Conceptos Claves: COMPETENCIA - DESEMPEÑO Competencia: el estudianteCompetencia: el estudiante es capaz de hacer es capaz de hacer Desempeño: el estudianteDesempeño: el estudiante hace hace

Cambio en paradigma educativo De objetivos de aprendizaje, a resultados de aprendizaje De objetivos de conocimientos, habilidades y actitudes, a Competencias

SABERConocimientos SER Actitudes y valores SABER HACER Habilidades y destrezas COMPETENCIA COMPETENCIA

Combinación dinámica de atributos (conocimiento y su aplicación, destrezas y actitudes) que describen la capacidad de desenvolverse de un estudiante al final del proceso educativo Tuning 2003

La Evaluación determina el aprendizaje Curriculum Profesor Evaluación Estudiante Competencias

Curriculum: OBJETIVOSCurriculum: OBJETIVOS Metodologías apropiadasMetodologías apropiadas Evaluación: INSTRUMENTOSEvaluación: INSTRUMENTOS Definir las Competencias Demostrar las Competencias Desarrollar las Competencias

Innovando en la enseñanza El Mercurio, cuerpo B, Viernes 17 Abril 2009 “El destacado profesor M …procedente de Harvard, señaló: lo importante no es lo que enseñamos, sino lo que los alumnos aprenden”

“ La clave de un Desempeño competente, es la evaluación, no como un estímulo coercitivo aplicado periódicamente por la estructura académica, sino como una herramienta personal para apreciar el desempeño pasado y determinar las necesidades de aprendizaje” - Squires BP. 1989

Proceso de recopilación de informaciones Mediante medios formales Instrumentos Adecuados Juicios Valorativos Toma de Decisiones

Funciones de la EVALUACIÓN Medición Diagnóstico – Tratamiento Pronóstico Control del Proceso CertificaciónSelección

El proceso de evaluación tiene: instancias formativas que se verifican durante el período de formación una instancia sumativa al final del proceso. “when the cook tastes the soup, FE.When the guest taste the soup, that´s SE” Bob Stake

¿cómo elegir el instrumento adecuado? De acuerdo a los OBJETIVOS (claros y medibles) ¿qué deben aprender estos alumnos y por qué? ¿qué quiero que mi alumno sea capaz de hacer con este contenido? ¿qué voy a medir? ¿cómo lo voy a medir? Selección del INSTRUMENTO mas adecuado

Dirigir la evaluación a objetivos importantes: competencias finales competencias intermedios para llegar a ellos evitar hechos aislados ¿qué no puede dejar de saber el alumno al salir o al terminar el curso?

¿ Que le pedimos a un procedimiento para evaluar a nuestros alumnos al final de un Ciclo Clínico ?

que mida lo que se supone que mida lo que se supone que debe medir que debe medir Que sea válido, o sea... que sus diferentes formas que sus diferentes formas midan consistentemente midan consistentemente que los examinadores puedan que los examinadores puedan generar conclusiones e hipótesis generar conclusiones e hipótesis a partir de los resultados a partir de los resultados

Que sea válido, o sea... que evalúe el desempeño clínico, que evalúe el desempeño clínico, incluyendo habilidades como: incluyendo habilidades como: - realizar el Examen Físico - identificar los problemas del paciente realizando diagnóstico paciente realizando diagnóstico diferencial diferencial - obtención de HISTORIA CLÍNICA

que evalúe el desempeño clínico, que evalúe el desempeño clínico, incluyendo habilidades como: incluyendo habilidades como: Que sea válido, o sea...  solicitar exámenes apropiados  interpretar correctamente sus resultados resultados  recomendar y llevar a cabo un apropiado manejo, incluyendo la apropiado manejo, incluyendo la educación del paciente educación del paciente

que permita que la evaluación que permita que la evaluación se realice con problemas se realice con problemas reales, emergencias y con los reales, emergencias y con los contenidos seleccionados contenidos seleccionados Que sea válido, o sea... que sea congruente con los que sea congruente con los OBJETIVOS planteados para OBJETIVOS planteados para el programa el programa

Domain of Interest Test Sample 

en términos de objetividad, en términos de objetividad, exactitud, precisión y reproducibilidad exactitud, precisión y reproducibilidad Que sea confiable, Rowntree (1977): "Se asume que todos los examinadores sienten, entienden y juzgan de la misma manera cuando se enfrentan al trabajo de un determinado estudiante"

considerando que en nuestros considerando que en nuestros exámenes normalmente hay tres exámenes normalmente hay tres variables los estudiantes, los variables los estudiantes, los examinadores y los pacientes examinadores y los pacientes una metodología confiable, debe una metodología confiable, debe minimizar la variabilidad de los minimizar la variabilidad de los pacientes y de los examinadores pacientes y de los examinadores Que sea confiable,

sus requerimientos de personal y sus requerimientos de personal y recursos sean alcanzables recursos sean alcanzables Que sea práctico, o sea... puede cubrir las necesidades puede cubrir las necesidades en cuanto al número de en cuanto al número de estudiantes a examinar estudiantes a examinar que existan los espacios físicos que existan los espacios físicos donde desplegar el proceso donde desplegar el proceso

OSCE - Objective Structured Clinical Examination - Clinical Examination - cumple con la mayoría de los criterios anteriores

OSCE - Evaluación Clínica Objetiva y Estructurada - Objetiva y Estructurada - cumple con la mayoría de los criterios anteriores

Es un método de evaluación del desempeño clínico de los estudiantes... Objetivo Estructurado, en el cual las áreas evaluadas son cuidadosamente seleccionadas por los examinadores

Los desempeños clínicos son divididos en varios componentes, cada uno de los cuales es evaluado secuencialmente y es el objetivo de una de las estaciones del examen

Cada estación tiene una duración de 4 a 5 min y se organizan unas 20 estaciones, de manera que todos los contenidos y objetivos puedan ser evaluados

En las estaciones el estudiante deberá demostrar la realización de un procedimiento ó el manejo de algún concepto mediante diferentes actividades

Para diseñar una estación, debe partir por definir el contenido a examinar y el nivel de desempeño requerido a partir de ello identifique una situación ó actividad que permita al estudiante demostrar sus competencias

Una vez elegido el instrumento … Verificar Relevancia ¿ tendrá i mpacto en el aprendizaje y practica futura? Validez ¿mide lo que pretende medir? Confiabilidad ¿ será consistente su resultado con lo que se intentó medir? Factibilidad ¿es factible de implementar? Objetividad ¿el resultado será igual para examinadores distintos?

Validez y confiabilidad de los resultados de un test Confiable no Valido y Confiable No valido Ni Confiable

Factores que atentan contra confiabilidad Longitud de la prueba: es directamente pp Objetividad de los examinadores La copia Sesgo en la apreciación de un alumno Interpretaciones erradas de reacciones de los alumnos Problemas ambientales que interfieran Condición anímica de alumnos y docentes

En síntesis La sociedad tiene derecho a recibir profesionales competentes La competencia la aseguramos a través de la evaluación Los instrumentos de esta evaluación deben ser adecuados, validos, confiables y complementarios La construcción de estos instrumentos requiere tiempo y dedicación Deben diseñarse al mismo tiempo que los objetivos y adecuarse a la naturaleza y profundidad de ellos Sin perder de vista que es el alumno el destinatario de ellos, es la célula del proceso enseñanza-aprendizaje

‘El ARTE de la MEDICINA es aprendido SÓLO por la EXPERIENCIA, no es hereditario, ni puede ser revelado. Aprenda a VER, Aprenda a ESCUCHAR, Aprenda a SENTIR, Aprenda a OLER... y entenderá que sólo por la PRÁCTICA Ud. llegará a ser experto’ Sir William Osler Sir William Osler