¿Qué es la competencia? Carlos A. Brailovsky, MD, MA (Ed), MCFPC (Hon) Centro de evaluación de ciencias de la salud Facultad de Medicina Universidad Laval Quebec, Quebec, Canadá Tucumán junio 2001

Espiral de la educación Tucumán junio 2001

La competencia: ¿Qué es y como se la mide? Tucumán junio 2001

Evolución del mundo de la evaluación Nuevos modelos teóricos Nuevos instrumentos Nuevos modelos de análisis psicométrico Tucumán junio 2001

Evolución del mundo de la evaluación Nuevos modelos teóricos Nuevos instrumentos Validación de los instrumentos en elaboración Tucumán junio 2001

La competencia: Constructo multivariado Constructo multidimensional Tucumán junio 2001

No puede medirse de manera directa La competencia: No puede medirse de manera directa Tucumán junio 2001

La competencia clínica Tucumán junio 2001

La competencia profesional Conocimientos (sabe) Acción (actúa) Competencia (sabe como) Desempeño (muestra como) De acuerdo a P. Grand’Maison y C.A. Brailovsky Tucumán junio 2001

o más bien La competencia Su evaluación: ¿Cómo indicación del alcance de los objetivos de formación? o más bien Tucumán junio 2001

¿Como puerta de entrada al ejercicio de una profesión? La competencia Su evaluación: ¿Como puerta de entrada al ejercicio de una profesión? Tucumán junio 2001

La evaluación: 6 preguntas básicas ¿Por qué? ¿Qué? ¿Quién? ¿Cómo? ¿Cuando? ¿Para quién? ? Tucumán junio 2001

La capacidad de hacer alguna cosa o la capacidad de cumplir una tarea La competencia La capacidad de hacer alguna cosa o la capacidad de cumplir una tarea Tucumán junio 2001

La competencia Su evaluación: Consecuencias Imparcialidad Complejidad cognitiva Calidad del contenido Generalisabilidad Tucumán junio 2001

Estándar de desempeño Establecimiento de estándares = Proceso para la determinación del nivel de éxito de un examen (nota de éxito/fracaso) Tucumán junio 2001

Sesgos Situaciones particulares en las que la evaluación tiene un significado y un impacto diferentes de un subgrupo de candidatos al otro Tucumán junio 2001

Sesgos Errores introducidos por el contexto específico de la situación o ligados a la influencia de variables externas al fenómeno observado Tucumán junio 2001

Estándar de desempeño Establecimiento de estándares = proceso para la determinación del nivel de éxito de un examen (nota de éxito/fracaso) Muy a menudo, los estándares elegidos son más altos que los estándares de desempeño observados en la práctica clínica real Tucumán junio 2001

¿Por qué se debe evaluar la competencia? La evaluación forma parte integrante del proceso educativo Para certificar la competencia (evaluación sumativa) « Responsabilidad e imputabilidad » Para dar retroacción (evaluación formativa) Para evaluar los programas de formación Para confirmar los valores y los estándares de la profesión Tucumán junio 2001

} La competencia Solución de problemas Los conocimientos Seleccionar Aplicar Ajustar Los conocimientos Para afrontar problemas en contextos estables Modelo de la racionalidad técnica Schon 1987 Tucumán junio 2001

La competencia profesional « Representa, para un individuo dado, el grado de utilización de los conocimientos, las habilidades y el buen juicio asociados a la profesión, en todas las situaciones a las que puede confrontarse en el ejercicio de su práctica profesional. » M.T. Kane, 1992 Tucumán junio 2001

La competencia profesional La capacidad (y su nivel) del profesional A utilizar los conocimientos las habilidades las actitudes la capacidad de juicio para solucionar problemas (complejos) que se presentan en el campo de su actividad profesional asociados a la profesión } Tucumán junio 2001

Médico Competencia clínica En relación con Identificar el problema Diagnóstico Tratamiento y toma en manos Interacción con los pacientes y el sistema sanitario En relación con La diciplina contenido contexto Nivel de formación del candidato Tucumán junio 2001

Objetivo global de la evaluación sancional « Asegurarse, en complemento con otros elementos de información, que los candidatos que obtienen el permiso de ejercicio profesional son competentes para practicar la medicina de manera autónoma » Tucumán junio 2001

« La historia de la evaluación de la competencia está caracterizada por tentativas constantes de aproximar lo más posible el mundo de la educación del mundo de la práctica profesional, tratando de asegurar condiciones de medida estandarizadas. » CPM Van derVleuten Ad. in Health Sc. Ed. 1996, 1:41-67 Tucumán junio 2001

Confiabilidad y validez de un instrumento de medida La confiabilidad y la validez de un examen deben ser verificadas permanentemente Validez aparente Validez de contenido Confiabilidad Validez criteriada Validez de constructo Tucumán junio 2001

La práctica profesional Sector complejo: Difícil a definir Difícil a describir Interacciones profesional/cliente Contexto social Tucumán junio 2001

A menudo muy frustrante Evaluación de la competencia profesional Tarea difícil y ardua A menudo muy frustrante pero Posible Tucumán junio 2001

Elaboración de instrumentos Evaluación de la competencia profesional Indispensable Elaboración de instrumentos Confirmar que los profesionales son capaces de hacer lo que se espera de ellos Tucumán junio 2001

Profesión Organizada alrededor de un: Corpus global de Conocimientos Idoneidad Aplicaciones practicas Tucumán junio 2001

Profesión Responde a Impone Ciertas reglas Formación Preparación Particulares Tucumán junio 2001

Compara la competencia de los candidatos Evaluación de la competencia Interpretación de datos Estándares predeterminados Compara la competencia de los candidatos Tucumán junio 2001

Evaluación de la competencia Imposición de criterios necesarios Ejercicio de la práctica profesional Tucumán junio 2001

Medida y evaluación Evaluación de la competencia Resultados obtenidos Nivel de competencia 1ra inferencia Tucumán junio 2001

Preparados para abordar la etapa subsecuente Evaluación de la competencia Medida y evaluación Desempeño Preparados para abordar la etapa subsecuente 2da inferencia Tucumán junio 2001

Exámenes escritos: tipos de ítems Items objetivos Elección de respuestas al interior de listas sugeridas Items subjetivos Estructuración de las respuestas Tucumán junio 2001

Exámenes escritos: tipos de ítems Item objetivo Elección de respuestas Muchas preguntas Difíciles para redactar Fáciles para corregir El estudiante está limitado Preguntas concisas “Adivinación” de respuestas Los resultados dependen del examen en sí mismo Item subjetivo Construcción de las respuestas Respuestas más detalladas + Difíciles para corregir + Fáciles para redactar Preguntas + generales « Bluff » El corrector puede influir sobre los resultados Tucumán junio 2001

Exámenes escritos: tipos de ítems A respuesta construida A respuesta construida elaborada A respuesta construida corta A complemento de frase A respuesta elegida A elección múltiple (diferentes tipos de elección) A menú largo (elección simple) De apareamiento A elección simple (V - F) A menú largo (elección múltiple) Tucumán junio 2001

Exámenes escritos: tipos de ítems Preguntas de análisis de problemas (QAP) (Sherbrooke) Simulaciones clínicas escritas (CMFC, CRMCC, CMQ) Simulaciones clínicas escritas y enfoque con elementos críticos (CMFC y OIIQ) Tucumán junio 2001