Evaluadores de competencias en el campo de la salud pública Elsa Ladrón de Guevara M. Xalapa Ver., 23 de junio de 2010

Agosto de 2005 Basado en competencias para el ejercicio de las Funciones Esenciales en Salud Pública Formación de profesores El plan es monitoreado desde varias perspectivas Antecedentes

Contexto Las evaluaciones que realizan los profesores. Sobre las competencias que los alumnos deben desarrollar durante el segundo semestre del programa. Para formular y ejecutar un proyecto de intervención tendiente a mejorar la prestación de servicios en las instituciones de salud donde realizan sus prácticas profesionales.

Objetivo de la investigación Explorar la capacidad para evaluar competencias, en el personal docente del Instituto de Salud Pública de la Universidad Veracruzana

Metodología Diseño: exploratorio Universo: 16 profesores evaluadores –Se incluyeron en este proceso de manera voluntaria –Todos son de tiempo completo –Con actividades de investigación y gestión académica, –Todos tienen estudios de maestría o doctorado y –La mayoría participó en los cursos de formación para la instrumentación del programa de maestría.

Metodología Procedimientos: –La evaluación que realizaron los profesores se desarrolló en cinco etapas –Para ello se establecieron parámetros de evaluación –Se diseñaron instrumentos de evaluación que identificaban en cada etapa los descriptores de las competencias.

Metodología Procedimientos: –Cada uno de los seis equipos de alumnos era evaluado simultáneamente por tres profesores en cada etapa. –En cada una de las etapas de evaluación se exploró la discrepancia entre las calificaciones emitidas por los tres evaluadores de cada equipo. –Se consideró que discrepancias en la desviación estándar, superiores al 10% eran indicativas de problemas en la forma de evaluar.

Resultados En 10 de los 30 momentos de evaluación, la desviación estándar fue superior al 10% La etapa en la que hubo la mayor desviación fue la segunda En la evaluación total, en el Equipo No. 2 se encontró una desviación superior a la esperada (del 10%).

Resultados Desviación estándar de las evaluaciones de competencias, por equipo y etapa Etapa 1Etapa 2Etapa 3Etapa 4Etapa 5Total Equipo 110.2%14.5%10.3%6.4%5.8%9.4% Equipo 28.8%19.2%3.5%9.9%14.8%11.2% Equipo 34.5%12.8%0.0%3.1%5.6%5.2% Equipo 44.3%1.6%5.8%8.5%3.6%4.8% Equipo 58.4%10.4%11.7%2.6%14.1%9.4% Equipo 64.9%6.8%6.0%4.8%15.0%7.5% Total6.9%10.9%6.2%5.9%9.8%7.9%

Discusión Worthen señala: -El evaluador debe ser capaz de describir el objeto de la evaluación -El contexto en el que se desarrollan las competencias objeto de la evaluación -La diversidad de perfiles profesionales de los evaluadores, dificultan la comprensión del objeto de evaluación -No se consideró en la evaluación, el impacto del contexto

Discusión Worthen señala: -Claridad del marco referencial de la evaluación - Capacidad para seleccionar adecuadamente los instrumentos de evaluación -Resultó difícil transitar de una evaluación del conocimiento a una evaluación de competencias -Aunque los instrumentos, parámetros e indicadores fueron consensados, no fué suficiente

Discusión Worthen señala: -Capacidad de los evaluadores para comunicar los resultados obtenidos -Actitud comprometida con el propio proceso de evaluación -Se implementó en la tercera etapa de evaluación, comunicación colegiada de resultados -La capacitación para la evaluación de competencias es necesaria pero no suficiente, se requiere además, de un esfuerzo colegiado y permanente para poner en común entre los profesores que tienen esta responsabilidad, los criterios, parámetros y procesos de evaluación de competencias

Discusión Worthen señala: -Postura abierta para aprender de los propios procesos de evaluación a través de la meta-evaluación -Durante todo el proceso se presentaron y discutieron los resultados de evaluación de cada etapa Worthen B, Sanders J, Fitzpatrick J. Program Evaluation: Alternative Approaches and Practical Guidelines. Columbus, Ohio: Allyn & Bacon;2003