Modelos de evaluación para programas de capacitación Anibal Velásquez epiweb@hotmail.com

Objetivos de la presentación Exponer algunos modelos de evaluación de Programas de Capacitación

Pseudo evaluaciones La que se hace para relaciones públicas (solo se muestra las fortalezas de un programa, y a veces se manipulan los datos para resaltar lo positivo). La que se maneja políticamente (se esconde información que no conviene).

Evaluación basada en objetivos Propuesto por Tyler (1966)[1], es un modelo tradicional de evaluación para determinar si los objetivos del programa han sido alcanzados. [1] Tyler R. The objective and plans for a national assessment of educational progress, Journal of Educational Measurements, 1966; 3,1-10, cited in: Stufflebeam D. Evaluation Models. New Directions for Evaluation, 2001; 89: 7-106

Evaluación basada en objetivos (cont) Este modelo esencialmente especifica objetivos operacionales y recolecta y analiza información pertinente para determinar cuán bien cada objetivo fue alcanzado. Para demostrar la causalidad utiliza diseños experimentales. Este tipo de evaluación es especialmente aplicable en evaluaciones de programas que tienen objetivos claros y medibles.

El PCMI Programa de Capacitación Materno Infantil Proyecto 2000

Intervención en los 5 componentes Programa de capacitación para la calidad en servicios materno perinatales. Detección de problemas de la calidad y PMCC Determinación de indicadores y estándares Supervisón externa de la calidad CALIFICACION (Acreditación)

Lo anterior demuestra que el PCMI tuvo un impacto?

Un ejemplo de evaluación de impacto

Marco conceptual Factores Individuales Área de programa Calidad de los del Parto Institucional Calidad de los servicios de la comunidad Área de programa

Marco conceptual Tasa de MM Factores Individuales Área de programa del Parto Institucional Calidad de los servicios de la comunidad Área de programa Tasa de MM Mortalidad materna 1997 Capacidad Resolutiva

Modelo Basado en la Teoría [1] Por lo difícil que es obtener los requerimientos experimentales, se utiliza este modelo. [1] se refiere al uso de la teoría de programas (o modelos lógicos) como un marco para la determinación de causalidad. Inicia con una teoría bien desarrollada y validada, partiendo de la premisa que programas de un cierto tipo con similares características pueden producir los mismos resultados.  [1] Davidson J. Ascertain Causality in Theory-Based Evaluation. New Directions for Evaluation, 2000; 87: 17-26

Modelo Basado en la Teoría (Cont) El principal procedimiento típico de este modelo es usar la lógica de programas. Esto puede ser un diagrama de flujo de cómo se piensa que los “in puts” deben ser procesados para producir resultados previstos. El análisis de esta red causal es un proceso de teorización que involucra a los evaluadores y personas quienes se supone conocen cómo se espera que opere el programa y produzca resultados.

TEORIA Si mejora la calidad y la capacidad resolutiva Se incrementa el acceso al parto institucional y luego entonces se reduce la moratalidad materna y perinatal

Relación entre la proporción de partos atendidos por profesionales de salud con la razón de muerte materna en 50 países en vías de desarrollo.

Letalidad obstétrica

Letalidad neonatal

Esto demuestra un efecto

Limitaciones de los modelos anteriores Están enfocados en obtener información de la relación causal, y que por lo general ésta no es oportuna ni pertinente para mejorar los procesos de los programas. Además que la evaluación en sí, no contribuye a que se cumpla con las responsabilidades de cada actor del Programa. Por este motivo la evaluación de resultados debe incluir los cambios que se producen en los actores sociales, y de cómo estos cambios se relacionan con los resultados obtenidos por el programa.

Evaluación de Responsabilidades (accountability). La ventaja de este modelo es que al medir el cumplimiento de las responsabilidades, por personas o instituciones externas a cada actor social, se constituye en sí misma un fuerte estímulo para que los actores sociales cumplan con sus responsabilidades.

Evaluación de Responsabilidades (accountability). Cont. Este modelo llega a ser prominente en la década de los 70, fue propuesto por Lessinger (1970)[1], y surge debido a que había amplio descontento con los reportes de evaluación que casi ninguno de los programas sociales masivos estuvieron haciendo algo positivo (al no encontrar diferencias estadísticamente significativas cuando se comparaba con áreas no intervenidas). [1] Lessinger L. Every kid a winner: Accountability in education. New York: Simon and Schuster,1970, cited in: Stufflebeam D. Evaluation Models. New Directions for Evaluation, 2001; 89: 7-106

Evaluación de Responsabilidades (accountability). Cont.2 Para asegurar que los proveedores de servicios cumplan sus responsabilidades y para mejorar los servicios, y que los evaluadores encuentren los efectos de los programas y determinen qué personas y grupos tuvieron éxito y cuales no. El componente clave de muchos sistemas de rendición de cuentas son el empleo de estándares que permiten determinar si los cumplieron o no, este modelo se acompaña de premios y sanciones.

Avance Global de la Calidad en Establecimientos que han reportado Autosupervisiones

La desventaja del modelo anterior es que se desarrolla en un marco de verticalidad, con escasa participación de los actores sociales en el proceso de evaluación. Por lo que necesita combinarse la medición de las responsabilidades con un modelo más participativo que delibere los resultados de esta evaluación. Este modelo se denomina Evaluación Democrática Deliberativa, y fue propuesto por House y Howe (1998[1], 2000[2]) [1] House E, Howe K. Deliberative democratic evaluation in practice. Boulder: University of Colorado, cited in: Stufflebeam D. Evaluation Models. New Directions for Evaluation, 2001; 89: 7-106 [2] House E, Howe K. Deliberative democratic evaluation. New Directions for Evaluation, 2000; 85: 3-12.

Evaluación democrática y deliberativa El modelo de evaluación democrática y deliberativa funciona dentro de un marco democrático explícito. La evaluación democrática deliberativa tiene tres dimensiones principales: participación democrática, diálogo para examinar y autenticar los aportes de los actores sociales, y la deliberación para llegar a evaluaciones defendibles de los méritos y valores de un programa.  

Evaluación democrática y deliberativa. Cont.1 Los métodos empleados pueden incluir discusiones con los actores sociales, encuestas, y debates. La inclusión, el diálogo y la deliberación son considerados relevantes en todos los estadios de la evaluación (discusión del modelo causal, diseño, implementación, análisis, síntesis, relato, presentación y discusión).

Plan Anual MCC Planes Trimestrales Relación proveedor- usuario-comunidad Estandarizació de procedimientos Decisiones basadas en evidencia- uso de datos Gestión y disponibilidad de recursos Educación permanente Plan Anual MCC Prestación ¿Quieren? ¿Pueden? ¿Saben? Planes Trimestrales Gerencia Brecha Estado actual de los estándares Para los 5 componentes de calidad hemos elaborado estándares (25) e indicadores (92). Para seguir el proceso de Mejora Contínua de la Calidad hay que hacer una comparación de los estandares y el estado actual de ellos en un establecimiento (u otra instancia) y esta comparación resulta en una diferencia o brecha. En base a la brecha hay que entender si la gente quien hace el trabajo para cerrar la brecha quieren hacerlo, pueden hacerlo, saben hacerlo. De las brechas se prepara un plan annual de MCC. Del Plan se prepara un plan trimestral (concepto de resultados intermedios), que se implementa. Para saber “qué tal” están avanzando hacia el cierre de las brechas se implementa la AUTOSUPERVISION. AS es un proceso dearrollado por los equipos en los establecimientos, que permite a través del ACP identificar los éxitos y dificultades en la Mejora Contínua de la Calidad. AS es la esencia de la Supervisión para la Calidad. Evaluación externa es el momento cuando alguien de fuera evalúa sus avances. Como se nota, evaluación externa y AS tienen que ver con el estado actual de los estandares. Evaluación externa Autosupervisión Implementación

Avance de Procesos de los Establecimientos de Salud que han reportado autosupervisiones

Control de Procesos: Control de Calidad y Validación Anibal Velásquez epiweb@hotmail .com

La lógica del control de procesos Es muy simple. Consiste en comparar con estándares el cotidiano accionar de un servicio. Es fácil de hacerlo. Pero tiene barreras que no tienen que ver con el método o técnica. El problema principal es que a nadie le gusta que le pidan cuentas Y el sistema es propicio para favorecer el no cumplimiento.

LOS PROCESOS DEBEN SER: Objetivos, Logran los resultados Efectivos, Minimizan los recursos Flexibles, Se adaptan a los cambios Repetibles, Todos lo harán igual Medibles, Se controlan y mejoran

LOS PROCESOS “ A menos que usted modifique el proceso, ¿Cómo podría usted esperar que el resultado cambie?

ANÁLISIS DE PROCESOS Identificar el proceso Desarrollar un diagrama de flujo del proceso. Analizar el diagrama para simplificarlo y asignar puntos de control

IDENTIFICACIÓN DE PROCESOS Un proceso de trabajo: Que se hace REALMENTE Diferencias entre el DEBE SER y el ES. Cada persona puede hacerlo distinto. No hay acuerdo en la mejor manera de hacerlo. Que se produce: Un producto, reportes, decisión, información ? Quien usa ese producto.......REALMENTE!

Diagramas de Flujo de un Proceso Empezar/Terminar Acción Punto de Decisión Dirección del Flujo Esperas

Usos del Diagrama Ilustra la relación entre varias etapas del proceso Ayuda a identificar ineficiencias Indica las etapas claves donde el proceso falla Ayuda a la comunicación entre clientes internos o externos Ilustra pasos innecesarios Ayuda a entrenar nuevos empleados en el proceso.

EN TODO PROCESO .... RESULTADOS Índices Numéricos ITEMS DE VERIFICACIÓN ITEMS DE CONTROL CAUSA CAUSA CAUSA RESULTADOS Índices Numéricos CAUSA CAUSA CAUSA

CONTROL POR DETECCIÓN CLIENTE Medio Ambiente Mano de Obra Materiales INSPECCIÓN MASIVA PROCESO CLIENTE Medio Ambiente Mano de Obra SI PRODUCTO BUENO? NO Materiales Máquinas Método REPROCESAR DESPERDICIO

CONTROL POR PREVENCIÓN PROCESO VERIFICACIÓN DEL PRODUCTO Medio Ambiente Mano de Obra CLIENTE Materiales Máquinas Método CONTROL DE PROCESO

PREVENCIÓN DETECCIÓN Trabaja para el futuro Evita el desperdicio Busca el mejoramiento permanente Se compromete con el proceso Si algo está mal, la misma área lo detecta DETECCIÓN Trabaja para el pasado Tolera el desperdicio Busca cumplir la especificación Se compromete con el producto Es el producto, en el área de inspección, quien dice que algo anda mal

CONTROL Y MEJORA DE LOS PROCESOS BAJO CONTROL MEJORA PROCESO BAJO CONTROL

MEJORAMIENTO CONTINUO Desempeño Desempeño Tiempo Tiempo

Reflexión final

Todo se puede medir? Si, solo se necesitan indicadores. Si algo varía o cambia quiere decir que existe algo que nos permite darnos cuenta de que cambia.

Dime qué es lo más difícil de medir? La verdad Hay algún cambio? Si... una gama entre lo verdadero y falso Entonces será verdad cuando cumpla con nuestro criterio de verdad=indicador dicotómico SI y NO Si nuestro criterio considera que la verdad es relativa, entonces será más verdadero cuando se cumpla con más criterios.= indicador de magnitud nivel de verdad, escala de medición cuantitativa.

Lema de los evaluadores: No money No measure No data No nathing