La descarga está en progreso. Por favor, espere

La descarga está en progreso. Por favor, espere

Modelos de evaluación para programas de capacitación Anibal Velásquez

Presentaciones similares


Presentación del tema: "Modelos de evaluación para programas de capacitación Anibal Velásquez"— Transcripción de la presentación:

1 Modelos de evaluación para programas de capacitación Anibal Velásquez

2 Objetivos de la presentación Exponer algunos modelos de evaluación de Programas de Capacitación Exponer algunos modelos de evaluación de Programas de Capacitación

3 Pseudo evaluaciones La que se hace para relaciones públicas (solo se muestra las fortalezas de un programa, y a veces se manipulan los datos para resaltar lo positivo). La que se hace para relaciones públicas (solo se muestra las fortalezas de un programa, y a veces se manipulan los datos para resaltar lo positivo). La que se maneja políticamente (se esconde información que no conviene). La que se maneja políticamente (se esconde información que no conviene).

4 Evaluación basada en objetivos Propuesto por Tyler (1966)[1], es un modelo tradicional de evaluación para determinar si los objetivos del programa han sido alcanzados. Propuesto por Tyler (1966)[1], es un modelo tradicional de evaluación para determinar si los objetivos del programa han sido alcanzados.[1] [1] Tyler R. The objective and plans for a national assessment of educational progress, Journal of Educational Measurements, 1966; 3,1-10, cited in: Stufflebeam D. Evaluation Models. New Directions for Evaluation, 2001; 89: [1] Tyler R. The objective and plans for a national assessment of educational progress, Journal of Educational Measurements, 1966; 3,1-10, cited in: Stufflebeam D. Evaluation Models. New Directions for Evaluation, 2001; 89: [1]

5 Evaluación basada en objetivos (cont) Este modelo esencialmente especifica objetivos operacionales y recolecta y analiza información pertinente para determinar cuán bien cada objetivo fue alcanzado. Este modelo esencialmente especifica objetivos operacionales y recolecta y analiza información pertinente para determinar cuán bien cada objetivo fue alcanzado. Para demostrar la causalidad utiliza diseños experimentales. Para demostrar la causalidad utiliza diseños experimentales. Este tipo de evaluación es especialmente aplicable en evaluaciones de programas que tienen objetivos claros y medibles. Este tipo de evaluación es especialmente aplicable en evaluaciones de programas que tienen objetivos claros y medibles.

6 El PCMI Programa de Capacitación Materno Infantil Proyecto 2000

7 Intervención en los 5 componentes Programa de capacitación para la calidad en servicios materno perinatales. Detección de problemas de la calidad y PMCC Determinación de indicadores y estándares Supervisón externa de la calidad CALIFICACION (Acreditación)

8 Lo anterior demuestra que el PCMI tuvo un impacto?

9 Un ejemplo de evaluación de impacto

10 Marco conceptual Factores Individuales del Parto Institucional Calidad de los servicios Factores de la comunidad Área de programa

11 Marco conceptual Factores Individuales del Parto Institucional Calidad de los servicios Factores de la comunidad Área de programa Capacidad Resolutiva Mortalidad materna 1997 Tasa de MM

12 Modelo Basado en la Teoría [ 1 ] [ 1 ] [ 1 ] Por lo difícil que es obtener los requerimientos experimentales, se utiliza este modelo. Por lo difícil que es obtener los requerimientos experimentales, se utiliza este modelo. [1] se refiere al uso de la teoría de programas (o modelos lógicos) como un marco para la determinación de causalidad. [1] se refiere al uso de la teoría de programas (o modelos lógicos) como un marco para la determinación de causalidad. [1] Inicia con una teoría bien desarrollada y validada, partiendo de la premisa que programas de un cierto tipo con similares características pueden producir los mismos resultados. Inicia con una teoría bien desarrollada y validada, partiendo de la premisa que programas de un cierto tipo con similares características pueden producir los mismos resultados. [1] Davidson J. Ascertain Causality in Theory-Based Evaluation. New Directions for Evaluation, 2000; 87: [1] Davidson J. Ascertain Causality in Theory-Based Evaluation. New Directions for Evaluation, 2000; 87: [1]

13 Modelo Basado en la Teoría (Cont) El principal procedimiento típico de este modelo es usar la lógica de programas.El principal procedimiento típico de este modelo es usar la lógica de programas. Esto puede ser un diagrama de flujo de cómo se piensa que los in puts deben ser procesados para producir resultados previstos.Esto puede ser un diagrama de flujo de cómo se piensa que los in puts deben ser procesados para producir resultados previstos. El análisis de esta red causal es un proceso de teorización que involucra a los evaluadores y personas quienes se supone conocen cómo se espera que opere el programa y produzca resultados.El análisis de esta red causal es un proceso de teorización que involucra a los evaluadores y personas quienes se supone conocen cómo se espera que opere el programa y produzca resultados.

14 TEORIA Si mejora la calidad y la capacidad resolutiva Se incrementa el acceso al parto institucional y luego entonces se reduce la moratalidad materna y perinatal

15 Relación entre la proporción de partos atendidos por profesionales de salud con la razón de muerte materna en 50 países en vías de desarrollo.

16 Letalidad obstétrica

17 Letalidad neonatal

18 Esto demuestra un efecto

19 Limitaciones de los modelos anteriores Están enfocados en obtener información de la relación causal, y que por lo general ésta no es oportuna ni pertinente para mejorar los procesos de los programas. Están enfocados en obtener información de la relación causal, y que por lo general ésta no es oportuna ni pertinente para mejorar los procesos de los programas. Además que la evaluación en sí, no contribuye a que se cumpla con las responsabilidades de cada actor del Programa. Además que la evaluación en sí, no contribuye a que se cumpla con las responsabilidades de cada actor del Programa. Por este motivo la evaluación de resultados debe incluir los cambios que se producen en los actores sociales, y de cómo estos cambios se relacionan con los resultados obtenidos por el programa. Por este motivo la evaluación de resultados debe incluir los cambios que se producen en los actores sociales, y de cómo estos cambios se relacionan con los resultados obtenidos por el programa.

20 Evaluación de Responsabilidades (accountability). La ventaja de este modelo es que al medir el cumplimiento de las responsabilidades, por personas o instituciones externas a cada actor social, se constituye en sí misma un fuerte estímulo para que los actores sociales cumplan con sus responsabilidades. La ventaja de este modelo es que al medir el cumplimiento de las responsabilidades, por personas o instituciones externas a cada actor social, se constituye en sí misma un fuerte estímulo para que los actores sociales cumplan con sus responsabilidades.

21 Evaluación de Responsabilidades (accountability). Cont. Este modelo llega a ser prominente en la década de los 70, fue propuesto por Lessinger (1970)[1], y surge debido a que había amplio descontento con los reportes de evaluación que casi ninguno de los programas sociales masivos estuvieron haciendo algo positivo (al no encontrar diferencias estadísticamente significativas cuando se comparaba con áreas no intervenidas). Este modelo llega a ser prominente en la década de los 70, fue propuesto por Lessinger (1970)[1], y surge debido a que había amplio descontento con los reportes de evaluación que casi ninguno de los programas sociales masivos estuvieron haciendo algo positivo (al no encontrar diferencias estadísticamente significativas cuando se comparaba con áreas no intervenidas).[1] [1] Lessinger L. Every kid a winner: Accountability in education. New York: Simon and Schuster,1970, cited in: Stufflebeam D. Evaluation Models. New Directions for Evaluation, 2001; 89: [1] Lessinger L. Every kid a winner: Accountability in education. New York: Simon and Schuster,1970, cited in: Stufflebeam D. Evaluation Models. New Directions for Evaluation, 2001; 89: [1]

22 Evaluación de Responsabilidades (accountability). Cont.2 Para asegurar que los proveedores de servicios cumplan sus responsabilidades y para mejorar los servicios, y que los evaluadores encuentren los efectos de los programas y determinen qué personas y grupos tuvieron éxito y cuales no. Para asegurar que los proveedores de servicios cumplan sus responsabilidades y para mejorar los servicios, y que los evaluadores encuentren los efectos de los programas y determinen qué personas y grupos tuvieron éxito y cuales no. El componente clave de muchos sistemas de rendición de cuentas son el empleo de estándares que permiten determinar si los cumplieron o no, este modelo se acompaña de premios y sanciones. El componente clave de muchos sistemas de rendición de cuentas son el empleo de estándares que permiten determinar si los cumplieron o no, este modelo se acompaña de premios y sanciones.

23 Avance Global de la Calidad en Establecimientos que han reportado Autosupervisiones

24 La desventaja del modelo anterior es que se desarrolla en un marco de verticalidad, con escasa participación de los actores sociales en el proceso de evaluación. La desventaja del modelo anterior es que se desarrolla en un marco de verticalidad, con escasa participación de los actores sociales en el proceso de evaluación. Por lo que necesita combinarse la medición de las responsabilidades con un modelo más participativo que delibere los resultados de esta evaluación. Por lo que necesita combinarse la medición de las responsabilidades con un modelo más participativo que delibere los resultados de esta evaluación. Este modelo se denomina Evaluación Democrática Deliberativa, y fue propuesto por House y Howe (1998[1], 2000[2]) Este modelo se denomina Evaluación Democrática Deliberativa, y fue propuesto por House y Howe (1998[1], 2000[2])[1][2][1][2] [1] House E, Howe K. Deliberative democratic evaluation in practice. Boulder: University of Colorado, cited in: Stufflebeam D. Evaluation Models. New Directions for Evaluation, 2001; 89: [1] House E, Howe K. Deliberative democratic evaluation in practice. Boulder: University of Colorado, cited in: Stufflebeam D. Evaluation Models. New Directions for Evaluation, 2001; 89: [1] [2] House E, Howe K. Deliberative democratic evaluation. New Directions for Evaluation, 2000; 85: [2] House E, Howe K. Deliberative democratic evaluation. New Directions for Evaluation, 2000; 85: [2]

25 Evaluación democrática y deliberativa El modelo de evaluación democrática y deliberativa funciona dentro de un marco democrático explícito. El modelo de evaluación democrática y deliberativa funciona dentro de un marco democrático explícito. La evaluación democrática deliberativa tiene tres dimensiones principales: La evaluación democrática deliberativa tiene tres dimensiones principales: participación democrática, participación democrática, diálogo para examinar y autenticar los aportes de los actores sociales, y diálogo para examinar y autenticar los aportes de los actores sociales, y la deliberación para llegar a evaluaciones defendibles de los méritos y valores de un programa. la deliberación para llegar a evaluaciones defendibles de los méritos y valores de un programa.

26 Evaluación democrática y deliberativa. Cont.1 Los métodos empleados pueden incluir discusiones con los actores sociales, encuestas, y debates. Los métodos empleados pueden incluir discusiones con los actores sociales, encuestas, y debates. La inclusión, el diálogo y la deliberación son considerados relevantes en todos los estadios de la evaluación (discusión del modelo causal, diseño, implementación, análisis, síntesis, relato, presentación y discusión). La inclusión, el diálogo y la deliberación son considerados relevantes en todos los estadios de la evaluación (discusión del modelo causal, diseño, implementación, análisis, síntesis, relato, presentación y discusión).

27 Evaluación externa Relación proveedor- usuario- comunidad Estandarizació de procedimientos Decisiones basadas en evidencia- uso de datos Gestión y disponibilidad de recursos Educación permanente Estado actual de los estándares Brecha ¿Quieren? ¿Pueden? ¿Saben? Plan Anual MCC Planes Trimestrales ImplementaciónAutosupervisión Gerencia Prestación

28 Avance de Procesos de los Establecimientos de Salud que han reportado autosupervisiones

29 Control de Procesos: Control de Calidad y Validación Anibal Velásquez

30 La lógica del control de procesos Es muy simple. Es muy simple. Consiste en comparar con estándares el cotidiano accionar de un servicio. Consiste en comparar con estándares el cotidiano accionar de un servicio. Es fácil de hacerlo. Es fácil de hacerlo. Pero tiene barreras que no tienen que ver con el método o técnica. Pero tiene barreras que no tienen que ver con el método o técnica. El problema principal es que a nadie le gusta que le pidan cuentas El problema principal es que a nadie le gusta que le pidan cuentas Y el sistema es propicio para favorecer el no cumplimiento. Y el sistema es propicio para favorecer el no cumplimiento.

31 LOS PROCESOS DEBEN SER: [ Objetivos, Logran los resultados [ Efectivos, Minimizan los recursos [ Flexibles, Se adaptan a los cambios [ Repetibles, Todos lo harán igual [ Medibles, Se controlan y mejoran

32 LOS PROCESOS A menos que usted modifique el proceso, ¿Cómo podría usted esperar que el resultado cambie? A menos que usted modifique el proceso, ¿Cómo podría usted esperar que el resultado cambie?

33 ANÁLISIS DE PROCESOS Identificar el proceso Identificar el proceso Desarrollar un diagrama de flujo del proceso. Desarrollar un diagrama de flujo del proceso. Analizar el diagrama para simplificarlo y asignar puntos de control Analizar el diagrama para simplificarlo y asignar puntos de control

34 IDENTIFICACIÓN DE PROCESOS Un proceso de trabajo: Que se hace REALMENTE Un proceso de trabajo: Que se hace REALMENTE Diferencias entre el DEBE SER y el ES. Diferencias entre el DEBE SER y el ES. Cada persona puede hacerlo distinto. Cada persona puede hacerlo distinto. No hay acuerdo en la mejor manera de hacerlo. No hay acuerdo en la mejor manera de hacerlo. Que se produce: Un producto, reportes, decisión, información ? Que se produce: Un producto, reportes, decisión, información ? Quien usa ese producto REALMENTE! Quien usa ese producto REALMENTE!

35 Diagramas de Flujo de un Proceso Empezar/Terminar Acción Punto de Decisión Dirección del Flujo Esperas

36 Usos del Diagrama Ilustra la relación entre varias etapas del proceso Ilustra la relación entre varias etapas del proceso Ayuda a identificar ineficiencias Ayuda a identificar ineficiencias Indica las etapas claves donde el proceso falla Indica las etapas claves donde el proceso falla Ayuda a la comunicación entre clientes internos o externos Ayuda a la comunicación entre clientes internos o externos Ilustra pasos innecesarios Ilustra pasos innecesarios Ayuda a entrenar nuevos empleados en el proceso. Ayuda a entrenar nuevos empleados en el proceso.

37 EN TODO PROCESO.... CAUSA RESULTADOS Índices Numéricos ITEMS DE CONTROL ITEMS DE VERIFICACIÓN

38 CONTROL POR DETECCIÓN Medio Ambiente Mano de Obra Método Máquinas Materiales PRODUCTO BUENO? SI CLIENTE NO REPROCESAR DESPERDICIO INSPECCIÓN MASIVA PROCESO

39 CONTROL POR PREVENCIÓN Medio Ambiente Mano de Obra Método Máquinas Materiales CLIENTE PROCESO VERIFICACIÓN DEL PRODUCTO CONTROL DE PROCESO

40 PREVENCIÓN PREVENCIÓN [ Trabaja para el futuro [ Evita el desperdicio [ Busca el mejoramiento permanente [ Se compromete con el proceso [ Si algo está mal, la misma área lo detecta DETECCIÓN [ Trabaja para el pasado [ Tolera el desperdicio [ Busca cumplir la especificación [ Se compromete con el producto [ Es el producto, en el área de inspección, quien dice que algo anda mal

41 CONTROL Y MEJORA DE LOS PROCESOS MEJORA PROCESO BAJO CONTROL PROCESO BAJO CONTROL

42 MEJORAMIENTO CONTINUO Desempeño Tiempo Desempeño Tiempo

43 Reflexión final

44 Todo se puede medir? Si, solo se necesitan indicadores. Si, solo se necesitan indicadores. Si algo varía o cambia quiere decir que existe algo que nos permite darnos cuenta de que cambia. Si algo varía o cambia quiere decir que existe algo que nos permite darnos cuenta de que cambia.

45 Dime qué es lo más difícil de medir? Dime qué es lo más difícil de medir? La verdad La verdad Hay algún cambio? Hay algún cambio? Si... una gama entre lo verdadero y falso Si... una gama entre lo verdadero y falso Entonces será verdad cuando cumpla con nuestro criterio de verdad=indicador dicotómico SI y NO Entonces será verdad cuando cumpla con nuestro criterio de verdad=indicador dicotómico SI y NO Si nuestro criterio considera que la verdad es relativa, entonces será más verdadero cuando se cumpla con más criterios.= indicador de magnitud nivel de verdad, escala de medición cuantitativa. Si nuestro criterio considera que la verdad es relativa, entonces será más verdadero cuando se cumpla con más criterios.= indicador de magnitud nivel de verdad, escala de medición cuantitativa.

46 Lema de los evaluadores: Lema de los evaluadores: No money No money No measure No measure No data No data No nathing No nathing


Descargar ppt "Modelos de evaluación para programas de capacitación Anibal Velásquez"

Presentaciones similares


Anuncios Google