Evaluación y monitrización de la Promoción de la Salud

Presentación del tema: "Evaluación y monitrización de la Promoción de la Salud"— Transcripción de la presentación:

1 Evaluación y monitrización de la Promoción de la Salud
. . Evaluación y monitrización de la Promoción de la Salud Caso: AIEPI comunitario

2 Evaluación

3 Preguntas que son respondidas por la evaluación de acciones de promoción de la salud
¿Cuáles han sido los resultados de las acciones de promoción de la salud? ¿Ha cambiado la organización con el Programa? ¿Han cambiado las relaciones de la organización ejecutora con otros actores? ¿El programa ha contribuido en la mejora de la salud de los niños? ¿El programa ha cumplido con los resultados esperados? ¿El programa ha cambiado conocimientos, actitudes o prácticas?

4 Principios básicos de la evaluación
Identificar claramente los resultados (deben ser medibles) Construir un marco conceptual del programa que debe incluir la relación entre los insumos, los procesos y resultados Definir el alcance de la evaluación: ¿Evaluación de impacto? ¿Evaluación de efectos? Esto depende de los recursos, del momento en que se encuentra el Programa, del tiempo del programa

5 Caso: AIEPI comunitario
Evaluación

6 Componentes del AIEPI

7 Paso 1. Identificar el resultado y que sea medible
Procesos Productos Resultados Insumos Recursos: Actores sociales Metodologías Asistencia Técnica -Financieros Actividades: Planes de acción de los actores - Visitas Charlas Campañas Cumplimiento de planes de acción Número de informados -Nivel de Conocimientos participación social -Familias con prácticas clave A Nivel de Programa A Nivel de Población

8 Paso 2. representar el marco conceptual de la intervención (hipótesis)
El cambio social cambia las prácticas El cambio de prácticas reduce la mortalidad infantil y mejora su salud Entonces se debe medir el cambio social y cambio de prácticas

9 Marco conceptual del AIEPI comunitario

10 Evaluando el Impacto del Programa
Resultado La pregunta de evaluación: ¿Cuánto de este cambio es atribuible al programa? Inicio del programa Punto medio o final del programa Tiempo

11 Evaluando el Impacto del Programa
Resultado Con programa Impacto neto del programa Sin programa Inicio del programa Punto medio o final del programa Tiempo

12 - Resultado que se hubiese obtenido si el Resultado con
programa no se hubiese establecido Resultado con el programa Impacto del programa = - El problema de evaluación: El resultado que se hubiese obtenido si el programa no se hubiese establecido (contrafáctico) puede ser estimado con un grupo control (que no recibió el programa). Y esto se puede hacer con diseños de estudios experimentales u observacionales

13 Esquema básico para evaluar el impacto de programas
Grupo 1 (Tratamiento) Grupo 1 (Tratamiento) Población Grupo 2 (Control) Grupo 2 (Control) Si “Asignación Aleatoria”: Grupo 1  Grupo 2 Diferencia debida al programa Grupo 1 = Grupo 2 Si Asignación no aleatoria: (datos de encuestas) Group 1  Group Diferencia debida al programa y a diferencias pre-existentes (observadas y no observadas) Grupo 1  Grupo 2

14 Con los estudios observacionales se estima el contrafáctico (qué hubiese ocurrido si no se realiza el programa) mediante modelos y técnicas de análisis de datos; y se hace mediante el control estadístico de las “otras” variables relevantes que pueden afectar el resultado de interés

15 Diseño longitudinal tipo panel
PROGRAMA Población Grupo 1 (Pre-tratamiento) Grupo 1 (Post-Tratamiento) Si Asignación no aleatoria: (datos de encuestas) Diferencia debida al programa y a diferencias pre-existentes (observadas y no observadas) Grupo pre  Grupo post

16 Limitaciones de este diseño
Contaminación o derrame (sesga hacia abajo o cancela el efecto observado). La adopción no es aleatoria: sesgos de selección en cualquier dirección: Síndrome innovador (exagera efectos) Focalización en más necesitados (encubre efectos). Remedio: regresión multivariable y modelos de efectos fijos.

17 Análisis de Regresión El análisis de regresión examina la relación entre varias variables explicativas y la variable dependiente. Permite cuantificar la contribución de cada factor a la variable dependiente Importante: Se necesita definir cuales son los factores relevantes que influyen el resultado de interés y se necesitan datos sobre ellos

18 Y, variable dependiente
En condiciones “naturales”, por ejemplo, por medio de una encuesta, podemos observar una variable de respuesta cuyo nivel puede ser el resultado de la influencia simultánea de muchos factores X1 Y, variable dependiente Estas son las variables independientes, factores relevantes (incluyendo el programa) que pueden influenciar la variable de interés Activity: Invite the participants to choose one of the examples analyzed in the Exercise of the first part and discuss about other factors, besides the program, that could be affecting the desired outcomes X5 X2 X4 X3 El programa

19 Si medimos los otros factores relevantes es posible “aislar” el efecto del programa entre los efectos de las otras variables independientes

20 EN UN MODELO DE REGRESION
Y = f(X1,X2,…,Xn) Y, la variable de respuesta o variable dependiente, es una función de las variables independientes Una vez que el modelo es “ajustado” se puede juzgar la importancia relativa de cada variable independiente Nuestro foco de interés, se refiere por supuesto a la(s) variable(s) independiente(s) que identifican al programa

21 VARIABLES CONFUSORAS En el contexto de una evaluación de impacto hablamos de variables confusoras cuando nos referimos a todos los otros factores relevantes, además del programa, que pueden influenciar el resultado de interés Dejan de ser confusoras cuando se miden e incorporan en el modelo de regresión Activity Invite the participants to discuss possible confounding variables for a program whose primary interest is to decrease infant mortality.

22 Las variables De resultado: cada práctica
Intervención: medición expost (1= sí) De control (confusores): sexo, edad, educación, ingreso, número de niños (en el distrito/año).

23 El modelo Regresión múltiple de Poisson panel de efectos fijos (“xtpois” en STATA) Modelo de efectos fijos remueve sesgos de selección fijos en el tiempo (se modelan cambios en vez de niveles) Regresión de Poisson estima efectos relativos (i.e. razones de tasas, riesgo relativo, OR, fracción atribuíble)

24 BIBLIOGRAFIA Bertrand, J.T. et al. (1996). Evaluación de Programas de Planificación Familiar. The Evaluation Project, USAID Mohr, L. (1995). Impact Analysis for Program Evaluation. Sage Publications Rossi, P.H.; Freeman, H.E. & Lipsey, M.W. (1999). Evaluation: A Systematic Approach. Sage Publications

25 Evaluación de efectos 1) Asociaciones y correlaciones
Caso: relación participación social y resultados

26 Beneficiarios del Proyecto AIEPI comunitario

27 Criterios para construir un índice de participación

28 Nivel de participación

29 ¿Quiénes y cuánto participaron?

30 Participación y número de informados en las prácticas clave
Cr=0.30

31 Participación y cambio en los indicadores de salud
Cr=0.22

32 Evaluación de efectos 1) Evaluación ex - ante y ex - post
Caso: cambio en las prácticas clave

33 Estudio realizado por Juan Arroyo 2005, OPS/CRA

34 Evaluación de eficiencia

35 Eficiencia relativa Se calcula un coeficiente de eficiencia que es igual a la división de los resultados entre los recursos La eficiencia relativa es el porcentaje del coeficiente de eficiencia de cada localidad relacionado con el mayor coeficiente obtenido. Se calculó la eficiencia relativa mediante el Análisis Envolvente de Datos Este análisis compara la eficiencia relativa de unidades que utilizan similares recursos para producir similares resultados El análisis convierte los múltiples “inputs” y los múltiples “outputs” en una única medida de eficiencia productiva, también permite identificar el nivel de eficiencia de cada localidad donde se desarrolló el Proyecto. El análisis envolvente de datos fue realizado con el programa informático Frontier Analyst[1]. [1] Frontier Analyst, Banxia Software Ltda, Glasgow Scotland, UK.

36 Eficiencia relativa (2)
Los proyectos más eficientes fueron los que utilizaron mejor los recursos, y fueron calificados con el 100% de eficiencia. También se identificaron qué recursos deben ser reducidos y qué “outputs” necesitan ser mejorados.

37 Variables del índice de eficiencia

38 Coeficiente de eficiencia según localidades donde se desarrolló el AIEPI comunitario

39 Potenciales mejoras para mejorar la eficiencia del Proyecto AIEPI comunitario

40 Valorización económica de la movilización social
Análisis de costos

41 Valorización de la movilización social
Estudio realizado por David Tejada, 2005, OP/CRA

42 Relación de recursos del proyecto con los recursos de los actores sociales
El Proyecto AIEPI comunitario ha aportado 2185 dólares La red social y la comunidad 7843 La Cruz Roja local 7012 El Estado 2210 Relación de los recursos del Proyecto con la movilización social valorizada en dinero fue de 1 a 8.8

43 Monitoreo o seguimiento

44 Objetivos: Brindar información acerca del funcionamiento del programa: a) ¿Está progresando de acuerdo al plan? b) Identificar problemas para su correción c) Documentar cambios de elementos claves del programa en el tiempo Características: - Enfasis en los insumos, actividades y productos del programa - Principalmente estima indicadores, pero puede incluir métodos cualitativos - No examina cuál es la causa del cambio en los indicadores (es decir, no examina el impacto del programa)

45 Monitoreo de AIEPI Es la revisión continua de la implementación del AIEPI para identificar y resolver problemas, a nivel local, nivel nacional y regional Tradicionalmente, las funciones del monitoreo se centraban en el análisis de los insumos y procesos de implementación; en la actualidad se da énfasis en analizar las contribuciones de los distintos factores al logro de un determinado efecto

46 Monitoreo La información que se produce en el monitoreo debe ser relevante para cada usuario; más detallada para niveles operativos y más agregada para niveles gerenciales.

47 Componentes del monitoreo

48 Indicadores de Monitoreo
Se miden repetidamente en el tiempo Criterios para desarrollar o seleccionar indicadores: Los indicadores deberían ser limitados en número Los indicadores necesitan identificar problemas y logros, y no pretender que provea información detallada de la implementación de AIEPI Los indicadores deberían ser capaces de ser medidos en muchos lugares como sea posible, sin adaptaciones específicas de país o región que podrían limitar la comparabilidad Los indicadores deberían ser medidos con bajos costos Los indicadores deberían proveer resultados válidos que sean significativos y fáciles de interpretar

49 Metodología para determinar indicadores de monitoreo
Paso 1a. Identificar los resultados esperados, los productos, los procesos y actividades de la intervención Paso 1b. Construir un marco conceptual de la intervención Paso 2a. Identificación de indicadores de las actividades, productos y resultados Paso 2b. Revisión de los indicadores de monitoreo de AIEPI Paso 3. Selección de indicadores y evaluación de cada indicador Paso 4. Definición de los indicadores, metas o estándares del rendimiento de cada indicador, sistemas y flujos de información

50 Paso 1a. Identificar resultados, productos, procesos y actividades
Componente Proceso Producto Resultado AIEPI comunitario Capacitación Planes de acción Comunicación Mayor capacidad de la Red Católica en AIEPI Familias con prácticas saludables AIEPI clínico Capacidad Disponibilidad Supervisión Personal de salud cumple con los protocolos de AIEPI Niños con atención integral Medicamentos esenciales Implementación Disponibilidad de medicamentos en la Red Niños pobres que reciben tratamiento completo Prevención de transmisión vertical Adolescentes y familias unformadas Familias sin conductas de riesgo

51 Paso 1b. Construir un marco conceptual de la intervención
A Nivel de Población A Nivel de Programa Insumos Procesos Productos Resultados

52

53 MARCO CONCEPTUAL PARA LA IMPLEMENTACION DEL COMPONENTE COMUNITARIO DE LA ESTRATEGIA AIEPI - ALIANZA REGIONAL PROPOSITO Internacional Carta de Ottawa ODM: Objetivo 4 Estrategia 2010 (CR) Consenso Durban: 16 prácticas clave Alianza Regional Nacional Descentralización y reforma Políticas públicas priorizan salud infantil Cooperación internacional AIEPI institucionalizada Inestabilidad política Pobreza, inequidad Poca accesibilidad a servicios de salud Local/ familiar Gobiernos municipales fortaleciéndose Diversidad de prácticas de cuidado Deficiente calidad y cobertura de los servicios de salud Bajo nivel educativo La salud no es prioridad para actores/redes/familia Falta de credibilidad en sistema de salud Violencia intrafamiliar Niños no valorados Discriminación de género Debil capacidad de gestión y coordinación SE HA CONTRIBUIDO A REDUCIR LA MORTALIDAD DE LA NIÑEZ Arranque del proyecto Fortalecimiento a coordinadores locales ( metodologías para trabajar con actores sociales) Lanzamiento del proyecto Conformación del equipo de gestión ampliado con representantes acreditados por cada actor social Diagnóstico local participativo 1.Recolección de información local (epidemiológica, demográfica y actores sociales) 2. Situación de prácticas clave (información cualitativa y línea de base) 3.Taller de planificación de base con: -Familia: :madres/padres -Actores sociales: Líderes de organizaciones de base, gobierno local, maestros, voluntarios Cruz Roja, Iglesias, otros -Personal de salud 3.1.Análisis de la realidad local 3.2.Problematización 3.3.Priorización de prácticas clave 3.4.Compromisos y acciones acordadas Familias: madres/padres Reforzados, informados y sensibilizados en las prácticas claves priorizadas Abogacía en favor del enfoque comunitario Conformación de alianzas Las familias han incrementado la aplicación de las prácticas clave de cuidado del niño/a menor de 5 años Actores sociales Reforzados, informados y sensibilizados en las prácticas clave Promueven prácticas clave priorizadas de acuerdo a sus roles y funciones Priorizan la salud Selección de ámbitos de trabajo Talleres para cada actor social Adaptación y aprobación de practicas priorizadas Reconocimiento de sus potencialidades Elaboración de planes de acción detallados de acuerdo a roles, funciones y espacios de intervención Capacitación inicial a coordinadores nacionales y locales acreditados Los actores sociales han desarrollado la capacidad para promover las prácticas clave priorizadas de cuidado del menor de 5 años Personal de salud Ha mejorado el trato a los usuarios Se ha integrado a las acciones comunitarias con actores sociales Aplica AIEPI clínico Elaboración del perfil de proyecto o plan general de trabajo (coordinadores locales) Ejecución de planes de acción Seguimiento/ monitoreo participativos CONTEXTO INSUMOS PROCESO PRODUCTOS RESULTADOS

54 Paso 2. Identificación de indicadores
Forma de medición ¿Indicador actualmente utilizado? ¿Se requiere nueva información? ¿Útil? Actividades Productos/ resultados

55 Paso 2b. Revisión de indicadores de monitoreo de AIEPI
Indicadores propuestos por la Red Católica Indicadores de monitoreo priorizados OMS/UNICEF Indicadores de los reportes anuales del Proyecto AIEPI comunitario de la Cruz Roja/Ministerio de Salud Indicadores de monitoreo de actividades de salud infantil nivel global y país de WHO (Child and Adolescent Health and Development CAH, Monitoring & Evaluation Working Group)

56 Paso 3. Evaluación de los indicadores seleccionados

57 Paso 4. Operacionalización de los indicadores
Estándar Sistema de información Instrumentos Responsable

58 LQAS para monitorizar las prácticas clave
LQAS (Lot Quality Assurance) Encuesta rápida de hogares cada tres meses, utilizando el muestreo por lotes. Siguiendo la técnica de LQAS (encuesta por lotes de control de calidad)[1] Con el LQAS se determina la cobertura de las prácticas clave en cada lote de hogares. Se encuestarán 19 hogares por lote[2] [1] Hoshaw-Woodard S. Description and Comparison of the Methods of Cluster Sampling and Lot Quality Assurance Sampling to Asses inmunization Coverage, 2001, Geneva, Department of Vaccines and Biologicals WHO. WHO/V&B/01.26 [2] Valadez J, Weiss W, Leburg C, Favis R. Using LQAS for Assessing Field Program in Community Health in Developing Countries. NGO Network for Health, 2001, Washingtom, 93 pp.

59 LQAS: AREAS DE SUPERVISIÓN
B C D

60 LQAS: TAMAÑO DE MUESTRA
N = 19 N = 19 N = 19 N = 19

61 LQAS: SELECCIÓN ALEATORIA DE LOS INFORMANTES DE LA MUESTRA
n = 19 EN CADA ÁREA N = 19

62 LÍNEA DE BASE: INDICADORES
EN TODO EL AMBITO

63 LÍNEA DE BASE: INDICADORES
LÍNEA DE BASE Proyecto Nutricional 2005

64 LQAS: INDICADORES INFORMACION PARA LA ACCION
¿CÓMO ESTA CADA ÁREA? Alcanzó el promedio No alcanzó el promedio AS B AS A AS D AS C

65 ¿Qué área alcanzó la cobertura esperada de vacunación?
LQAS: NIVEL ALCANZADO ¿Qué área alcanzó la cobertura esperada de vacunación? Alcanzó el promedio

66 Monitoreo de los planes de acción de los actores sociales
Comunicación y trabajo comunitario para llegar a las familias % de cumplimiento del plan de comunicación y trabajo comunitario Se programan las actividades en forma anual, y estas se ingresan a la hoja de cálculo de EXCEL para hacer el seguimiento del cumplimiento de cada actividad. El cumplimiento de todas las actividades corresponde al 100% Los responsables del proceso realizan los reportes Trimestral Se envía resultados del indicador y la hoja de cálculo con los datos en magnético Formato de informe de avance de las actividades del Proyecto y hoja de cálculo de EXCEL “monitoreo de actividades”