Reflexiones, desafíos y propuestas EVALUACIÓN DE EFECTIVIDAD Reflexiones, desafíos y propuestas LIGIA DE SALAZAR, Ph.D Directora CEDETES Profesora Titular Escuela de Salud Pública - Universidad del Valle CALI - COLOMBIA

PROMOCIÓN DE LA SALUD, DETERMINANTES SOCIALES Y EQUIDAD SIGNIFICADOS ¿Es una intervención en promoción de la salud para el abordaje de la equidad a través de los DSS?

ABORDAJE DE LAS INEQUIDADES EN SALUD La constatación de la existencia de grandes inequidades genera voluntad política en la búsqueda de soluciones

ABORDAJE DE LAS INEQUIDADES EN SALUD Asociaciones entre macro determinantes de salud y resultados, en términos de equidad y estado de salud de las poblaciones.

ABORDAJE DE LAS INEQUIDADES EN SALUD Reorientar los patrones de desarrollo para lograr mayor equidad significa: Búsqueda de balance entre crecimiento económico estable y competitivo y desarrollo integrador en lo social y sostenible en lo ambiental. Reconstrucción de tejidos sociales. Rompimiento de los canales de reproducción de la pobreza y la desigualdad y de las barreras de discriminación. Lucha por los derechos económicos, sociales y culturales interdependientes de los civiles y políticos. INTERVENCIONES COMPLEJAS

¿Es una intervención que aborda la equidad y los DSS? Accion intersectorial sostenida Equilibrio de relaciones de poder político y económico-participación social Políticas públicas ajustadas a condiciones y contextos, y áreas geográficas

¿INTERVENCIONES SIMPLES O COMPLEJAS? En intervenciones complejas es frecuente que los cambios esperados, y el cómo alcanzarlos no esté claro al inicio. Una tarea clave es desarrollar un entendimiento teórico del proceso de cambio probable, obteniendo evidencia existente y teoría, complementado por investigación primaria. En estas evaluaciones se presentan limitaciones en la aceptación, adherencia, implementación de la intervención, reclutamiento, retención y efectos no esperados Fuente: Craig et al. 2008

¿Estamos haciendo lo que podemos, Metas alcanzables: “punto de referencia es lo realizable” ¿Estamos haciendo lo que podemos, o lo que debemos?

Diseño metodológico Evaluación DESAFÍOS DE LA EVALUACIÓN Y PROPUESTAS Diseño de la intervención Proceso de implementación La pregunta - Indicadores Acopio, análisis e interpretación de datos Valoración de efectividad - impacto Diseño metodológico Evaluación

Matriz de variables e indicadores CALIDAD DEL DISEÑO Fundamentación Teórica Suficiencia/ viabilidad del diseño Identificación completa de actividades y recursos Indicadores de proceso y logro CALIDAD DEL PROCESO DE IMPLEMENTACIÓN Cumplimiento de actividades y recursos Razones de no cumplimiento Ajustes a protocolo inicial VALORACIÓN DE LOS CAMBIOS EN LAS PREVALENCIAS DE EVENTOS DE INTERÉS Metodología utilizada para valorar los cambios en los eventos de interés Significancia e Importancia de los cambios TRIANGULACIÓN Y VALORACIÓN DE LA COHERENCIA ENTRE ENFOQUES Asociación Contribución Atribución

Desafío 1: DISEÑO DE LA INTERVENCIÓN

1 DISEÑO DE LA INTERVENCIÓN ENFOQUES METODOLÓGICOS Fundamentación pobre: definición del problema y causas. Teoría de causación de la intervención vs teoría prescriptiva- Protocolos. Supuestos no viables. Ha funcionado en contextos diferentes-no necesariamente en actual. Estructura para identificar cuáles DSS son más importantes en la evaluación. 1 DISEÑO DE LA INTERVENCIÓN ENFOQUES METODOLÓGICOS Revisión de literatura- Evidencias Sistematización/síntesis realista para identificación de componentes y mecanismos que han hecho funcionar la intervención en contextos similares. Aplicación de matriz de indicadores de calidad en el diseño.

PRÁCTICA DE PROMOCIÓN DE LA SALUD Orientada a intervenciones cuyo objetivo es la reducción de problemas de salud y riesgos, a través de estrategias para mejorar el acceso a servicios de salud, impulsar estilos de vida saludable.

PRÁCTICA DE PROMOCIÓN DE LA SALUD Políticas públicas y legislación para promover iniciativas alrededor del derecho a la salud, la equidad reducción de la pobreza, son mencionadas pero no se materializan en las intervenciones.

¿Los supuestos tienen en cuenta las estructuras que influencian la práctica? Reformas del sistema de salud en contravía de supuestos Capacidad de reacción ante cambios imprevistos Procesos de monitoreo y evaluación Movilidad de la población

¿Suficiencia del horizonte temporal para producir cambios? ¿Acción política y social a largo plazo? ¿Se pueden obtener los cambios esperados en el periodo de tiempo estipulado?

Políticas intersectoriales 1 Políticas sobre estratificación 2 Políticas para reducir exposición y vulnerabilidad 3 Políticas para reducir consecuencias diferenciales ¿Son los anteriores aspectos conscientemente abordados en nuestras intervenciones?

Desafío 2: IMPLEMENTACIÓN DE LA INTERVENCIÓN

Lo que se hizo y razones del cambio Lo que se planificó Lo que se hizo y razones del cambio VS

2 IMPLEMENTACIÓN DE LA INTERVENCIÓN ENFOQUES METODOLÓGICOS Proceso poco o nada documentado e investigado. Se desconoce en la practica cómo funciona la intervención. Se desconoce los “ingredientes activos” de la intervención: componentes y mecanismos que producen los resultados. Lo diseñado no corresponde con lo implementado: limitada adherencia 2 IMPLEMENTACIÓN DE LA INTERVENCIÓN ENFOQUES METODOLÓGICOS Guía de documentación y sistematización de la experiencia práctica Mapeo de resultados Evaluación de proceso Uso de fuentes de información como sistemas de vigilancia para eventos relacionados

La investigación acerca de la implementación de las intervenciones ha sido ignorada   Los estudios publicados y revisiones sistemáticas se relacionan con resultados o productos de la intervención y proveen poco o ninguna información sobre la implementación y calidad de la intervención (Durlak, 1998; Dane and Schneider, 1998; Domitrovich and Greenberg, 2000)

IMPLEMENTACIÓN DE LA INTERVENCIÓN ¿Se implementó la intervención como estaba planificada? ¿Hubo adherencia al protocolo de la intervención? ¿ Hubo cambios, se conocen?; son homogéneos y sostenidos? ¿Éstos pudieron afectar los resultados?

Desafío 3: PREGUNTA E INDICADORES

Indicadores de impacto, efectividad y resultados Creación de capacidad para intervenir Cambios en eventos prioritarios como resultado de la intervención

PREGUNTA E INDICADORES ¿Cuál es el impacto/efectividad de la intervención? Cuáles son los componentes e ingredientes activos responsables de los resultados? ¿Podemos atribuir los logros o cambios a la intervención implementada? 3 PREGUNTA E INDICADORES ENFOQUES METODOLÓGICOS Reunión de consenso usuarios de información Tomadores de decisión Grupos focales Resultados de la sistematización Análisis de documentación de la intervención

Otros interrogantes 1 ¿Podemos atribuir los resultados (cambios) a la iniciativa evaluada? 2 ¿Podemos confiar en la validez de las asociaciones estadísticas? 3 ¿Se cumplieron los supuestos? 4 ¿Qué información adicional requerimos para fundamentar la asociación intervención / cambios?

Desafío 4: ACOPIO, ANÁLISIS E INTERPRETACIÓN DE DATOS

ACOPIO, ANÁLISIS E INTERPRETACIÓN DE DATOS Adherencia a protocolo para implementación Métodos convencionales pero incoherentes Análisis incompleto, uso de indicadores inapropiados Valoración de efectividad e impacto descansa solo en asociaciones estadísticas establecidas bajo supuestos que no se cumplen 4 ACOPIO, ANÁLISIS E INTERPRETACIÓN DE DATOS ENFOQUES METODOLÓGICOS Métodos convencionales – descriptivos y analíticos Combinación de enfoques Revisiones sistemáticas Reunión de consenso Uso de sistemas de informacion- Vigilancia Sistematización Análisis de tendencias de cambio

Reflexión Hay necesidad de estructuras analíticas que integren proceso y resultados de tal forma que esta asociación tenga significado para establecer el cómo y por qué se dieron los cambios. Usar enfoques, perspectivas y métodos contrastantes y complementarios para llenar vacío en relación con áreas de conocimiento y práctica que no han sido documentadas suficientemente. Promotion & Education 2005; 12; 30 Margaret M. Barry, Celene Domitrovich and Ma. Asunción Lara http://ped.sagepub.com

Reflexión La asociación intervención resultados se produce como resultado de un proceso político y social- no necesariamente lineal, influenciado por el contexto.

Reflexión La colinealidad o multicolinealidad que es un evento indeseable en la investigación en salud, por el contrario lo es muy deseable cuando se trata de intervenir sobre inequidades, aquí la lógica funciona de otra manera: Variables íntimamente correlacionada permiten intuir que la intervención sobre una o algunas de ellas, harán que el impacto sea mayor por afectar a otras. Citado por Gustavo Bergonzoli 2010

¿Qué significa la sistematización? « La sistematización busca el análisis y comprensión de procesos de cambio desde la perspectiva, opiniones y sentir de los actores» Organización Reflexión Interpretación y comprensión de la intervención

Modelo de Evaluación de Efectividad/Impacto de intervenciones ENFOQUE CUANTITATIVO VIGILANCIA – ENCUESTAS-REGISTROS -Validez -Fuerza de asociación -Importancia de los cambios ENFOQUE CUALITATIVO SISTEMATIZACIÓN -Fundamentación -Suficiencia -Coherencia -Desempeño JERARQUÍA DE EVIDENCIA ASOCIACIÓN   CONTRIBUCIÓN (CORRELACIÓN) ATRIBUCIÓN

Desafío 5: USO DE LA INFORMACIÓN

¿Está claramente definida la intencionalidad? LA GRANDEZA DE LA POLITICA NO ESTÁ EN EL CÓMO SINO EN EL PARA QUÉ !!!! Calidad del proceso de toma de decisiones Equidad Desarrollo sustentable- sostenible Creación de capacidad Reducir problemas diferenciales & consecuencias ¿Está claramente definida la intencionalidad?

PARTICIPACIÓN DE LOS INVOLUCRADOS EN LA IDENTIFICACIÓN DEL PROBLEMA, LA SOLUCIÓN E INDICADORES DE ÉXITO. Candidatos a alcaldía y gobernación Autoridades locales de salud Académicos e investigadores Decisores políticos Comunidades organizadas y ciudadanos Medios de comunicación

Gracias!! http://www.cedetes.org cedetes@cedetes.org