Preparación de la evaluación de la efectividad de las intervenciones Montevideo, 21 de junio de 2017

Enfoque del trabajo Enfoque global de la evaluación Estudio cualitativo Diseño Guía de entrevistas Guía de análisis Estudio cuantitativo Discusión de cuestionarios COORDENA y CCAENA Plan de análisis

Contenidos Antecedentes Marco de evaluación de la efectividad de las intervenciones Objetivos Diseño de la evaluación Cronograma

1. Antecedentes Evaluación tradicional de intervenciones en salud centrada en la efectividad Intervenciones “eficaces” no siempre son “efectivas” importancia de evaluar el proceso de implementación: factores de éxito o fracaso, claves para su sostenibilidad y aplicabilidad (“implementation science”) Modelos de evaluación de las intervenciones híbridos: Proceso de implementación + efectividad (resultados) Diferentes marcos para la evaluación del proceso de implementación de las intervenciones en servicios de salud (PARiHS,CFIR,), sin consenso Dimensiones básicas (Pettigrew y Whipp, 1991): contenido (“semilla”), contexto (“suelo”) y proceso (“jardinero”) Tradicionalmente, la evaluación de las intervenciones en el ámbito de la salud se ha centrado en analizar su efectividad clínica. Sin embargo, la constatación del gap entre la investigación y la práctica ha hecho que cada vez interese más analizar el proceso de implementación, para determinar los factores que explican que una intervención efectiva sea o no exitosa, en este u otro contexto y qué sería clave para su sostenibilidad y extensión a otros contextos. Lo que posteriormente se ha denominado “implementation science” o “implementation research”. Normalmente, las evaluaciones suelen ser siempre o bien de efectividad o de proceso. Pero también han ido surgiendo evaluaciones híbridas y hay algún intento de sistematizar estas evaluaciones. Se han propuesto diversos marcos y teorías para evaluar la implementación de intervenciones en servicios de salud. Hay una inconsistencia en los términos, y se llevan a cabo propuestas desde un amplio rango de disciplinas que rara vez se referencian entre sí. Los más conocidos y usados son: El PARIHS (Promotion Action on Research Implementation in Health Services), es un marco teórico normativo para guiar la implementación de prácticas basadas en la evidencia {Helfrich, 2009 #1442}. Comprende los determinantes de una implementación exitosa para llevar a la práctica una recomendación basada en la evidencia: (1) la evidencia, o en qué medida los múltiples sktakeholders perciben que la intervención está basada en la evidencia, (2) la calidad del contexto en el que se implementará la intervención, (3) y la facilitación, o proceso en el que la implementación es facilitada. El CFIR, The Consolidated Framework for Implementation Research (CFIR), que es un meta-marco comprehensivo (revisión de otros marcos). Comprende cinco dominios principales: (1) las características de la intervención, el contexto (macro y micro), y el proceso de la intervención. Nos hemos basado en estas dimensiones principales, que provienen de las 3 dimensiones ya identificadas por Pettigrew y Whipp (Damschroder et al., 2009), para elaborar nuestro marco de evaluación.

1. Analizar el proceso de implementación de las intervenciones 2. Objetivos Objetivo específico c) Analizar la efectividad y las limitaciones de las diversas intervenciones en la mejora de la coordinación y la calidad asistencial en las redes de servicios de salud e identificar los factores que determinan su aplicabilidad en diferentes contextos. 1. Analizar el proceso de implementación de las intervenciones 2. Analizar la efectividad de la intervención en la coordinación y continuidad entre niveles asistenciales

3. Marco de evaluación de la efectividad de las intervenciones SISTEMA DE SALUD Y POLITICAS Participación/utilización y penetración Sostenibilidad en el tiempo IMPLEMENTACIÓN DE LA INTERVENCIÓN Diseño, contenido intervención implementada, difusión/capacitación, monitoreo FACTORES QUE INFLUYEN REDES - ESTRUCTURALES - ORGANIZATIVOS - INDIVIDUALES PROCESO DE IMPLEMENTACIÓN DE LA INTERVENCIÓN ACTORES Características, políticas nacionales y locales, cambios de gobierno, intereses Recursos disponibles de la red Apoyo institucional, condiciones laborales, intereses Interés en la coordinación, en el modelo de APS y en la intervención, habilidades, actitud ante los cambios RESULTADOS INTERMEDIOS. Cambios en los factores: * Sistema de salud y políticas * Red (intervención y otras): - Estructurales - Organizativos (implementación otros mecanismos, tiempo para coordinarse, etc.) - Individuales (conocimiento, confianza, uso de mecanismos, formación, etc.) . RESULTADOS RESULTADOS FINALES Cambios en la coordinación, continuidad entre niveles de atención, calidad (opcional) Este es el marco que les propondríamos para evaluar las intervenciones en el marco del proyecto Equity-LA. Por un lado evaluaríamos el proceso de implementación, y por otro los resultados de la implementación. En le proceso de implementación evaluaríamos la implementación de la intervención, que en nuestro proyecto de IAP abarca desde el diseño participativo. Y lo que algunos autores denominan los outcomes o resultados del proceso de la implementación, distinguiéndolo de los resultados de los servicios (en nuestro proyecto, la coordinación y continuidad). La implementación de la intervención está influenciada por elementos relacionados con el sistema de salud (externos), con la estructura y organización de las redes de servicios de salud, con características individuales de los profesionales a los que se dirige la intervención. Esta evaluación sería desde el punto de vista de los actores participantes: CCL, profesionales que han participado y los gestores/directivos. Y por otro evaluaríamos los resultados intermedios y finales de la intervención. Aquellas intervenciones alineadas con las políticas (objetivos, incentivos, etc.) e intereses de los actores del sistema (“system’s fit”), tienen una mayor probabilidad de ser adoptadas de forma amplia y sostenible en el tiempo (ref). Aquellas intervenciones alineadas con los incentivos económicos de la red y de sus unidades, tienen una mayor probabilidad de ser adoptadas de forma sostenible. Aquellas intervenciones alineadas con los objetivos y estrategias de la red y de sus unidades, tienen una mayor probabilidad de ser adoptadas de forma sostenible (Greenhalgh 2004). Aquellas intervenciones alineadas con los valores, intereses de los profesionales a los que va dirigida la intervención, tienen una mayor probabilidad de ser adoptadas de forma sostenible (Greenhalgh 2004){Damschroder, 2009 #1}. Las actividades principales en el proceso de implementación de la intervención son: el diseño y planificación de la intervención, la ejecución, la evaluación y difusión de la intervención (Damschroder et al., 2009)(Greenhalgh 2004). Cómo se lleven a cabo estas actividades, también afectan los resultados del proceso de implementación (adopción, sostenibilidad, etc.) y los resultados finales de la misma.

4. Métodos Diseño del estudio Proceso de la investigación Métodos Análisis

4.1. Diseño del estudio nacional Estudio cuasi-experimental: estudio de intervención con un diseño antes – después Con un enfoque de investigación-acción participativa (IAP) y multidisciplinaria Métodos Combinación de métodos de investigación: Cualitativo: grupos focales, entrevistas Cuantitativos: encuesta

4.2. Proceso de la investigación Marco de análisis e instrumentos Equity-LA Marco teórico e instrumentos 6 meses Capacity building y diseminación de resultados Marco de análisis Plan de investigación Intervención Control Estudio de línea de base 24 meses Comité conductor local Estudio cualitativo Estudio cuantitativo Diseño e implementación intervenciones 24 meses Evaluación de las intervenciones 12 meses Estudio cualitativo Estudio cuantitativo 12 meses Análisis comparativo trasnacional

4.3. Métodos. Evaluación de intervenciones (I) Estudio cualitativo: Grupos focales (GF). Red Intervención Comité Conductor Local Profesionales de diferentes niveles de la atención participantes Gerentes RI Análisis del proceso Factores que influyen en la implementación de las intervenciones participación/utilización, sostenibilidad y aplicabilidad de la intervención Recomendaciones para mejorar la implementación de la intervención 2. Análisis de la efectividad de las intervenciones Contribuciones a la coordinación Cambios en los factores que influyen en la coordinación en la red de intervención

4.3. Métodos. Evaluación de intervenciones (II) Estudio cualitativo: Entrevistas individuales (EI). Red Control. Gerentes/informantes claves RC Cambios en los factores que influyen en la coordinación en la red de control (estrategias, mecanismos, etc)

4.3. Métodos. Evaluación de intervenciones (III) Estudio cuantitativo (encuesta a medico/as y a usuario/as) Red intervención- control; antes-después 1. Análisis de la efectividad de las intervenciones Cambios en la coordinación entre niveles (RF) Cambios en la continuidad entre niveles (RF) Cambios en factores que influyen en la coordinación (RI) 2. Proceso de implementación de intervenciones (*) Conocimiento, participación/utilización de la intervención Opinión sobre la Implementación Factores que influyen Coordinación (COORDENA): Médico/as de diferentes niveles de atención que estuvieran trabajando en las redes de estudio en los últimos 3 meses 348 médicos por país (174 por red) Continuidad (CCAENA): Usuario/as de las RSS con enfermedades crónicas 784 usuario/as por país (392 por red) Cambios (antes-después, entre redes) en resultados intermedios y finales de coordinación y continuidad entre niveles de la(s) intervención(es)

4.4. Análisis comparativo intra-país Se realizará el análisis de resultados de forma comparativa: Proceso de implementación de las intervenciones (cuali-cuanti) Efectividad de las intervenciones Entre las redes, antes y después

5. Cronograma WP4: Evaluación de las intervenciones   2017 2018 J A S O N D E F M WP4: Evaluación de las intervenciones Finalización instrumentos de evaluación Estudio cualitativo Grupos focales Transcripción y análisis Estudio cuantitativo Capacitación supervisores y entrevistadores Recogidas de datos Coordinación, digitación y depuración Análisis D4.1 Plan comparativo intra-país (30/11/2017) Análisis final comparativo intra-país D4.2. Evaluación resultados finales de la intervención