Javier Paulini Pedro Francke Mariana Ballén Mesa de Salud XXI Seminario Anual CIES Diciembre 2010 ¿Evaluación de impacto o impacto de la evaluación? B ALANCE DE LAS E XPERIENCIAS DE E VALUACIONES DE P ROGRAMAS DE S ALUD P ÚBLICA EN EL P ERÚ

Objetivo y metodología Objetivo: Identificar las tendencias en las evaluaciones a los programas de salud pública en los últimos 20 años y plantear una propuesta de agenda para la evaluación en salud. Metodología: - Tendencias generales - Marco institucional para evaluar - Capacidad de evaluar - Uso de las evaluaciones 2 Fase 1: Mapeo de programas y políticas de salud. Matriz de evaluaciones Fase 2: 12 procesos de evaluación 3 programas: SIS, CLAS y TBC Entrevistas a evaluadores y operadores

Algunos aspectos conceptuales Evaluación: Análisis sistemático de una operación y/o los resultados de un programa o una política pública, respecto de un conjunto de estándares explícitos o implícitos, como un medio para contribuir a la mejora de dicho programa o política. Características de las evaluaciones analizadas: Evalúan un programa público, no un problema. Se considera todo tipo de evaluaciones (operación, resultados e impacto) y métodos. Se analizan documentos de evaluación de carácter público. No se analiza la calidad de las evaluaciones ni de los programas. 3

Políticas y programas en salud Tipología de programas: 1. Mejora de la gestión (CLAS, SIS, PARSA) 2. Orientados a problemas específicos (TBC, VIH-SIDA, Inmunizaciones) 3. Gestión de los recursos (Gestión de medicinas, PONAME)

Tendencias generales 5 Según el tipo de evaluaciones

¿Quién evalúa y quién financia? 6 ¿Quién financia?

Capacidad para evaluar 1.Voluntad política 2.Autonomía (arreglo organizacional) 3.Acceso a recursos 4.Competencias a nivel nacional 5.Existencia de herramientas para evaluar: Sin línea de base Con sistemas de seguimiento, instrumentos de generación de información Encuestas nacionales 7

Impacto de la evaluación - Mayor impacto en programas cuando evaluaciones se originan en el sector público Obstáculos para evaluar: Sólo un caso señaló injerencia desde los operadores Tiempo, Poco acceso a información * Evaluaciones no difundidas por sensibilidad de resultados pero utilizadas. 8

Conclusiones (i) Tendencia creciente a evaluar, 70% de programas con más de 2 evaluaciones. Interés por evaluar: Sector público (operadores e instancias con responsabilidad de evaluación). Recursos para evaluar: Gran presencia de multilaterales y cooperación. Escaso financiamiento público. Influyen para evaluar: liderazgo, voluntad política, acceso a recursos, competencias. Herramientas para evaluar: existencia de bases de datos, sistemas de seguimiento, formatos. Tipo de evaluación: Resultados. En los 90s nuevos tipos de evaluación (impacto) y evaluaciones multipropósito. 9

Conclusiones: impacto (ii) Validación. Tiene efecto en apropiación por parte de operadores. Las del sector público son más validadas. Difusión: Mayoría fue difundida bajo algún mecanismo. No necesariamente asociado a uso. Factores que habrían promovido el uso de las evaluaciones: – Liderazgo del responsable del programa – Factores políticos y coyunturales – Apropiación y factores organizacionales – Confianza en evaluaciones hechas por “terceros” – Oportunidad en difusión de resultados (cambios al programa o para ganar legitimidad) 10

Conclusiones: impacto (iii) Factores que habrían limitado el uso de las evaluaciones – Débil memoria institucional. – Escaso acceso a recursos y/o personal. – Cambios en la legislación que disminuyeron la capacidad de hacer cambios desde el nivel nacional. – Escasa difusión de evaluaciones (operadores no conocen de su existencia). – No contar con versiones cortas y amigables de las evaluaciones – Oportunidad en la difusión de los hallazgos. 11

Gracias. 12