Criterios para la evaluación de programas y proyectos de salud

Presentación del tema: "Criterios para la evaluación de programas y proyectos de salud"— Transcripción de la presentación:

1 Criterios para la evaluación de programas y proyectos de salud
Magíster en Gestión de Sistemas de Salud Criterios para la evaluación de programas y proyectos de salud Prof. Dr. Germán Lobos Santiago, 26 junio 2015

2 Metodología General: Guía para la preparación y evaluación de un proyecto
Preparando un Proyecto (etapa I) “preparación social de proyectos” Evaluando un Proyecto (etapa II) “evaluación social de proyectos”

3 Etapa I: Preparación del Proyecto
El objetivo es la recopilación y análisis de los antecedentes e información que permitan justificar la ejecución del proyecto. En esta etapa deberán abordarse tres aspectos: identificación del problema, diagnóstico de la situación actual y proyectada, identificación de alternativas de solución.

4 1. identificación del problema (1)
El problema deberá formularse como un estado negativo, que afecta a una determinada población, y no como la falta de una solución Incorrecto: "Se requiere un programa de capacitación“ Correcto: “No hay suficientes trabajadores calificados" Incorrecto: "No hay repuestos" Correcto: “El equipo funciona de manera deficiente" Incorrecto: "Hace falta un centro de salud" Correcto: “Existe una alta morbilidad"

5 1. identificación del problema (2)
Problema mal formulado: “Baja cobertura de los servicios de atención primaria de salud para la población materno infantil de la Provincia de Cauquenes” Problema social bien formulado: “Alta incidencia de morbilidad y mortalidad infantil de la población de la Provincia de Cauquenes” Problema mal formulado: “Poca cantidad de escuelas en la Región del Maule” Problema social bien formulado: “Bajo nivel educacional de la población en edad escolar de la Región del Maule” Problema mal formulado: “Insuficiente oferta de servicios de capacitación para el empleo de jóvenes del sector rural” Problema social bien formulado: “Altos niveles de desempleo y subempleo en la población juvenil del sector rural”

6 1. identificación del problema (3)
En la situación analizada pueden visualizarse varios problemas, sin embargo, es necesario enfocarse en el problema principal, estableciendo las causas que lo originan y los efectos que produce. El PROBLEMA PRINCIPAL Es una proposición en sentido negativo: describe situación insatisfactoria. Es un hecho o situación; no es una expresión. Es importante: afecta a gran parte de la población objetivo. No es la ausencia de una solución. Existe, no es un problema posible o potencial. El problema principal debe ser verdadero, por lo cual tiene que existir evidencia empírica y que pueda ser sustentado con indicadores.

7 1. identificación del problema (4)
El problema puede ser identificado de distintas formas: Observación de la realidad: apreciación de situaciones o hechos que no son deseados y provocan efectos negativos en la sociedad Detectar disfuncionalidades en las intervenciones sociales existentes: cuando algún programa o proyecto realizado previamente no ha logrado los objetivos buscados Contrastar la situación a analizar respecto a niveles habituales, normales o estándares.  “Convertir el Problema Principal (Central) en Objetivo Principal”… (1)

8 1. identificación del problema (5)
Por ejemplo, « El Problema: “La producción agrícola es baja », como Objetivo se convierte en: « Incrementar la producción agrícola en no menos del 10% ». Por ejemplo, « El Problema: “Limitada provisión de energía eléctrica durante el día” », como Objetivo se convierte en: « Mejorar la provisión de energía eléctrica durante el día ». Por ejemplo, « El Problema: “No hay suficientes trabajadores calificados para la cosecha” », como Objetivo se convierte en: « Aumentar el número de trabajadores calificados » Las CAUSAS del Problema dan pie a la formulación de los Objetivos del proyecto, se convierten en MEDIOS Los EFECTOS (Consecuencias) del problema se convierten en FINES

9 1. identificación del problema (6)
El adecuado planteamiento de un proyecto o programa nos permite responder las siguientes preguntas (EML): ¿Cuál es la finalidad que se persigue con su ejecución? ¿Qué impacto concreto se espera alcanzar? ¿Qué bienes o servicios deberán ser producidos? ¿Cómo se va a hacer para producir dichos bienes o servicios? ¿Cuánto nos va a costar producirlos? ¿Cómo sabremos si se han cumplido los objetivos? ¿Qué factores externos pueden comprometer el éxito?

10 1. identificación del problema (7)
“Convertir las Causas en Medios”… (2) “Convertir los Efectos (Consecuencias) en Fines”… (3) “Transformar los Estados Negativos (Problemas) en Situaciones Positivas (Objetivos)”… (4) Los « estados negativos » del árbol de los problemas se convierten en soluciones, expresadas en forma de « estados positivos » Es necesario revisar cada problema (negativo) y convertirlo en un objetivo (positivo), realista y deseable.

11 Alta tasa de accidentes en la intersección
Árbol del Problema Alta mortalidad Grandes daños a la propiedad Descontento con la autoridad comunal Gran número de heridos Altos costos reparaciones Pérdida de votos Altos costos de atención de salud Alta inasistencia laboral Menor calidad de vida Pérdida de productividad Alta tasa de accidentes en la intersección Gran número de peatones cruzando Visibilidad limitada Falta de señalización Exceso de velocidad de los vehículos Imprudencia de los conductores Inexistencia de un puente peatonal Imprudencia de los peatones Gran distancia a semáforos aguas arriba y abajo Hay vehículos estacionados No hay señal de prioridad No hay semáforo Efectos (consecuencias) Causas

12 Efectos (consecuencias) enfermedades en la localidad
Árbol del Problema Menor calidad Menor calidad Bajo potencial Menores Menores Efectos (consecuencias) de de vida vida productivo local remuneraciones remuneraciones Deficiente Deficiente Deficiente Postergación de Postergación de Postergación de Mayor costo de Mayor costo de Mayor costo de Menor Menor Menor calificación calificación calificación otras necesidades otras necesidades otras necesidades producción producción producción rendimiento rendimiento rendimiento laboral laboral laboral Elevados costos de atención de salud Mayor inasistencia laboral Mayor inasis - tencia y repi tencia escolar Alta tasa de Alta tasa de Alta tasa de Mayor Mayor Elevados costos Elevados costos Mayor inasis Mayor inasis - - mortalidad mortalidad mortalidad inasistencia inasistencia de atención de de atención de tencia y repi tencia y repi - - laboral laboral salud salud tencia escolar tencia escolar Causas Alta tasa de enfermedades en la localidad Malos Deficiente Contaminación Ambiente Una vez completado el árbol de causas, este puede ser unido al árbol de efectos, creandose así el árbol de causas-efectos o árbol del problema.. En esta etapa es conveniente verificar que no aparezca una misma situación como causa y efecto a la vez (error más frecuente de lo que se creería). En tal caso habrá que revisar bién que se quiso decir al definir dicha situación y ver si se cambia la redacción de una de ellas o si se opta por dejarla sólo como causa o sólo como efecto. Cuando el equipo que desarrolla el proyecto logra alcanzar consenso respecto al árbol del problema, habrá avanzado muchísmo en la preparación del proyecto. En efecto, los frutos de este arbolito son múltiples y alimentan todo el resto del proceso de formulación y evaluación del proyecto. hábitos de acceso a centros del agua contaminado e higiene de salud insalubre Falta de Falta de Inexistencia Mal manejo de educación en educación en de los residuos higiene higiene alcantarillado sólidos Vías a centros vecinos No hay atención No hay atención en malas condiciones en la localidad en la localidad

13 Alta tasa de accidentes en la intersección
Árbol de Objetivos Alta mortalidad Grandes daños a la propiedad Descontento con la autoridad comunal Gran número de heridos Altos costos reparaciones Pérdida de votos Altos costos de atención de salud Alta inasistencia laboral Menor calidad de vida Pérdida de productividad Alta tasa de accidentes en la intersección Gran número de peatones cruzando Visibilidad limitada Falta de señalización Exceso de velocidad de los vehículos Imprudencia de los conductores Inexistencia de un puente peatonal Imprudencia de los peatones Gran distancia a semáforos aguas arriba y abajo Hay vehículos estacionados No hay señal de prioridad No hay semáforo Mejor calidad de vida Buena productividad Efectos se convierten en Fines Menores costos de atención de salud Bajos costos de reparaciones Se mantiene apoyo electoral Menor inasistencia laboral Baja mortalidad Pocos heridos Menores daños a la propiedad Satisfacción con la autoridad comunal Baja tasa de accidentes en la intersección Causas se convierten en Medios Adecuada velocidad de los vehículos Bajo número de peatones cruzando Buena visibilidad Existe señalización Menor distancia a semáforos aguas arriba y abajo Existe un puente peatonal No hay vehículos estacionados Hay semáforo Prudencia de los conductores Prudencia de los peatones Hay señal de prioridad

14 Efectos se convierten en Fines
Árbol de Objetivos Mayor calidad de vida Buen potencial productivo local Mayores remuneraciones Efectos se convierten en Fines Mayor rendimiento Adecuada calificación laboral Menor costo de producción Priorización de otras necesidades Baja tasa de mortalidad Menor inasistencia laboral Menor inasis-tencia y repi-tencia escolar Moderados costos de atención de salud Baja tasa de enfermedades en la localidad Causas se convierten en Medios Adecuado acceso a centros de salud No hay contami-nación del agua Ambiente descon-taminado y sano Buenos hábitos de higiene Además, es el momento de verificar la lógica del árbol de objetivos, es decir si siguen teniendo sentido en éste las relaciones causa efecto que dieron origen a la estructura del árbol del problema. Si ello no ocurre, es decir si no se mantiene la relación de causalidad en el árbol de objetivos, será necesario volver atrás y revisar la lógica de las relaciones en el árbol del problema. También suele ocurrir que al construir el árbol de objetivos, el equipo del proyecto se percate de que no aparece en éste algún efecto positivo que se espera genere la solución del problema, o bien no aparezca algún medio que claramente podría aportar a la solución del problema. En tal caso será nuevamente necesario volver a revisar la estructura del árbol el problema. Una vez completada la revisión el árbol el problema y del árbol de objetivos, el equipo podrá proceder a estudiar como lograr materializar los medios cuya existencia garantizaría la solución del problema. Vías a centros vecinos en buenas condiciones Hay atención en la localidad Existe alcantarillado Existe educación en higiene Buen manejo de los residuos sólidos

15 Identificar acciones Para cada base del árbol de objetivos se busca creativamente al menos una acción que permita lograr el medio. Existe educación en higiene Vías a centros vecinos en buenas condiciones Hay atención de salud en la localidad No hay contami-nación del agua Existe alcantarillado Buen manejo de los residuos sólidos Curso de capacita-ción en higiene personal y manejo de alimentos Mejora-miento del camino Construc-ción de un centro de salud Construc-ción de una planta de tratamiento Construc-ción de sistema de alcantari-llado Mejorar la recolección y la disposición final Para ello es necesario estudiar los distintos medios anotados en el árbol de objetivos, concentrándonos en los de nivel inferior (positivo de las causas últimas). Para cada una de éstos deberemos considerar una acción ( o más de una) que sea factible realizar para contar efectivamente con dicho medio. Por ejemplo, si el medio fuese “pupitres en buenas condiciones”, la acción podría ser “reparación de pupitres”. Una vez identificadas las acciones, es conveniente analizar, en forma preliminar y muy genérica, la viabilidad de realizar cada una de ellas. Ello puede llevar a descartar ciertas acciones que claramente no será posible realizar (por ejemplo, en un proyecto de disposición de residuos sólidos domiciliarios, el enviar estos al sol para que sean quemados).

16 2. diagnóstico de la situación actual y proyectada (1)
El diagnóstico de la situación actual tiene por objetivo realizar una descripción y análisis de los principales aspectos relacionados al problema definido. Para ello, se deberá recopilar la información apropiada, de fuentes de origen primario y/o secundario.

17 2. diagnóstico de la situación actual y proyectada (2)
2.1 Identificación Área de estudio y Área de influencia El área de estudio corresponde a la zona geográfica que da contexto al problema en estudio.   El área de influencia corresponde a los límites dentro de los cuales el proyecto podría constituir una solución real al problema detectado y queda definido principalmente por la ubicación de la población afectada. Eventualmente, las áreas de estudio e influencia podrían coincidir, pero generalmente la segunda es un subconjunto de la primera.

18 2. diagnóstico de la situación actual y proyectada (3)
Los antecedentes que deberán recopilarse para ambas áreas de estudio son los siguientes: Tipo de Zona (urbana y/o rural) Extensión de la superficie Características físicas del territorio (tipo de suelo, clima, etc.) Principales actividades económicas Caracterización de la infraestructura y servicios disponibles Condiciones socioeconómicas de la población Aspectos culturales y sociales Institucionalidad y Administración sectorial y/o local Otros aspectos relevantes para el proyecto

19 2. diagnóstico de la situación actual y proyectada (4)
2.2 Identificación de la Población Objetivo La población objetivo es aquella que será beneficiada con el proyecto. Se identifica a partir de la población de referencia, definida como la población total del área de influencia, perteneciente al grupo en estudio Por ejemplo, si el problema identificado afecta a la tercera edad, la población de referencia es el total de la población de la tercera edad ubicada en el área de influencia. De la población de referencia se identifican dos subgrupos: la población afectada por el problema (población con problema o potencial) y la no afectada (población potencial o sin problema).

20 2. diagnóstico de la situación actual y proyectada (5)
Las fuentes de información para determinar la población de referencia: Censo más reciente, estadísticas municipales. Para la identificación de la población potencial: encuesta CASEN, estudios previos relacionados al problema bajo análisis o recopilación de información en terreno. Será necesario realizar una proyección de la población de referencia, que permita a la vez proyectar la población con problema o potencial, en el horizonte de evaluación del proyecto. Deberá incorporarse el efecto (positivo o negativo) que podrán tener proyectos u otros sucesos de alta probabilidad de ocurrencia (por ejemplo, construcción de nuevas viviendas sociales en el área).

21 2. diagnóstico de la situación actual y proyectada (6)
2.3 Demanda Actual y Proyectada La demanda se define como el requerimiento que realiza la población afectada sobre el conjunto de bienes o servicios, por unidad de tiempo. La demanda debe medirse en las magnitudes apropiadas, por ejemplo, número de atenciones médicas al año, kilos de alimento al mes, litros de agua potable al día, etc. Método más utilizado para la estimación de la demanda es a través del consumo individual, esto es, per cápita o familiar. 𝐷𝑒𝑚𝑎𝑛𝑑𝑎 𝑇𝑜𝑡𝑎𝑙=𝐶𝑜𝑛𝑠𝑢𝑚𝑜 𝑖𝑛𝑑𝑖𝑣𝑖𝑑𝑢𝑎𝑙×𝑃𝑜𝑏𝑙𝑎𝑐𝑖ó𝑛 Para obtener el consumo individual, se puede utilizar los registros históricos del consumo de una población de similares características.

22 2. diagnóstico de la situación actual y proyectada (7)
2.4 Oferta Actual y Proyectada La oferta es la cantidad del bien o servicio provista en el área de influencia. Para su estimación se debe considerar : Capacidad de la infraestructura existente Equipos y personal capacitado disponible Cumplimiento de normas de calidad del servicio Para proyectar la oferta, se debe considerar la evolución esperada de la provisión del bien o servicio por parte de los oferentes actuales o la entrada de nuevos proveedores en al área de influencia.

23 2. diagnóstico de la situación actual y proyectada (8)
2.5 Déficit Actual y Proyectado El déficit corresponde a la diferencia entre la demanda total y la oferta. El déficit también puede ser expresado en términos cualitativos, esto es, como deficiencias en la calidad, incumplimiento de normativas, etc. La proyección del déficit consiste en calcular para cada periodo “t” del horizonte de evaluación la diferencia entre demanda y oferta:  𝐷é𝑓𝑖𝑐𝑖𝑡 𝑡=𝐷𝑒𝑚𝑎𝑛𝑑𝑎 𝑡𝑜𝑡𝑎𝑙 𝑡−𝑂𝑓𝑒𝑟𝑡𝑎 𝑡𝑜𝑡𝑎𝑙 𝑡

24 Una aplicación: Demanda que enfrenta el proyecto: oferta y demanda de atenciones de urgencia

25 Tabla 1. Demanda anual por atenciones de emergencia
En la tabla 1 se presenta la determinación de las cantidades demandadas de atenciones de emergencia, a una unidad de emergencia, en el principal hospital base de la región de O’Higgins. Los programas de atenciones de urgencia son los siguientes: infantil, adulto, materno y salud bucal. Tabla 1. Demanda anual por atenciones de emergencia Programa Población asignada Tasa (AT/HAB/año) Demanda (AT/año) Infantil 46.950 0,613 28.780 Adulto 88.896 0,316 28.091 Materno 66.162 0,159 10.520 Salud bucal 0,019 2.581 Total 69.972

26 Tabla 2. Oferta anual por atenciones de emergencia
La oferta de atenciones de urgencia es función de la cantidad de profesionales y su rendimiento. La oferta de atenciones debe determinarse por programa de atención, de acuerdo a las horas que los profesionales destinan en el año a las atenciones (tabla 2) Considere que sus contratos señalan que el profesional trabaja 240 días/año y 8 horas/día. Tabla 2. Oferta anual por atenciones de emergencia Programa Rendimiento (AT/hora) Cantidad (AT/año) Nº profesionales Oferta Infantil 4 7.680 3 23.040 Adulto 2 15.360 Materno 1 Salud bucal 6 11.520 Total 57.600

27 Al comparar la demanda de atenciones anuales con la oferta médica actual, se observa la existencia de un déficit en los programas infantil, adulto y materno, con excepción del programa odontológico que presenta un superávit (tabla 3) Tabla 3. Cálculo de déficit o superávit de demanda anual por atenciones de emergencia Programa Demanda (AT/año) Oferta Déficit Infantil 28.780 23.040 5.740 Adulto 28.091 15.360 12.731 Materno 10.520 7.680 2.840 Salud bucal 2.581 11.520 -8.939 Total 69.972 57.600

28 Tabla 4. Determinación de la demanda anual insatisfecha
Para la determinación de la demanda insatisfecha que presenta el período de análisis, ésta corresponde a la demanda que no es posible satisfacer con los recursos que el hospital destina para tales efectos. La demanda insatisfecha agregada de los tres programas analizados asciende a AT/año (tabla 4). Tabla 4. Determinación de la demanda anual insatisfecha Programa Demanda insatisfecha (AT/año) Infantil 5.740 Adulto 12.731 Materno 2.840 Total 21.311

29 Tabla 5. Requerimientos de personal médico
Finalmente, para cubrir esta demanda insatisfecha en los programas infantil, adulto y materno, es necesario disponer de las jornadas horarias de personal médico (tabla 5) Tabla 5. Requerimientos de personal médico Programa Demanda (AT/año) Cantidad Nº Jornadas Médicas Contrato (Horas/día) Infantil 5.740 7.680 0,74 6 Adulto 12.731 1,66 14 Materno 2.840 0,37 3

30 3. Identificación de alternativas de solución (1)
3.1 Optimización de la Situación Base La optimización de la situación base consiste en identificar medidas de bajo costo que puedan mejorar la situación actual, eliminando parcial o totalmente el problema. Entre estas medidas se pueden encontrar: Inversiones menores: mejoramientos, ampliaciones y/o reparaciones de la infraestructura o equipamiento existentes Medidas de gestión y/o administrativas Capacitación al personal  

31 3. Identificación de alternativas de solución (2)
3.2 Configuración de Alternativas de Solución Tamaño Localización Tecnología Obras físicas

32 Etapa II: Evaluación del Proyecto
La evaluación tiene por objetivo establecer la conveniencia técnico-económica de ejecutar el proyecto. Para la evaluación de un proyecto se puede adoptar un enfoque costo-beneficio o un enfoque costo eficiencia, dependiendo si es posible cuantificar y/o valorar los beneficios del proyecto. Enfoque costo-beneficio: VAN, TIR Enfoque costo-eficiencia: CAN, CAE

33 1. Enfoque costo-beneficio (1)
1.1Identificación de Beneficios Los beneficios que genera un proyecto dependerán de la naturaleza de éste; entre ellos pueden estar: Aumento del consumo de un bien o servicio. Ahorro de costos. Revalorización de bienes. Reducción de riesgos. Mejoras en el medio ambiente. Seguridad nacional.

34 1. Enfoque costo-beneficio (2)
1.2 Cuantificación de los Beneficios La cuantificación de los beneficios consiste en asignar unidades de medida apropiadas a los beneficios identificados. Por ejemplo: Consumo de 30 litros de leche por mes 1.500 atenciones dentales al año Aumento en un 5% de las plusvalías de terrenos 30 minutos de espera del usuario ahorrados 150 litros de combustible ahorrados al mes Disminución de 200 accidentes al año

35 1. Enfoque costo-beneficio (3)
1.3 Valorización de los Beneficios La valoración de los beneficios implica asignar un valor monetario a los beneficios identificados y cuantificados en las etapas anteriores. Esto puede realizarse aplicando precios de mercado (sin IVA), en aquellos casos donde no se presentan distorsiones como impuestos o subsidios; o también, aplicando precios sociales calculados por el Ministerio de Desarrollo Social. En algunos casos, el formulador del proyecto deberá realizar una estimación específica para poder valorar los beneficios.

36 1. Enfoque costo-beneficio (4)
1.4 Identificación de Costos Constituyen costos del proyecto todos aquellos recursos utilizados para su materialización, en las etapas de diseño, ejecución y operación. Se pueden tener: Estudios y Diseños Compra de materiales e insumos Pago de salarios (trabajadores de la etapa de ejecución) Adquisición de maquinaria y equipos Supervisión y asesorías a la etapa de inversión Terrenos El terreno debe considerarse como costo del proyecto, aun cuando éste sea de propiedad de la institución ejecutora y/o financiera.

37 1. Enfoque costo-beneficio (5)
Por otra parte, durante la etapa de operación del proyecto se deberá utilizar recursos para su funcionamiento período a período. Estos recursos constituyen los costos de operación y mantención: Sueldos y salarios personal contratado Servicios básicos (luz, agua, teléfono, etc.) Materiales e insumos Repuestos  Costos de conservación o mantención.

38 1. Enfoque costo-beneficio (6)
1.5 Cuantificación de Costos La cuantificación de costos consiste en asignar unidades de medida apropiada a los costos identificados. Por ejemplo, 100 toneladas de cemento, 3000 horas- hombre, 3 equipos, etc.

39 1. Enfoque costo-beneficio (7)
1.6 Valoración de Costos La valoración de los costos de inversión, operación, mantención y conservación, se realiza principalmente a través de los precios de mercado. Dado que se está realizando una evaluación social, es necesario realizar ajustes para reflejar el verdadero costo para la sociedad de utilizar recursos en el proyecto. Para algunos recursos como: diésel, gasolina, tiempo de viaje, lubricantes de motor y neumáticos, el Ministerio de Desarrollo Social publica anualmente los precios sociales que deben ser utilizados en la evaluación de proyectos.

40 1. Enfoque costo-beneficio (8)
1.7 Flujo de Beneficios Netos Una vez valorados los costos y beneficios del proyecto, deberá calcularse el flujo de beneficios netos, para cada periodo del horizonte de evaluación del proyecto. Este último queda definido principalmente por la vida útil de la inversión, no debiendo ser superior a 30 años. En aquellos proyectos donde la vida útil de la inversión se estima superior al horizonte de evaluación, deberá considerarse un valor residual.

41 1. Enfoque costo-beneficio (9)
1.8 Indicadores de Rentabilidad VAN Social TIR Social

42 2. Enfoque costo-eficiencia (1)
En este enfoque el objetivo es identificar aquella alternativa de solución que presente el mínimo costo, para los mismos beneficios. Para poder aplicar este enfoque es fundamental poder configurar alternativas que entreguen beneficios comparables. Este enfoque se aplica cuando existe dificultad para cuantificar y/o valorar los beneficios del proyecto, especialmente cuando esto conlleva la aplicación de juicios de valor. En estos casos, se reconoce que los beneficios son deseados por la sociedad y por lo tanto, el criterio a aplicar será el de mínimo costo. Por lo tanto, para la evaluación bajo un enfoque costo- eficiencia no se valoran los beneficios, sino sólo sus costos involucrados.

43 2. Enfoque costo-eficiencia (2)
2.1 Indicadores Costo Eficiencia Los indicadores utilizados bajo un enfoque costo eficiencia resumen todos los costos del proyecto, tanto de inversión, como de operación, mantención y conservación. VAC CAE