ELEMENTOS METODOLÓGICOS DE LA EVALUACIÓN EN PROMOCIÓN DE SALUD. Lic. Nelcy Martínez Trujillo (MsC) ENSAP nelcy@ensap.sld.cu

individuos, grupos y comunidades. Logro y mantenimiento de la calidad de vida de individuos, grupos y comunidades. Políticas Públicas Evidencias EVALUACIÓN Toma de decisiones LA EVALUACIÓN, las evidencias, la toma de decisiones y las políticas públicas; cuatro conceptos, en pro de un objetivo: el logro y mantenimiento de la calidad de vida de individuos, grupos y comunidades para que vivan saludables. LA EVALUACIÓN, las evidencias, la toma de decisiones y las políticas públicas; cuatro conceptos, en pro de un objetivo: el logro y mantenimiento de la calidad de vida de individuos, grupos y comunidades para que vivan saludables

Proceso Investigativo EVALUACIÓN Proceso Investigativo Articulación entre los conceptos. Qué Funciona. Cómo Funciona. Posibilidad de replicar programas que funcionen.

Selección del tipo de estudio Resultados Esperados Recursos disponibles Selección del tipo de estudio Tiempo para realizar la evaluación Disponibilidad de información previa Diferentes factores intervienen en la selección del tipo de estudio para realizar una evaluación. Diferentes tipos de estudios pueden ser usados para llevar a cabo una evaluación de efectividad. La selección estará determinada por la pregunta de evaluación, la cual, a su vez, está definida por el momento en que se hace la evaluación y los resultados esperados en ese momento, por el tiempo para responder la pregunta de evaluación y los recursos disponibles. Pregunta que se quiere contestar (paradigma de Investigación)

Sistema básico de creencias que guía la acción del investigador PARADIGMA Sistema básico de creencias que guía la acción del investigador

Paradigma Empírico Interpretativo Teoría filosófica Positivismo (busca hechos o causas de los fenómenos) Fenomenológico. Busca comprensión de la conducta desde la propia realidad vivida. Métodos Cuantitativos Cualitativos Focaliza hacia Lo objetivo Lo subjetivo Realidad Estable Dinámica Diseños Preestablecidos experimentales, De comprobación, confirmación e inferencia. Se esboza pero no se especifica por entero al inicio. De descubrimiento, exploración. Técnicas Instrumentos validados Se conforma con el trabajo de campo Resultados Generalizables No generalizables

Métodos de Investigación $ 1 2 3 0 @ € %  Hg Km ¿cuántos son? ¿cuántas veces? ¿Por qué? ¿Para qué? ¿Cómo? CUANTITATIVOS CUALITATIVOS

Métodos cuantitativos Medir hechos, eventos, acciones. Apreciar tendencias y frecuencias. Hallar proporciones y porcentajes. Aplicar técnicas estadísticas. Emplear muestreo y aleatoriedad. Construir modelos matemáticos. Hallar la opción óptima.

Métodos cuantitativos VENTAJAS Proporcionan datos exactos y precisos. Analizan relaciones de un problema y las causas de forma estadística. Proporcionan una visión amplia de la población. Permiten hacer comparaciones. Ofrecen información de referencia para evaluar los resultados. 3. Hábito de fumar –cáncer pulmor

Métodos cuantitativos DESVENTAJAS Pueden ser precisos pero no medir lo que deseamos. Escasa comprensión de la relación entre el fenómeno estudiado, el contexto socioeconómico y los factores socioculturales e ideológicos. Escasa comprensión de la relación entre el fenómeno estudiado, el contexto socioeconómico y los factores socioculturales e ideológicos. (no es lo mismo estudiar el hábito de fumar en Oriente que en la Habana, entre informaticos que entre tabacaleros, diferentes contextos socioculturales). Desconoce procesos subyacentes u ocultos en la dinámica de los grupos y las instituciones

Métodos cuantitativos Ejemplos de empleo Cálculo de prevalencia e incidencia en Epidemiología. Tamaño de muestra y selección de casos en estudios experimentales. Costos por servicio y por paciente. Ruta crítica de un proyecto. Modelo de simulación para una campaña.

Métodos cualitativos Comprender la totalidad de un fenómeno y no solo conceptos específicos. Hacen énfasis en la interpretación de las personas a los eventos y circunstancias . Recolección de información sin ayuda de instrumentos formales o estructurales. No pretenden controlar el contexto de la investigación, intenta capturarlo entero. Intentan captar lo subjetivo para comprender e interpretar las experiencias humanas . Analizan la información narrativa de una forma organizada e intuitiva.

Métodos cualitativos Ejemplos Interacción médico-paciente. Aceptación de una comunidad a un programa específico. Factores que intervienen en la búsqueda de atención médica. Conductas de la población ante el riesgo. Ausencia de quejas ante un servicio determinado.

“Es muy útil la complementariedad de los métodos, entendida ésta como “la mutua aportación de aquello que falta al otro.” “Ningún método de investigación puede establecer la verdad acerca de los fenómenos de interés; no obstante, las fuerzas y debilidades de cada uno de ellos pueden complementarse para posibilitar un abordaje metodológico de mayor alcance” POLIT Y HUNGLER, 1997

DISEÑO DE EVALUACIÓN Conjunto de procedimientos establecidos para recoger, organizar y analizar la información necesaria para la evaluación de manera confiable.

DISEÑO DE EVALUACIÓN En función del momento en que se realiza : PLANIFICACIÓN Análisis de la Consistencia Interna del Proyecto. Evaluación Económica (Análisis Costo Efectividad) Evaluación de la Viabilidad política. Evaluación de la Viabilidad Institucional. Evaluación de la Sustentabilidad. EJECUCIÓN Evaluación Diagnóstica. Evaluación desde la perspectiva de los beneficiarios. Monitoreo o seguimiento. FINALIZACIÓN Evaluación de los resultados. Evaluación de impacto.

DISEÑO DE EVALUACIÓN En función del enfoque estratégico de la planificación: Momento explicativo. Momento normativo. Momento estratégico. Momento operacional.

DISEÑO DE EVALUACIÓN Según su finalidad y función: Identificación de la situación inicial. Detección de necesidades. Función diagnóstica: Previo al diseño (estrategia de mejora). Función formativa: De proceso (durante la implementación). Formativa: La evaluación se utiliza preferentemente como estrategia de mejora y para ajustar sobre la marcha, los procesos educativos de cara a conseguir las metas u objetivos previstos. Es la más apropiada para la evaluación de procesos, aunque también es formativa la evaluación de productos educativos, siempre que sus resultados se empleen para la mejor de los mismos. Suele identificarse con la evaluación continua. Sumativa: Suele aplicarse más en la evaluación de productos, es decir, de procesos terminados, con realizaciones precisas y valorables. Con la evaluación no se pretende modificar, ajustar o mejorar el objeto de la evaluación, sino simplemente determinar su valía, en función del empleo que se desea hacer del mismo posteriormente. Resultado (al terminar el proyecto) Función sumativa: De impacto (un tiempo después de haber terminado el proyecto).

Valoración de determinados componentes o dimensiones DISEÑO DE EVALUACIÓN Según su extensión: Evaluación global: Evaluación parcial: Abarca todos los componentes del programa Valoración de determinados componentes o dimensiones de un programa Evaluación global: tiene la intención de abarcar todos las dimensiones del estudio (alumnos, programa, centro educativo, profesores, padres, etc.) lo cual nos brinda una visión holística que nos permite ver a los diferentes actores interactuando y que cualquier cambio o alteración entre su actores trae consecuencias que repercuten en el resto. b) Evaluación parcial: como lo dice se focaliza en un estudio con dimensiones limitadas que busca profundizar en su valoración.

DISEÑO DE EVALUACIÓN Según los agentes evaluadores o criterios aplicados: Evaluación interna - Autoevaluación. - Heteroevaluación. - Co-evaluación. Evaluación externa - Evaluación de expertos Autoevaluación: los evaluadores evalúan su propio trabajo (programa su propio funcionamiento). Los roles de evaluador y evaluado coinciden en las mismas personas. Ventajas: (Minimiza tensión y conflicto con externos, Mayor apertura y colaboración de todos, Genera aprendizajes institucionales, Es continua y sistemática, realiza actividades periódicas a intervalos predefinidos y Genera capacidades locales:  “empoderamiento”   Desventajas: (Menor confiabilidad: “juez y parte”, Tiende a menor rigor y sistematicidad y Pueden presentarse conflictos por intereses entre actores diversos  Heteroevaluación: evalúan una actividad, objeto o producto, evaluadores distintos a las personas evaluadas Coevaluación: es aquella en la que unos sujetos o grupos se evalúan mutuamente Evaluadores y evaluados intercambian su papel alternativamente. Evaluación externa es la "evaluación de expertos". Estos evaluadores pueden ser inspectores de evaluación, miembros de la Administración, investigadores. Es rrealizada por personas “de afuera”, generalmente responde a interés de financiadores y es Evaluación No-participativa Ventajas: (Identifica resultados no-previstos, Tiene experiencias para comparar, Más confiable y  Da más importancia al método Desventajas: (Dificultad para comprenderlos resultados esperados, la Estrategia y la relación de Componentes, Población, Visiones diferentes y/o contradictorias y Tiene intereses y enfoques propios)

DISEÑO DE EVALUACIÓN Según el momento de aplicación: Evaluación final Evaluación inicial Evaluación procesual a) Evaluación inicial: se realiza al empezar un curso académico, una implantación de un programa educativo, o del funcionamiento de una institución, etc. está consiste en recoger datos al iniciar cualquier cambio educativo, para decidir los objetivos que nos podemos plantear y para ello esforzarnos por conseguir y poder reconcoer el valorde los resultados al final del proceso, si son satisfactorios o insatisfactorios. b) Evaluación procesual: se realiza a través de la recogida continua y sistemática de los datos, en el funcionamiento del centro, del programa educativo, del proceso de aprendizaje del alumno, de la eficacia del profesor, etc. esto se da dentro de un periodo de tiempo en el cual se ha planteado metas u objetivos. esta evaluación procesual es importante dentro del proceso formativo, porque nos permite tomar decisiones o realizar cambios en la misma marcha del programa. c) Evaluación final: se emplea al recoger y valorar los datos al finalizar el periodo de tiempo previsto para la realización del program o aprendizaje, o trabajo,, etc. y apartir de ellos continuar con los objetivos.

DISEÑO DE EVALUACIÓN Según el criterio de comparación: Heteroreferencia Autoreferencia a) autoreferencia o propio sujeto: en este caso la referencia esta en sus capacidades e intereses, sus metas propuestas, el tiempo y el esfuerzo invertidos, y tiene en cuenta los aprendizajes previos los cuales son criterios que permiten poder evaluarlo y compararlo con una situación anterior. b) heteroreferencia: hablamos de un conjunto de criterios o datos a evaluar que no pertenecen al programa o sujeto evaluable, encontramos dos posibilidades: b.1) Referencia o evaluación criterial: Que consiste en comparar los resultados de un programa educativo cualquiera con los objetivos previamente fijados, o con un conjunto de situaciones deseables que están previamente establecidos. b.2) Referencia o evaluación normativa: Consiste en tomar como referente de comparación que se muestra como un nivel general como una regla determinada ( centros, programas o profesores). En caso de que la referencia sea el propio programa de evaluación en si mismo (las características de partida de un programa, los logros educativos, etc.), estaremos empleando la AUTOREFERENCIA como sistema En el caso de que las referencias no sean el propio programa se conoce como HETEROREFERENCIA Evaluación Criterial. Evaluación Normativa.

DISEÑO DE EVALUACIÓN Según propósito o etapas: Diagnóstica Proceso Resultados Impacto Diagnóstica: Identificación de la situación, Detección de necesidades y Conclusión diagnóstica Proceso: Evalúa fortalezas y debilidades del fenómeno o proceso, Incluye monitoreo y supervisión, Permite actuar durante el proceso Resultados: Determina Resultados inmediatos, si el fenómeno, acción o proyecto alcanzó los objetivos propuestos y qué tanto se acercaron los resultados obtenidos a los programados. Impacto: Qué ocurrió una vez terminado un proyecto o actividad del mismo, Pueden ser determinados a corto plazo y se centra en los cambios de la acción a largo plazo, así como en los beneficios obtenidos con esos cambios.

DISEÑO DE EVALUACIÓN Según el tipo de información: Cuantitativa Cualitativa Mixta

DISEÑO DE EVALUACIÓN Según los actores involucrados: Participativa No participativa Participativa es cuando están involucrados en el proceso de evaluación varios actores sociales Los diferentes actores son participantes activos en el proceso, no solo “informantes” Ventajas: Focaliza construcción de capacidades para análisis y toma de decisiones (empoderamiento)        Propicia diálogo de saberes y concertación entre actores (aprendizajes institucionales)      Genera mayor compromiso para aplicación de  recomendaciones (corresponsabilidad)  Desventajas: Puede propiciar conflictos por visiones diferentes y/o contradictorias                  Tendencia a enfocarse más en la metodología de participación que en los Resultados a evaluar

Evaluación rápida de efectividad

¿Por qué la Evaluación Rápida? Los tomadores de decisión generalmente muestran poco interés en resultados a largo plazo y tienden a valorar lo que pueden presentar como resultado de su gestión.

EVALUACIÓN RÁPIDA DE EFECTIVIDAD Objetivo. Apoyar el proceso de toma de decisiones sobre todo cuando se tiene incertidumbre sobre la adopción de una determinada tecnología-programa y se requiere tomar una decisión en corto tiempo.

EVALUACIÓN RÁPIDA DE EFECTIVIDAD Primer paso en la búsqueda continua de evidencias de efectividad. Estrategia para acortar la brecha entre información-acción. Articula directamente resultados a la toma de decisiones. Responde oportunamente a necesidades de información.

EVALUACIÓN RÁPIDA DE EFECTIVIDAD Se puede establecer asociación entre variables de interés, o sea intervención y resultados. Permite entender las razones que hicieron posible esos resultados y generar nuevas hipótesis de investigación que serán probadas con otro tipo de estudio. Considera la construcción de capacidad de los individuos o comunidades para controlar los factores que determinan su salud. Mide el impacto de esta capacidad sobre el estado de salud y sus determinantes.

EVALUACIÓN RÁPIDA DE EFECTIVIDAD. Ventajas Puede generar rápidamente información relevante con poca inversión. Provee un amplio entendimiento y comprensión del proceso de implementación de la intervención. Incrementa la probabilidad de uso de los resultados si se realiza oportunamente, con la participación de actores claves y se gestiona la utilización de los resultados.

EVALUACIÓN RÁPIDA DE EFECTIVIDAD. Desventajas Precisión y validez de la información: participantes seleccionados por conveniencia y por tanto, podría haber sesgos del evaluador-entrevistador. Dificultad para hacer generalizaciones a poblaciones diferentes a la estudiada.

Proceso de evaluación Planteamiento de la evaluación. Selección del diseño. Recogida de la información. Análisis de los datos. Informe de resultados

!!Gracias!! Buscar fondo entre fotos de casa, paseos