Modulo 6 Vigilancia de la comunicación y metodologías para evaluar

Presentación del tema: "Modulo 6 Vigilancia de la comunicación y metodologías para evaluar"— Transcripción de la presentación:

1 Modulo 6 Vigilancia de la comunicación y metodologías para evaluar
la estrategia de comunicación de riesgo

2 Metodologías e indicadores de evaluación
Modulo 6 CONTENIDO DE LA UNIDAD 2 Metodologías e indicadores de evaluación

3 Contenido 1. Cómo evaluar, metodologías, instrumentos e indicadores
2. La investigación formativa 3. El monitoreo 4. Evaluación final 5. Usos de los resultados del monitoreo y evaluación para la toma de decisiones

4 Elementos básicos (NCI, 1992):
1.objetivos de comunicación 2. Definición de datos que van a ser recopilados 3. Metodología 4. Instrumentación 5. Recopilación de datos 6. Análisis de los datos 7. Documentación

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29 Monitoreo y qué es Evaluación

30 Monitoreo Sin el proceso de monitoreo, no podemos atribuir totalmente los resultados de una evaluación. … El monitoreo mide el progreso hacia el logro de nuestros objetivos de programación y comunicación El monitoreo nos permite documentar los procesos y calidad de nuestro trabajo, lo cual puede llevar a obtener resultados positivos Por ejemplo… ¿En qué áreas podría necesitar la asistencia de los consultores?

31 Monitoreo Recuerde que el monitoreo es la recopilación rutinaria de información para verificar el proceso y la calidad: ¿Hasta qué punto se llevan realmente a cabo las actividades planificadas? ¿Qué tan bien son implementadas estas actividades? También puede incluir la reacción de la población a las actividades implementadas.

32 Evaluación Sin la evaluación de resultados, no podemos medir el cambio como un resultado del programa… La evaluación es la recopilación de información en distintos puntos del proyecto para investigar sistemáticamente la efectividad de un programa en suscitar el cambio deseado en la comunidad o población objetivo  La evaluación requiere una comparación de dos o más cosas y la medición del cambio con el tiempo.

33 Evaluación Algunos programas evalúan tanto los resultados como el impacto… Resultados: cambios a corto o mediano plazo obtenidos por el programa a través de la realización de actividades Impacto: efectos a largo plazo (por ejemplo, cambios en el estado de la salud). Esto puede ser a través de estudios especiales con una amplia cobertura distrital, regional o nacional.

34 Plan de trabajo Con la evaluación se pueden responder preguntas como…
¿Qué clase de cambios experimentaron las personas o comunidades a las que llegaron nuestros esfuerzos? ¿Fueron estos cambios significativos para nuestro programa? ¿Cuán cerca llegamos en lo que respecta a alcanzar nuestros objetivos?

35 Decisiones Clave previas a la Recopilación de Información
Es importante definir quienes son los usuarios y cuales son los usos de la informacion que se va a recolectar. Luego de definir esto, es recomendable redactar y mantener presentes los objetivos MADRE Una vez se completen estos pasos, los programas pueden decidir lo siguiente: Indicadores Métodos y herramientas de investigación para evaluación Pasos para garantizar la calidad de la información Formas de analizar la information Cómo reportar los resultados de M&E a la comunidad, socios  y donantes Luego, puede iniciar la recolección de la información

36 Indicadores de M&E Los indicadores son como senales que le muestran como va en su camino hacia lograr sus objetivos … Es decir, le muestran que tanto estan cambiando las cosas de la manera deseada El proceso de selección de indicadores puede ser bastante simple si los objetivos se presentaron con claridad y en términos que definen la cantidad, calidad y período de tiempo de un aspecto específico del programa. Los indicadores de resultados se determinan de manera más adecuada durante la planificación del programa. -Así pueden guiar la recolección de la información de referencia.

37 Indicadores de M&E Indicadores para Monitoreo… De Resultados
De Calidad Indicadores para Evaluación … De resultados -De Impacto* * En el marco de este curso el enfoque esta en el de resultados

38 Diseño de la Investigación para Evaluación
El mejor enfoque para medir el cambio es realizar una buena recolección de información de referencia y de seguimiento periódico. Información de referencia (Base) Información Intermedia (Monitoreo) Información Final (Evaluación) Como demostrar que los cambios encontrados son el resultado de su programa? -Comparación con un grupo externo (no participante) - Comparación entre miembros del grupo participante según exposición y/o participación

39 Métodos de Investigación de Evaluación

40 Evaluación Tenga presente que todos los métodos de evaluación deben permitir comparar la situación previa a la intervención y la posterior a la misma o a aquellos expuestos a la intervención con los que no están expuestos a la misma, para asegurarse de si ha habido o no algún cambio. Un paso importante para determinar qué métodos utilizar es vincular sus métodos a sus indicadores. Con base en lo que se desea medir, lo que se desea ver que cambie, habrá algunos métodos que son más apropiados que otros.

41 Métodos Cualitativos Los metodos de M&E cualitativos…
Producen informacion detallada y descriptiva, que permiten ver como se estan haciendo las cosas Tambien nos permiten ver que piensa nuestra audiencia sobre el programa, como interpretan los cambios que occuren desde este. Estos son invaluables para aprender, volver a planificar y abordar la calidad del programa. Al igual que para proporcionar una perspectiva sobre por qué los participantes hacen lo que hacen.

42 Métodos Cualitativos Para Monitoreo…
Notas de las visitas de un sitio de monitoreo Entradas del diario realizadas por los trabajadores de vinculación con la comunidad/promoción y defensa. Para Evaluación… Entrevistas a profundidad Grupos focales Dibujo Participativo (Ver Greiner)

43 Métodos Cuantitativos
La mayoría de las necesidades de monitoreo se cubren a través de métodos de investigación de evaluación cuantitativa. Estos métodos permiten a los programas recopilar información numérica que se pueden combinar y resumir para cualquier período de tiempo determinado. La información puede provenir de muchas fuentes diferentes, tales como: Hojas de asistencia o formularios de admisión Estadísticas de cobertura de anuncios radiales. Formularios de recuento de actividades rutinarias

44 Métodos Cuantitativos
Las preguntas de evaluación también se pueden responder a través de métodos cuantitativos. -Los métodos comunes de evaluación cuantitativa incluyen: El censo de población, Las encuestas basadas en la población y Los componentes estándar de las encuestas de centros de salud

45 Vinculando Indicadores, Métodos y Herramientas

46 Herramientas Como registramos la información que obtenemos por medio de un método especifico…. Las herramientas estructuradas y estandarizadas son esenciales para información cuantitativa. También son muy útiles a la hora de reunir información cualitativa. Por ejemplo, una guía de temas/preguntas para un Grupo Focal El personal del programa puede administrar las herramientas o éstas pueden auto-administrarse.

47 Herramientas Algunos de los elementos clave en el diseño de buenas herramientas de M&E… Ser participativo. Es decir, incluir al personal que utilizará las herramientas en el diseño de las mismas. Hacer que las herramientas sean tan simples y claras como sea posible. Deben ser concisas y únicamente recolectar información que se utilizará. Las herramientas deben examinarse de manera preliminar para garantizar que el personal del programa -Para las herramientas auto-administradas, considere la educación de los clientes, el espacio, la privacidad y la confidencialidad.

48 Herramientas Algunos de los elementos clave en el diseño de buenas herramientas de M&E… Explique al personal del programa las razones y necesidad de la recolección de información, para que puedan comunicarle esta a los participantes. El personal del programa debe estar bien capacitado para utilizar las herramientas de recolección de información para explicar y revisar las herramientas auto-administradas de recopilación de datos. -Los ejercicios de representación de roles pueden ayudar a desarrollar las aptitudes de comunicación del personal para mejorar las áreas desafiantes de la recolección de información

49 Indicadores, Métodos y Herramientas Cuantitativos de Monitoreo

50 Indicadores, Métodos y Herramientas Cualitativos de Monitoreo
Indicadores de M&E Métodos Cualitativos Herramientas Cualitativas Monitoreo % de consejeros que proporcionan información exacta Observación directa Formulario de observación con espacio para que el observador tome notas % de folletos con información actualizada Análisis del contenido de los materiales Herramienta del listado de contenido Cantidad de materiales apropiados para la población objetivo Evaluación preliminar de materiales con la población objetivo Guía de Discusión

51 Indicadores, Métodos y Herramientas Cuantitativos de Evaluación
Indicador de M&E Métodos Cuantitativos Herramientas Cuantitativas Evaluación % de la población que utilizó un condón durante su último encuentro sexual Encuesta basada en la población Encuesta de Vigilancia Conductual, Encuesta del Indicador de SIDA, DHS % de participantes del programa que creen que es seguro utilizar anticonceptivos modernos Encuestas previas y posteriores a la intervención Cuestionario diseñado para el programa % de mujeres casadas a quienes se les proporcionó una referencia de Planificación Familiar en cada sitio de APV Entrevistas presenciales, entrevistas de egresos del cliente

52 Indicadores, Métodos y Herramientas Cualitativos de Evaluación
Indicadores de M&E Métodos Cualitativos Herramientas Cualitativas Evaluación La percepción comunitaria de las normas apoya el cambio conductual Discusiones de grupo focal Guía de discusión de grupo focal La calidad de los tipos de preguntas que hace la comunidad se profundiza Periodismo/tomar notas durante o justo después de las actividades o interacciones Lineamientos sobre qué escuchar y cómo tomar notas El grupo objetivo considera que los pares educadores son líderes Entrevistas con informantes claves Guía de la entrevista

53 Calidad, Análisis y Uso de la información de M&E

54 Calidad de la Información
Existen muchas maneras de garantizar la calidad de la información. La mayoría de estas se basan en una buena planificación y monitoreo. Cuando encuentre errores es su información determine la fuente del error. -Si el error surge de un error de ingreso o codificación de datos, esto se puede resolver en la oficina. - Si el ingreso no es claro, hace falta o de alguna manera no es seguro, puede ser necesario comunicarse con el personal de campo para su corrección o verificación.

55 Formas para Prepararse para generar información de Alta Calidad.
Desarrollar metas, objetivos, indicadores claros y preguntas de investigación de evaluación Tener un plan detallado para la recolección y análisis de información (por ejemplo, quién, cuándo, cómo, etc.) Examinar de forma preliminar los métodos y herramientas Capacitar al personal en monitoreo y recolección de información Crear titularidad y fe en en proceso de recolección de información entre los miembros del personal responsable

56 Formas para Prepararse para generar información de Alta Calidad.
Incorporar verificaciones de calidad de datos en todas las etapas Monitorear el trabajo: revisar que todos los formularios estén completos, verificar que todas las respuestas estén claramente escritas y verificar que todas las respuestas sean consistentes y que todas las cifras se hayan contado correctamente Realizar los pasos necesarios para abordar los errores de inmediato Documentar cualquier cambio y mejorar el sistema de recolección de información, según sea necesario

57 Maneras de Verificar la Calidad Una Vez Digitalizada.
Transposición: Por ejemplo, cuando se ingresa “39” como “93”. Los errores de transposición los ocasionan usualmente los errores tipográficos. Errores de copiado: Un ejemplo es cuando se ingresa “1” como “7” o cuando el número “0” se ingresa como la letra “O”. Errores de codificación: Ingresar el código equivocado. (por ejemplo, el sujeto entrevistado ingresó “1 = Sí”, pero el codificador copió “2 = No”).

58 Maneras de Verificar la Calidad Una Vez Digitalizada.
Errores de enrutamiento/ dirección : La persona que llena el formulario escribe el número en el lugar equivocado o en el orden equivocado. Errores de consistencia: Los errores de consistencia ocurren cuando dos o más respuestas en el mismo cuestionario se contradicen. Por ejemplo, si la fecha de nacimiento y edad no son consistentes. Errores de rango: Los errores de rango ocurren cuando un número se encuentra fuera del rango de valores probables o posibles.

59 Interpretación y Uso de la información
El análisis de la información sobre los resultados es más útil cuando se realiza conjuntamente con el análisis de la información de monitoreo... La información del proceso puede ayudar al evaluador a comprender cómo y por qué las intervenciones han alcanzado sus efectos y, posiblemente, qué es lo que específicamente hace la diferencia. Examinar la información de resultado sin evaluar la implementación del programa podría conducir a conclusiones erróneas sobre la efectividad de las intervenciones.

60 Gracias Exitos!