Técnicas para levantar información en Evaluación

Presentación del tema: "Técnicas para levantar información en Evaluación"— Transcripción de la presentación:

1 Técnicas para levantar información en Evaluación
Honduras 2007

2 TÉCNICAS PARA RECOPILACIÓN DE INFORMACIÓN EN EVALUACIÓN
Para evaluar un proyecto se requiere recopilar y analizar diferentes tipos de datos con el fin de responder al desafío de armonizar: Expectativas diversas de los diferentes actores y/o interesados en el proyecto Recursos y tiempos limitados Y aportar información útil y confiable para aprendizaje y toma de decisiones

3 ¿POR QUÉ COMBINAR LAS TÉCNICAS?
Hay que dar cuenta de la multidimensionalidad de la pobreza Los cambios (efectos e impactos) son tangibles (mejora en ingresos, empleo) e intangibles (autoestima, capacidades para negociar, interactuar, incidir) Brindar información diferente y complementaria: triangulación

4 TECNICAS USADAS EN EVALUACIÓN
Por eso, en Evaluación se usa combinación de técnicas para recolección y análisis de información seleccionadas teniendo en cuenta: Tipo de información que se requiere según variables e indicadores relevantes definidos durante la planificación Ubicación del proyecto y naturaleza de su población objetivo Personas que participarán en la recolección y análisis Recursos y tiempo disponibles

5 ¿QUÉ TÉCNICAS HAY? CUANTITATIVAS CUALITATIVAS PARTICIPATIVAS
Se usan para recolectar: Cifras precisas: números porcentajes , volúmenes, series En poblaciones grandes concentradas y de fácil acceso CUALITATIVAS Se usan para recolectar: Datos sobre estimaciones, opiniones, actitudes, aspectos culturales, percepciones, relaciones En poblaciones pequeñas y/o dispersas PARTICIPATIVAS Involucra a todos los actores: acción concertada Todos asumen responsabilidades en todo el proceso Con enfoques amplios no predeterminados Enfatiza la evaluación como un proceso de aprendizaje colectivo: “empoderamiento”

6 CRITERIOS PARA SELECCIÓN DE TÉCNICAS
CUANTITATIVAS Información sobre cantidades Población amplia, de fácil acceso y/o concentrada Pocos temas relevantes Equipo pequeño y que maneje estadísticas y cultura Puede requerir mayor tiempo y recursos CUALITATIVAS Información sobre calidad Población pequeña, dispersa y/o de difícil acceso Pocos temas relevantes Equipo interdisciplinario “facilitador/moderador” con conocimiento del tema y cultura de la población Pueden requerir menor tiempo y recursos PARTICIPATIVAS Decisión política para flexibilizar la ejecución Equipo facilitador/moderador que conozca la cultura

7 PRINCIPALES TÉCNICAS CUANTITATIVAS
Entrevista estructurada por muestreo: Formulario formal para registro con preguntas predefinidas Selección de entrevistados con diversas técnicas de muestreo según variables VENTAJAS Estandarizar preguntas y controlar sesgos no muestrales Facilita registro y análisis de datos Permite generalizar sus resultados en universo Facilita replicarla para S y E DESVENTAJAS Requiere tiempo y dinero para preparación, validación y aplicación Requiere personal capacitado y con conocimiento de la cultura de la población Seleccionar pocas variables

8 PRINCIPALES TÉCNICAS CUALITATIVAS
Reuniones con la Comunidad Invitación abierta con poco tiempo de anticipación Se usa una guía y/o combinación de técnicas (DRP) Implica tener Equipo Interdisciplinario y/o con buen conocimiento del tema y cultura como Moderador VENTAJAS Propicia “empoderamiento”y “diálogo de saberes” Información más confiable, exacta, por triangulación Recoge información “difícil” y no prevista Evita sesgo de selección de grupo DESVENTAJAS Exige registro sistemático de deliberaciones para no perder información Equipo Moderador con aptitudes de sistematización, facilitación y conocimiento de la cultura Dificultad de registro y análisis de información Sólo se deben tratar pocos temas

9 TÉCNICAS CUALITATIVAS
Entrevistas individuales: Semiestructuradas y/o con Informantes claves Conversación entre dos personas para profundizar sobre posiciones /opiniones sobre temas específicos Selección cuidadosa del informante y de Guía de temas Complementa información recogida con otras técnicas VENTAJAS Recoge información para generar hipótesis a probar en población más amplia Recoge información “clave” Se ahorra tiempo al mantener “Foco” en la conversación Datos más comparables DESVENTAJAS Entrevistador con aptitudes de sistematización, facilitación y conocimiento de la cultura Sólo se deben tratar pocos temas Exige gran conocimiento de temas: repreguntar Puede sesgarse la selección de los Informantes claves

10 LA ENTREVISTA EN PROFUNDIDAD
Es una conversación entre iguales, solo predefine uno o pocos temas generales. Las preguntas surgen de la dinámica del proceso de la entrevista. El entrevistador/a debe asumir una actitud no directiva: dejar al entrevistado la máxima libertad de expresión Se utiliza para reconstruir procesos y/o indagar el por qué se da determinada situación (los datos de los indicadores, p.ej.) El análisis de la información debe ir más allá de la descripción, a la interpretación que el/la entrevistado/a haga del tema

11 PLANIFICACIÓN Y DISEÑO DE LA ENTREVISTA
Selección de los entrevistados/as (relación directa con las preguntas de la evaluación) Quién (es) lo entrevistarán (entrevistador/a y anotador/a) Definición del objetivo de la entrevista (que información requerimos de cada informante con relación a preguntas de la evaluación) Diseño de la guía de entrevista (una guía para cada entrevistado) Materiales y equipos: Si se grabará la entrevista (grabadora, casettes, pilas) / papel y lápiz / etc. Revisión de la guía (con relación a objetivos propuestos)

12 MOMENTOS DE LA ENTREVISTA
Apertura: Se debe crear un ambiente de confianza desde el saludo. Esto se logra con actitudes cordiales y amistosas Explicar el objetivo de la entrevista (5 minutos) Desarrollo: realización de la entrevista en sus aspectos claves, que van a explorarse con mayor atención y que permitirá obtener la información mas delicada y exacta que se necesite (45 a 90 minutos) Cierre: anuncia el final de la entrevista. Es importante agradecer y concluir en un ambiente de cordialidad recordando cómo se usará la información (5 minutos)

13 TÉCNICAS CUALITATIVAS
La Observación: Individual o participante Proceso deliberado y sistemático que debe orientarse por una pregunta o propósito Es necesario conocer el qué, el cómo, el cuándo, el por qué y el dónde observar Complementa información recogida con otras técnicas VENTAJAS Recoge información “clave” de efectos e impactos, especialmente no previstos Útil para complementar la visión del contexto Permite “triangular información” Permite aprovechar el tiempo de otras actividades: visitas DESVENTAJAS Requiere personas con disciplina, gran agudeza, comprensión, intuición, dominio de habilidades sociales Dificulta la réplica Requiere cuidado para recoger información sistemática

14 Observación = percepción + interpretación
LA OBSERVACIÓN Es un proceso sistemático por medio del cual se recoge información relacionada con ciertos acontecimientos o fenómenos Técnica útil para complementar la visión del contexto en que se realiza la evaluación y para verificar existencia de efectos e impactos. Permite “triangular información”. Supone un acercamiento perceptivo Observación = percepción + interpretación

15 Planificación y diseño de la Observación
Selección de los lugares a ser visitados (características y vinculación con el proyecto) Quién (es) harán las visitas (observadores) Definición del objetivo de la observación (qué ver con relación a preguntas de la evaluación y con que otra técnica se complementa) Diseño de la guía de observación (una guía por tipo de lugar a ser visitado) Materiales y equipos: Si se filmara la visita (filmadora casettes) / si te tomaran fotos (cámara) / papel y lápiz / Revisión de la guía (en relación a objetivos propuestos)

16 TÉCNICAS CUALITATIVAS PARTICIPATIVAS
El Grupo Focal o Grupo de Discusión Dirigida Espacio de diálogo con un tipo de actor, con el fin de llegar a conclusiones y consensos sobre su percepción u opinión, con relación a un tema específico (se usa guía de temas), relevante para el proyecto Se usa cuando: Se está examinando en profundidad una sola temática o la perspectiva de un solo actor. Puede reunirse en un solo lugar a un número de participantes (de 8 a 15) con características homogéneas, seleccionadas intencionalmente con criterios predefinidos. Es necesario obtener resultados rápidos. Se quiere conocer el sentido común de un grupo determinado. Se quiere entender actitudes, comportamientos, prácticas y valores.

17 Utilidad de los GDD La gente expresa espontáneamente sus percepciones sobre la intervención y por qué las tienen Recoge información “difícil” y no prevista Hay comprensión integral y amplia de un tema: varios aspectos y su contexto Facilita concertación y acuerdo a partir de diversas reflexiones y opiniones El “grupo” disminuye inhibiciones y miedos La interacción entre los participantes fomenta ideas nuevas o interesantes

18 PLANIFICACION DEL GRUPO DE DISCUSIÓN DIRIGIDA
Acuerdo sobre resultados esperados del GDD Identificación de las Preguntas centrales: “Guía de Preguntas y subpreguntas” (según indicadores) Identificación de categorías o criterios que definirán a los participantes (según Indicadores) Conformación del equipo facilitador y asignación de roles: Moderador/a, Anotador/a Donde se realizará (privacidad, sin interrupciones, distribución adecuada, espacio para colocar papelógrafos) Acuerdo sobre instrumentos de recolección y consolidación de información y contenidos del Informe

19 Tema Síntesis de Ideas Conclusiones / acuerdos
EJEMPLO DE MATRICES PARA CONSOLIDAR INFORMACIÓN EN GDD Tema Ideas donde hay acuerdo Ideas con diferencias Observa ciones Tema Síntesis de Ideas Conclusiones / acuerdos

20 RECOMENDACIONES PARA MODERAR GDD
Promover la participación de todos en un diálogo colectivo Animar a los participantes a hablar entre ellos y no “responderle” al moderador Sondear en profundidad: Utilizar preguntas abiertas y libres de sesgo Preguntar ¿Por qué? saber cuando hace falta profundizar una respuesta permanecer callado cuando es necesario utilizar la técnica de la repetición repetir la palabra del participante como pregunta pedir al participante que aclare una postura

21 RECOMENDACIONES PARA MODERAR GDD
Escuchar de forma activa, estar atento a la forma como se dicen las cosas (inflexiones de voz, temas difíciles), captar las indicaciones no verbales La guía de temas no es una camisa de fuerza El GF no tiene por fin informar, ni persuadir Evitar que la discusión se aparte del objetivo de la reunión Facilitar la construcción de consensos Estar dispuesto a improvisar

22 TALLER MULTIACTORES Es un espacio de diálogo entre más de dos tipos de actores, en el cual los actores: Analizan su experiencia en la intervención Identifican cambios, sus causas / factores que los condicionan positiva o negativamente Proponen caminos a seguir / soluciones concertadas Es la técnica participativa por excelencia Actividad central de un proceso de evaluación participativa

23 TALLER MULTIACTORES Los evaluadores son los mismos evaluados PERMITE:
Identificar, en forma sistemática y con participación de diversos actores, efectos e impactos tangibles e intangibles; previstos y no previstos PROMUEVE: la generación de consensos y la asunción de compromisos TRIANGULACIÓN, CONSENSO, CONCERTACIÓN Los evaluadores son los mismos evaluados

24 TALLER MULTIACTORES Propósitos
Aprendizaje colectivo: diálogo de saberes entre tipos de actores y búsqueda de consensos sobre pertinencia y efectividad de la intervención Construcción colectiva del conocimiento: más real, integral y completo, a partir de interacción de diferentes percepciones Planificación concertada sobre acciones a seguir: consensos sobre prioridades de desarrollo y qué hacer NO tiene como propósito principal recopilar información sino facilitar su construcción NO busca sumar ideas individuales sino más bien, construir consensos, manejar diferencias y establecer compromisos a futuro

25 Todos los grupos trabajan las mismas guías
METODOLOGÍA TRABAJOS EN GRUPOS – con un Moderador /facilitador y Anotador (externos) Primero: por tipos de actor (homogéneos en rol e interés frente a la intervención) Segundo: mixtos (Participación de todos los actores) Todos los grupos trabajan las mismas guías PLENARIAS – posteriores a los Grupos, con facilitador para agrupación de ideas y elaboración de síntesis de principales acuerdos y diferencias y 2 Anotadores Construcción de lecciones aprendidas, recomendaciones y definir compromisos y responsabilidades sobre pasos a seguir

26 PRIMER MOMENTO: GRUPOS POR TIPO DE ACTOR
GUIA DE PREGUNTAS para facilitar la discusión en los Grupos: con preguntas derivadas de los indicadores ANALISIS DE EFECTOS E IMPACTOS: Un Facilitador y un Moderador por cada Grupo El Relator de las conclusiones ante la plenaria debe ser seleccionado entre los participantes PLENARIA: CONSENSO: acuerdos y desacuerdos sobre las conclusiones ¡NO es QUE TODOS PIENSEN IGUAL!

27 SEGUNDO MOMENTO: GRUPOS MIXTOS
Grupos conformados por representantes de los distintos tipos de actores participantes Guía para el trabajo de grupos: Conclusiones, acuerdos y desacuerdos de la plenaria anterior. FIN: Identificar razones de los desacuerdos Identificar recomendaciones y lecciones aprendidas Acuerdos sobre pasos a seguir y compromiso de actores PLENARIA: CONSENSO: Conclusiones y pasos a seguir

28 TERCER MOMENTO: PLENARIA FINAL DE COMPROMISOS
CONSENSO sobre Recomendaciones y Lecciones Aprendidas ACCIONES A FUTURO: Compromisos sobre pasos a seguir. Definición de plazos y responsabilidades de cada tipo de actor Apreciaciones sobre la aplicación de la técnica Al Final: Recordar el uso que se dará (desde la intervención) a la información Indagar qué uso le darán los actores a la información

29 FORTALEZAS PROCESO EMPODERADOR: fortalece capacidades de interactuación, negociación, concertación Facilita y democratiza el proceso de toma de decisiones a partir de acuerdos sobre pasos a seguir Facilita procesos de planificación participativa Promueve la acción conjunta y concertada Permite trabajar con varios actores al mismo tiempo

30 LIMITACIONES Pueden hacerse explícitos los conflictos de intereses existentes entre los tipos de actores Los participantes más activos son generalmente los directivos o los más “poderosos” Requiere de facilitadores externos con experiencia en manejo de grupos y de conflictos Apertura y voluntad para ajustar la planificación a los acuerdos que surjan

31 ARTICULACIÓN DE LAS TÉCNICAS EN UN PROCESO DE EVALUACIÓN
Qué información se va a generar con cada técnica Qué información se complementará con cuál otra Qué información servirá para triangulación Qué información para interpretación o aclaración del contexto TÉCNICAS PREGUNTAS ACTORES

32 PAUTAS PARA ELABORAR PREGUNTAS
Deben estar enfocadas a indagar sobre efectos e impactos. NO sobre actividades ni metas numéricas Deben ser abiertas para recoger opiniones de los diferentes actores sobre lo que se quiere evaluar y sus razones. NO deben poderse responder con Si o No Deben ser claras, con palabras sencillas e indagar por un solo aspecto. Deben ser neutras: no suponer la existencia de lo que se quiere evaluar, ni inducir la respuesta.

33 Criterios a tener en cuenta
EJEMPLO DE PREGUNTAS Criterios a tener en cuenta Pregunta INCORRECTA Pregunta CORRECTA Preguntas abiertas: indagan por el por qué y NO son respuestas de Si o No ¿Ha oído usted hablar de los servicios de asistencia técnica que operan en la zona? ¿Qué sabe usted de los servicios de asistencia técnica que operan en la zona? Preguntas neutras Algunas personas dicen que en la aprobación de proyectos hay favoritismo ¿qué opina de eso? ¿Cuál es su punto de vista sobre la forma en que se están aprobando los proyectos? Preguntas claras para obtener información precisa ¿Qué cambios ha percibido usted en las familias? ¿Qué cambios se han dado en las familias con su participación en el proyecto?

34 Criterios a tener en cuenta
EJEMPLO DE PREGUNTAS Criterios a tener en cuenta Pregunta INCORRECTA Pregunta CORRECTA Preguntas con un solo tema a la vez ¿Qué otros cambios ha generado el proyecto en las familias, la organización y en la zona? ¿Qué otros cambios ha generado el proyecto en las familias? (Después de responder lo anterior) ¿Qué otros cambios ha generado el proyecto en la organización? Preguntas que no causen malestar en las personas o “sensibles culturalmente” ¿Cuál es su opinión sobre los integrantes de Comisión de Seguimiento? ¿Cuál es su opinión sobre la Comisión de Seguimiento?