Foro Latinoamericano de Grupos de Ahorro Metodologías de Evaluación de Impacto aplicadas a los Grupos de Ahorro Comunitario Luz Magdalena Salas Foro Latinoamericano de Grupos de Ahorro Bogotá, Diciembre 5 de 2013

La importancia de evaluar Determinar la efectividad de un programa o una intervención Conocer si el programa o intervención logra cumplir con el objetivo para el cual fue diseñado Medir el “tamaño” del efecto o impacto de la intervención Determinar si la focalización es la adecuada Comparar los beneficios y costos de implementación para determinar su escalabilidad Generar información y conocimiento Posibilidad de ajustar las intervenciones de acuerdo con las necesidades de la población objetivo 1. Impacto: Que tanto más nutridos y mejor alimentados (medidas de estatura y peso) están los niños como resultado de recibir desayunos fortificados, que si no hubieran recibido el desayuno; o que tanta desnutrición se puede disminuir como resultado de recibir mejor desayuno. 2. Medir tamaño a través de la comparación de variables de interés y resultados entre personas que recibieron la intervención y personas que no recibieron. (1 cm más altos, 4 libras más de peso, más asistencia escolar) 3. Focalizacion: Si logra llegar a las personas para quienes fue diseñada la intervención. Quiénes son los que están asistiendo a los comedores de desyunos fortificados? 4. Cuantificación monetaria de los beneficios y costos

Metodologías de Evaluación Aplicadas a GACC en Colombia Cuasi-experimental (Ene. de 2013 – Dic. de 2014): Mide el impacto de participar en GACC Selección no aleatoria de individuos Mide la situación de participantes al inicio y después de la intervención Compara la situación de los participantes (tratados) con un grupo de personas similar que no participa en el programa (controles) Experimental (Ago. 2011 – Dic. 2012): Mide el impacto de recibir intervención aplicada a miembros de GACC que promueve el ahorro (commitment savings product) Asignación aleatoria de individuos a grupo de tratamiento y control Mide y compara la situación de participantes en cada grupo después de la intervención 1. Impacto: Que tanto más nutridos y mejor alimentados (medidas de estatura y peso) están los niños como resultado de recibir desayunos fortificados, que si no hubieran recibido el desayuno; o que tanta desnutrición se puede disminuir como resultado de recibir mejor desayuno. 2. Medir tamaño a través de la comparación de variables de interés y resultados entre personas que recibieron la intervención y personas que no recibieron. (1 cm más altos, 4 libras más de peso, más asistencia escolar) 3. Focalizacion: Si logra llegar a las personas para quienes fue diseñada la intervención. Quiénes son los que están asistiendo a los comedores de desyunos fortificados? 4. Cuantificación monetaria de los beneficios y costos

1. Evaluación Cuasi-Experimental de Impactos del programa GAAC Objetivos: Medir el impacto sobre la calidad de vida y bienestar de los hogares participantes Medir cambio en su comportamiento frente al ahorro y crédito Evaluar qué tanto contribuye el programa en mejorar la capacidad de manejar y acumular activos financieros que les permita generar ingresos, suavizar consumo y enfrentar mejor choques inesperados Evaluar de qué manera los activos gestionados a través de los GAAC contribuyen al desarrollo de emprendimientos, negocios o actividades productivas

Indicadores de medición de impacto Calidad de vida y bienestar: Habitabilidad Seguridad alimentaria Salud y nutrición Capital social Nivel de pobreza Capacidad de enfrentar choques inesperados Violencia intrafamiliar Toma de decisiones al interior del hogar Capacidad de suavizar el consumo Construcción de redes sociales Generación de ingresos: Manejo y gestión de recursos financieros en actividades productivas, negocios y emprendimientos Capacidad de enfrentar dificultades financieras Contenido: 16 secciones

Método de Medición de Impactos Variable de interés Promedio del impacto estimado de la intervención Intervención GAAC Grupo de tratamiento Grupo de control Línea de tiempo

Implementación de la Evaluación Cuasi-Experimental Innovaciones: Diseño y coordinación Ejecución – recolección de datos Generación de capacidades al interior del equipo de operación del programa Apoyo institucional del gobierno nacional y otras organizaciones Contenido: 16 secciones

Implementación de la Evaluación Cuasi-Experimental 1. Diseño y coordinación: Diseño ajustado a la operación del programa Coordinación y supervisión conjunta entre el equipo de consultores externos y el operador del programa Contenido: 16 secciones

Implementación de la Evaluación Cuasi-Experimental 2. Ejecución – recolección de datos: Realizado por el operador del programa bajo supervisión de coordinador de campo y consultor externo Uso de tabletas electrónicas: Diseño de una aplicación móvil (tipo Android) para encuestas Información en tiempo real Reducción sustancial en costos de recolección de información Menor tiempo de recolección, verificación y análisis de información Mejor calidad en la información Recolección de información de forma intermitente durante la intervención y en la línea final a menor costo Contenido: 16 secciones

Implementación de la Evaluación Cuasi-Experimental 3. Generación de capacidades locales: Entrenamiento y capacitación en: Recolección de encuestas de hogares Manejo de técnicas de medición de impacto Manejo de software especializado para análisis de información Contenido: 16 secciones

Implementación de la Evaluación Cuasi-Experimental 4. Alianza institucional: IED – VITAL: implementación de la evaluación Red Unidos (ANSPE): identificación de la población del grupo de control. Acompañamiento de cogestores durante el trabajo de campo BID – FOMIN: Financiación y apoyo técnico en diseño, implementación y análisis Contenido: 16 secciones

Localización de la Muestra Control: hogares en pobreza extrema (Red Unidos) de municipios con criterios similares a tratamiento; con la misma propensión de participar en el programa GAAC (estimador matching) 2000+ participantes entre tratamiento y control Cerca de 200 GACC en 7 departamentos del país

Situación Inicial de los Participantes en GACC Ahorro Contenido: 16 secciones

Situación Inicial de los Participantes en GACC Tenencia y uso de cuentas bancarias Contenido: 16 secciones

Situación Inicial de los Participantes en GACC Préstamos Contenido: 16 secciones

Situación Inicial de los Participantes en GACC Vinculación a los GACC Contenido: 16 secciones

Situación Inicial de los Participantes en GACC Tienen experiencia en servicios financieros Tienen alguna capacidad de ahorro Hacen parte de redes sociales (grupos religiosos, comunitarios, etc.) Sin embargo, es necesario conocer cuál es el papel de los GACC en: Creación de capital social Cooperación al interior de los grupos Dinámicas al interior del hogar Construcción de confianza Contenido: 16 secciones

2. Evaluación Experimental de un Producto de Promoción al Ahorro vinculado a miembros GACC Estudia si un producto de promoción al ahorro (commitment savings product) - compromisos individuales o grupales de los miembros de GACC lleva a cambios en decisiones de ahorro Intervención: definición explícita de una meta para uso de los ahorros de dos formas: Compromiso individual Compromiso grupal Definir un propósito de ahorro crea un compromiso que induce a los participantes de los GACC a ahorrar más y a utilizar los fondos en la meta propuesta, porque su incumplimiento induce un costo (no monetario)

2. Evaluación Experimental de un Producto de Promoción al Ahorro Muestra: Resultados: Metas: vivienda, educación o para sus negocios Las personas que definen un compromiso individual para uso de su ahorro ahorran un 17% más que el grupo de control Las personas que definen un compromiso y lo comparten con los demás miembros de su GACC aumentan la compra de acciones en 35% La intervención es más efectiva para quienes tienen menos restricciones económicas para ahorrar

Retos de las Evaluaciones de Impacto Información: Medición de efectos reales y variables que capturen resultados de la intervención o programa Implementación: coordinación con la operación del programa, tiempos Relevancia: en cumplimiento de objetivos por el cual fue creada y en arrojar resultados oportunos Escalabilidad y sostenibilidad: uso de los resultados de la evaluación para ajustar el programa y escalarlo Difusión de información y resultados que genere conocimiento Vínculo de estrategias complementarias con objetivos comunes: generación de ingresos, movilización comunitaria, inclusión financiera formal, uso de tecnología

Lecciones aprendidas Metodología: De bajo costo Ajustada a la realidad del programa manteniendo la rigurosidad metodológica Uso de tecnología para agilizar su implementación Uso y entrenamiento de capacidad local Utilización de plataformas existentes de programas sociales para probar intervenciones pequeñas y de bajo costo con impactos significativos en el comportamiento de los individuos Trabajo conjunto: alianzas entre varios actores en el diseño, operación, financiación y evaluación de programas e intervenciones