Medición de Impacto en proyectos FOMIN sobre Microfranquicias

Por qué medimos el impacto? “Accountability” Donantes (públicos y privados) exigen evidencia de los resultados de las intervenciones que se han financiado con sus recursos Cambio de cultura: pasar del conteo (cuánto dinero gastado, cuántas aulas construidas, cuántos textos distribuidos) a la medición de los resultados esperados Valor de aprendizaje, ya que los hallazgos sirven para tomar decisiones sobre: Replicación de programas Mejorar el diseño de nuevos programas Compartir hallazgos con actores clave Brecha de conocimiento del concepto de la microfranquicia

Evaluación de Impacto Definición: La evaluación de impacto mide la relación causa-efecto entre una intervención y un resultado Aspectos centrales: Causalidad: Relación causa-efecto Atribución: Aislar el efecto del programa

Evaluación de Impacto Qué ha pasado en comparación con lo que habría ocurrido si la intervención no se hubiera llevado a cabo? A: Resultados logrados por la intervención B: Resultados que habrían ocurrido en ausencia de la intervención (contrafactual) IMPACTO = A – B

Evaluación de Impacto

Evaluación de Impacto: Reto Principal Principal reto: Encontrar Contrafactual apropiado Identificar unidades (personas, comunidades, barrios, colegios, etc.) que reúnan características similares a las que hayan participado en el programa Bases de Datos, censos Robustez de hipótesis contrafactual es clave

Requisitos para Conducir una EI Programa Estable Teoría del Cambio Coherente Conocimiento del proceso de implementación Tiempo del impacto detectado Datos disponibles

Métodos para la Evaluación de Impacto Diseños experimentales: grupo de tratamiento y control (aleatorización, o “RCT”) Diseños cuasi experimentales: contrafactual se define con individuos que no participan en el programa -grupo de comparación- (Matching, Propensity Score, Diferencias en Diferencias) Conclusiones Validez interna: la certeza con que es concluye que el programa es el agente responsable de los impactos observados Validez externa: grado en que las conclusiones pueden ser generalizadas

País ejecutor proyecto FOMIN Indicadores de Impacto para cada proyecto FOMIN Indicador País ejecutor proyecto FOMIN Porcentaje de incremento en ingreso mensual/anual de micro franquiciados BO, GU, PR Número de micro franquiciadas incrementan tamaño de microcrédito PR Número de micro franquiciadas incrementan sus ahorros en un 10% Porcentaje de micro franquiciados que llegan a su tercer año de funcionamiento GU, ME Número de empleos generados por la micro franquicia BO Volumen de ventas totales de los productos de los micro franquiciados Número de instituciones que replican el modelo de la micro franquicia PR, ME

Evaluaciones de Impacto MFR Fundación Paraguaya: diseño preliminar grupos de control Visión Mundial: bajo análisis Otros estudios relevantes ya empezados por otros organismos: IRC: Banco Mundial Adopem-Nestlé: Universidad Internacional de Florida

Sensibilización sobre MFR (promoción) Plan de Evaluación: Fundación Paraguaya En qué medida la adopción de las microfranquicias como actividad económica ha tenido un impacto en los ingresos y ahorros de las clientes de FP? Universo de Mujeres (3000) Sensibilización sobre MFR (promoción) NO interesadas (2000) Interesadas (1000) No recibe MFR (400) Grupo Control SORTEO Sí recibe MFR (600) Grupo Tratamiento

Plan de Evaluación: Fundación Paraguaya Grupo Control Grupo Beneficiarias/Tratadas

Plan de Evaluación: Fundación Paraguaya Encuesta socio-económica anual de FP: rediseñada por grupo de evaluación para incluir nuevas variables y aumentar la muestra (3.000) oficiales de créditos entrenados (25-30) nueva encuesta piloteada con muestra de potenciales beneficiarias RETOS: “Attrition” Varias microfranquicias de distintos tipos Posibilidad de auto-selección según la microfranquicia

Plan de Evaluación: Visión Mundial Pendiente: Estudio de mercado para determinar la factibilidad geográfica de las potenciales microfranquicias. Se determinarán las zonas de intervención, los productos y el perfil de los microfranquiciados Línea de base se levantaría sobre los microfranquiciados RETO - Que un mayor número de individuos expresen el deseo de unirse al programa

Evaluación de Impacto: Adopem-Nestlé El piloto se basa en otorgar un producto de subsistencia + línea de crédito para inventario + entrenamiento a un grupo de mujeres clientes de Adopem (RD) Formación de 3 grupos para comparación: Grupo A: micro préstamo para inventario y entrenamiento Grupo B: micro préstamo para inventario y no recibe entrenamiento Grupo C: micro préstamo no necesariamente para inventario y no recibe entrenamiento RETOS Población objetivo: 400-500 (validez interna)

Evaluación de Impacto en progreso: Proyecto de IRC (Banco Mundial + IPA) La iniciativa de IRC “Niñas Empoderadas por la Microfanquicia” en Nairobi, Kenia, proporciona oportunidades de auto-empleo a niñas de 16-19 años Paquete: entrenamiento en habilidades para la vida, emprendedurismo, manejo de la franquicia y mentoría + apoyo con inventario y otros gastos para arrancar el negocio. Eval Impacto: RCT (224 tratadas, 100 control) Preguntas: las participantes se acogen al “proceso” y qué beneficios reciben (ganancias, consumo, ahorros, etc.) RETOS Falta de datos/acceso a la información de las beneficiarias Movilidad del grupo objetivo (para seguimiento) Pérdida de participantes (50% primer año) Cambios en el mercado local atentaron contra los productos Muestra muy pequeña para llegar a conclusiones válidas

Plan de Evaluación: Proyecto de IRC (Banco Mundial + IPA) HALLAZGOS Se reportaron ganancias en el primer año del programa (dos socios locales y algunas participantes) APRENDIENDO DE LOS ERRORES Se integró transferencias de efectivo al programa Métodos de recolección de datos más ágiles Dos micro franquiciadores renovaron su entusiasmo por el programa Programa se expandirá para niñas y niños en el 2014 LECCIONES Inversión del sector privado y empoderamiento son clave Entendimiento del programa por parte de socios locales es crítico Las microfranquicias deben cambiar de acuerdo a los cambios que las niñas experimentan En el 2do año del programa:

El Reto de la Medición Medición Líneas de base (encuestas) Sistemas de Monitoreo y Evaluación Indicadores comunes de impacto

El valor del aprendizaje "La locura es hacer la misma cosa una y otra vez esperando obtener diferentes resultados” Atribuido a Albert Einstein

GRACIAS