II Jornada: Impacto de la ley de transparencia en el tercer sector Medición y evaluación del impacto social Susana Balet Robinson www.stone-soup.net @stonesoupchat SANTIAGO DE COMPOSTELA, Hotel Hesperia Peregrino 19/06/2014

¿Qué es el impacto? RESULTADOS VS IMPACTO

¿Por qué es importante medir el impacto social? Question: In the last year, has measuring your impact led to any of the following benefits? N=755 Funders’ requirements are the main driver, but what are the main benefits? The answer is that the biggest benefit cited by charities who had increased their efforts to measure impact was actually improving services. This is both a surprising, and incredibly important finding. It looks like charities are often treating impact measurement (at least initially) as something they have to do for funders. But then they find that the benefits are very real, and are more about helping them learn and improve than they are about winning contracts or receiving donations. This finding will echo with any of you who have felt that measuring impact is a bit like fitness training and going to the gym. At first it feels like a chore, that you take on somewhat grudgingly, until you realise how good it makes you feel, and how addictive it becomes. In one of the case studies in our report, the same story emerges – a domestic violence project that’s really pretty resistant to measuring results, that is until it sees the results, and starts to work out how valuable the data is to it. What starts out as resistance can turn into an evangelical need to know more. There are lots of other benefits here too. But the most important, in a time when charities are being asked to deliver ever more for ever less, is that impact measurement can help you improve your services.

RESPONSABILIDAD VALENTÍA

¿Cómo se hace una medición de impacto social? Hay muchas metodologías http://www.proveandimprove.org/tools/documents/Tool_decider_chart.pdf

(internos, no de contexto) Teoría del Cambio Supuestos (internos, no de contexto) El problema La solución Las actividades El impacto ¡Atención! Quizás debas redefinir el problema ¡¡¡YA VALIDADOS O NO!!! 10mns Focus on the key questions at the heart of your mission / charitable purpose What’s the problem you’re trying to tackle? What do you do to tackle it? How will that create change? Is it working, and how do you know? Why, and what can you learn and improve? Habla con tus grupos de interés, ¡es posible que encuentres sorpresas!

¿Qué tipo de cambios esperar y a qué nivel ¿Qué tipo de cambios esperar y a qué nivel? ¿Cuáles son tus grupos de interés? Condiciones /Instituciones Relaciones Capacidades Percepciones y Actitudes Individuo Familia Comunidad Sociedad PDI: oportunidades empleo PDI: Mejora calidad y cantidad relaciones sociales PDI: Mejora formación PDI: + proactivo, + autónomo PDI: lobby para crear mejores condiciones laborales PDI: Red de apoyo ¿Para qué mides? ¿para quién? PDI: cambio percepción de la PDI (capacidad laboral, humanas, etc.) 10mns Interrelación entre uno y otro en el tiempo: a veces un cambio en percepciones puede gatear un cambio en instituciones, etc. Unos ser de + corteo plazo, otros de + largo plazo (ej. cambios en actitud -> comportamiento-> condiciones) Con el individuo, se puede cambiar: – Su sistema de percepciones y actitudes, haciendo que el mismo se sienta más autónomo, con más autoestima, más positivo, etc. – Sus capacidades (p. ej. dándole formación). – Sus relaciones (p. ej. ofreciéndole la posibilidad de conectar a nivel social). – Su contexto (p. ej. ofreciéndole trabajo). • Con la familia, se puede cambiar: – Sus percepciones acerca del individuo con discapacidad, en particular su capacidad de actuar como ser autónomo. – Sus capacidades (p. ej. dándoles formación). – Sus relaciones (p. ej. ofreciéndoles la posibilidad de reunirse y crear una red de pares). • Con las comunidades o las sociedades, se pueden cambiar percepciones (p. ej. organizando talleres de sensibilización o desarrollando una estrategia de marketing vinculada a la causa social trabajada) o contextos (cuando se trabaja en lobby político, ya sea a nivel local, nacional o internacional). Otros estudios mencionan también: • Cambios al nivel individual “internos”: emociones y sentimientos, autodesarrollo, modos de pensar, etc. • Cambios individuales “externos”: hábitos de relación, comportamientos, interacción con el contexto. • Cambios colectivos intersubjetivos: identidad y cultura, modos colectivos de pensar y comprender. • Cambios colectivos interobjetivos que inciden en los aspectos legales, institucionales o en las políticas públicas. Por su parte, la Agencia de Estados Unidos para el Desarrollo Internacional (USAID) diferencia: • Los cambios absolutos, que implican la creación o introducción de algo nuevo. • Los cambios relativos, que se puede traducir por aumento, disminución, mejoras, consolidación o debilitación de algo existente, con el objetivo de llegar a un nivel optimizado. • La ausencia de cambios, es decir, el mantenimiento, protección o preservación de algo (muy utilizado en el sector medioambiental). PDI: + autonomía, mejor diálogo ¿dónde está tu organización? ¿dónde están los otros? ¿Tus actividades se adecuan a lo que quieres cambiar?

Cadena de valor social Actividades outputs outcomes 1 2 3 4 inputs Recursos (capital, humano) invertido en la actividad Acciones concretas da la organización Productos tangibles de la actividad Cambios que resultan de la actividad €, número de personas, etc. Desarrollo e implementación de proyectos. Ejemplo: construcción de una escuela Número de personas participando en actividades, numero de actividades de formación realizadas, etc. Número de escuelas construidas Efectos sobre el grupo de beneficiarios (por ex. Aumento del acceso a la educación) 30mns incl. ejemplo

Caso: Teixidors - OUTPUT - Indicadores de resultados Actividades Indicador del output/ del resultado Seguimiento individual Número de horas de acompañamiento psicológico realizado anualmente por persona con discapacidad Número de horas de formación dada a las personas con discapacidad (anualmente, por tema de formación) Número de participantes en las sesiones de formación (Anualmente, por tema de formación) % de cumplimiento de los planes individuales de formación (medida anual) Formación de las personas con discapacidad intelectual Venta de productos textiles artesanales Facturación anual de la empresa Inserir al menos tres indicadores SMART para las actividades implementadas por el emprendimiento Actividad laboral remunerada y adaptada en el taller Nivel de remuneración de los trabajadores con discapacidad intelectual por categoria de empleo. Turismo industrial Número de personas que han visitaron el taller de Teixidors en el año Tipologia de personas que han visitaron el taller de Teixidors en el año

Caso Teixidors - OUTCOME - Indicadores de impacto Impacto a medir Indicador del impacto Integración laboral de personas con discapacidad Número de personas empleadas por Teixidors que tienen discapacidad intelectual % de trabajadores con discapacidad intelectual que son socios de la empresa Media de años de antiguedad de los trabajadores de la empresa Mejora de la calidad de vida de las personas con discapacidad % de personas con discapacidad intelectual que muestran una mejora de su índice de calidad de vida en comparación con el año anterior (según escala Gencat) en aspectos de : autodeterminación, inclusión social, bienestar material y relaciones inter-personales % de personas con discapacidad intelectual empleadas por Teixidors que han evoluido en el trabajo en un determinado año (por ejemplo: aumento de responsabilidades, obtención del títutlo de teixidor artesanal, etc.) % de PDI con mejora en habilidades funcionales (registrada por los equipos de seguimiento, medida anual) Mejora de las competencias laborales de las personas con discapacidad La escala GENCAT de calidad de vida se refiere a los siguientes criterios: Relaciones interpersonales (RI): relacionarse con distintas personas, tener amigos y llevarse bien con la gente (vecinos, compañeros, etc.). Se mide con los siguientes indicadores: Relaciones sociales, Tener amigos claramente identificados, Relaciones familiares, Contactos sociales positivos y gratificantes, Relaciones de pareja y Sexualidad. Bienestar Material (BM): tener suficiente dinero para comprar lo que se necesita y se desea tener, tener una vivienda y lugar de trabajo adecuados. Los indicadores evaluados son: Vivienda, Lugar de trabajo, Salario (pensión, ingresos), Posesiones (bienes materiales), Ahorros (o posibilidad de acceder a caprichos). Desarrollo personal (DP): se refiere a la posibilidad de aprender distintas cosas, tener conocimientos y realizarse personalmente. Se mide con los indicadores: Limitaciones/Capacidades, Acceso a nuevas tecnologías, Oportunidades de aprendizaje, Habilidades relacionadas con el trabajo (u otras actividades) y Habilidades funcionales (competencia personal, conducta adaptativa, comunicación). Bienestar físico (BF): tener buena salud, sentirse en buena forma física, tener hábitos de alimentación saludables. Incluye los indicadores: Atención Sanitaria, Sueño, Salud y sus alteraciones, Actividades de la vida diaria, Acceso a ayudas técnicas y Alimentación. Autodeterminación (AU): decidir por si mismo y tener oportunidad de elegir las cosas que quiere, cómo quiere que sea su vida, su trabajo, su tiempo libre, el lugar donde vive, las personas con las que está. Los indicadores con los que se evalúa son: Metas y preferencias personales, Decisiones, Autonomía y Elecciones. Inclusión social (IS): ir a lugares de la ciudad o del barrio donde van otras personas y participar en sus actividades como uno más. Sentirse miembro de la sociedad, sentirse integrado, contar con el apoyo de otras personas. Evaluado por los indicadores: Integración, Participación, Accesibilidad y Apoyos. Derechos (DE): ser considerado igual que el resto de la gente, que le traten igual, que respeten su forma de ser, opiniones, deseos, intimidad, derechos. Los indicadores utilizados para evaluar esta dimensión son: Intimidad, Respeto, Conocimiento y Ejercicio de derechos. Cambio de percpeción de ciudadanos sobre PDI % de ciuadanos que visitaron el taller que dicen haber mejorado su percpeción sobre las PDI (en relaciçon a sus competencias profesionales y otras habilidades) desde que realizaron este visita y como consecuencia de ella

Bases de datos de indicadores UTILIZAR PARA CONTRASTAR LOS INDICADORES PROPIOS IRIS es el catálogo de métricas de rendimiento utilizadas por inversores de impacto líderes que quieren medir los impactos sociales, medioambientales y financieros.. http://iris.thegiin.org/

SROI: Cadena de valor social completa inputs Actividades outputs outcomes impacts 1 2 3 4 5 Recursos (capital, humano) invertido en la actividad Acciones concretas da la organización Productos tangibles de la actividad Cambios que resultan de la actividad Resultados ajustados: que habría ocurrido de cualquier forma, la acción de otros y consecuencias inesperadas €, número de personas, etc. Desarrollo e implementación de proyectos. Ejemplo: construcción de una escuela Número de personas participando en actividades, numero de actividades de formación realizadas, etc. Número de escuelas construidas Efectos sobre el grupo de beneficiarios (por ex. Aumento del acceso a la educación) Atribución de los cambios a la acción de la organización (por ej. Número real de niños que vienen regularmente a las clases y que no habrían podido participar a clases sin la existencia de esta escuela) 30mns incl. ejemplo

SROI simplificado…un ejemplo Lo que habría pasado de cualquier manera Se entiende como la contribución de “otros” 100.000€ N. Benef. = 200 indicador % total beneficiarios Proxy financiero Valor unidad (por año) TOTAL Peso Muerto Atribución Mejora mobilidad 72% Inversión adicional en ocio 360 € 51.840,00 € 0% 20% 41.472,00 € Mejora de la calidad de vida 94% Ahorros en gastos médico 500 € 94.000,00 € 10% 84.600,00 € Mejor integración en la sociedad Ingresos nuevo trabajo 24.000 € 480.000,00 € 384.000,00 €   625.840,00 € 510.072,00 € Online software: www.socialevaluator.eu SROI 5,10

Retos principales 1.- Contar desde el principio con el apoyo del patronato, de la dirección y de la gerencia. 2.- El desarrollo y actualización de un buen sistema de medición del impacto requiere de una inversión suficiente de personal, tiempo y dinero. 3.- Los sistemas de medición deben ser realistas y aplicables. Es clave planificar bien la necesidad de información para la medición y como va a obtenerse esa información. 4.- El sistema de medición debe ser suficientemente flexible como para adaptarse a contextos cambiantes. 5.- Asegúrese de la coherencia entre su estrategia y su sistema de medición. 6.- Tener claro como va a retroalimentar la medición a la entidad. Para qué, para quién.  influencia en toma de decisiones. 7.- Utilizar, en la medida de lo posible indicadores aplicables transversalmente a su sector  valorizar la colaboración intra –sectorial para la construcción de indicadores comunes.

Lecturas recomendadas http://preval.org/files/TEORIAL%20DEL%20CAMBIO%20PNUD%20e%20HIVOS.pdf http://evpa.eu.com/ knowledge- centre/publications/ evpa-publications/ http://www.thesroinetwork. org/publications/doc_detail s/445-the-sroi-guide- spanish http://www.social-reporting-standard.de/wp-content/uploads/2011/09/SRS_Leitfaden_120716_en.pdf

Susana Balet Robinson susanabalet.stonesoup@gmail.com ¡MUCHAS GRACIAS! Susana Balet Robinson susanabalet.stonesoup@gmail.com Stone Soup Consulting www.stone-soup.net @stonesoupchat http://www.linkedin.com/company/stone-soup-consulting

El ciclo de la medición del impacto Revisar Comunicar sobre el impacto Retroalimentar los resultados en el proceso de toma de decisiones Planificar Entender cuál es el impacto deseado y cómo llegar a él Entender quienes son los principales stakeholders/grupos de interés Identificar lo que quiere medir y la forma cómo lo medirá Hacer Implementación de actividades Recolección de la información para la medición del impacto Evaluar Análisis de la información compilada Evaluar los resultados en comparación a los objetivos iniciales ¿Para qué mides? ¿para quién? 10mns.

Los stakeholders/grupos de interés “Cualquier parte afectada o afectando las actividades de la organización” Entender las expectativas de los stakeholders, su contribución al impacto y/o el potencial impacto que su trabajo tendrá sobre ellos Se trabaja con los stakeholders en 2 partes: Identificación de los stakeholders : mapeo, selección (relevancia) & comprensión de sus expectativas Relación con los stakeholders: para verificar que los objetivos de impacto fueron alzanzados La co-operación de los principales stakeholders es un elemento clave del éxito de un proceso de medición del impacto social Aspectos claves: Mejor centrarse en un número limitado pero muy representativo de stakeholders para simplificar el proceso, pero atención a las potenciales consecuencias (resultados no tomados en cuenta) Los stakeholders pueden contribuir a modificar substancialmente su percepción de la misión social que está realizando. 15mns

Indicadores de resultados: Ejemplo Batec Mobility Actividades Indicador de resultados I+D+i en soluciones de mobilidad integrales Número de patentes registradas por producto/solución innovadora Número de Productos en fase de estudio y testeo. Comercialización de sus productos Facturación anual por línea de negocio. EBIT (beneficio) anual de la empresa. Share de mercado de la marca en volumen y en valor. Distribución de sus productos Número de puntos de venta donde se venden los productos BATEC. Número de provincias en España con, al menos, un punto de venta BATEC. Número de nuevos países con presencia de puntos de venta BATEC. MUY BIEN. Contratación de personas con discapacidad física. Número de personas com discapacidad física contratadas por la empresa. % que representan las personas com discapacidad física sobre el total de trabajadores de BATEC. Colaboración con entidades que fomentan el ocio adaptado Número de entidades con las que colabora BATEC. Cantidad de materiales cedidos a este tipo de organizaciones. 19

Indicadores de impacto: ejemplo Batec STAKEHOLDER 1.- Usuarios de los productos BATEC: personas con discapacidad física REVISAR 20

Stone Soup- Enfoque en el impacto social Nuestra misión es proporcionar servicios para fortalecer las organizaciones que buscan aumentar su impacto social. Actuamos de la mano de nuestros clientes para: Ayudar a concretar su proyecto social Fortalecer la gestión estratégica y operativa de su proyecto social Identificar caminos para el desarrollo y crecimiento de su proyecto social Crear sistemas de medición y evaluación de su impacto social Con un profundo compromiso con los procesos colectivos y participativos, ofrecemos soluciones especializadas para ayudar a nuestros clientes a maximizar su valor social. Nuestro nombre se inspira en la Leyenda de la Sopa de Piedra, que enaltece la cooperación y el compartir recursos como forma de creación de riqueza. Nuestros valores: Dinamismo y Colaboración Nuestro papel es el de un facilitador Innovación y Creatividad Queremos estimular la innovación y el potencial creativo asociado al sector social Coherencia, Solidaridad e Inclusión Creemos que, para ser sostenible, el desarrollo debe, primero, ser endógeno Profesionalidad y Rigor La diversidad de competencias y de trayectorias de los miembros de nuestro equipo complementan y refuerzan nuestra profesionalidad Somos miembro de: * El Tercer Sector se refiere a las iniciativas privadas de utilidad pública con origen en la sociedad civil.

La experiencia de Stone Soup Consulting en evaluación de proyectos y medición de resultados e impactos es la siguiente: España: Diseño del proceso de selección de Momentum Project (ESADE, BBVA, PwC) y acompañamiento a su implementación desde la primera edición hasta la actualidad : www.momentum-project.org Apoyo a la elaboración de los indicadores de impacto de los emprendedores de Momentum (30 emprendimientos hasta la fecha, de los cuales más del 50% actúan en el campo de la discapacidad) Implementación de un análisis SROI (Social Return on Investment) para la municipalidad de Barcelona, para uno de sus proyectos sociales (proyecto Radars – no cuenta con página web propia) En relación a temáticas relacionadas con discapacidad, en España se ha facilitado un taller del foro Inserta de la F. ONCE en el año 2012. Portugal: Elaboración del sistema de indicadores de impacto y elaboración del informe de impacto del proyecto Eu Passo de la Asociación Prevenir (actualmente este proyecto está siendo replicado en España): http://www.fundacaoedp.pt/inovacao-social/programa-edp-solidaria/edicao-2011/49 Diseño , implementación y seguimiento y evaluación del proceso de selección de beneficiarios del sistema “Arredonda” a nivel nacional: http://www.associacaolink.pt/Detail.aspx?contentId=11&parentId=2 Evaluación de los proyectos sociales candidatos a la Bolsa de Valores Sociales: http://www.bvs.org.pt/view/viewPrincipal.php Túnez: Evaluación del proyecto Menzel Bourguiba de Foundation for the Future (proceso participativo en el terreno) Internacional: Evaluación de resultados de un proyecto europeo denominado CABVIS, financiado por la Comisión Europea y coordinado por la ONG portuguesa APAV en el marco del apoyo a las personas víctimas de crimen en Europa Elaboración de bases de sistema de selección para una propuesta de proyecto de la Unión Internacional para la Conservación de la Naturaleza (IUCN), para su implementación en 4 países del Magreb.