DIPLOMADO EN PROCESOS DE PARTICIPACIÓN CIUDADANA PARA EL “DESARROLLO COMUNITARIO” Módulo: Indicadores y evaluación de impacto social Expositor: José Salazar (Depto. de economía, ITESM) Monterrey, N.L., México, 12 de octubre de 2013.

Contenido de esta charla Objetivo y beneficio La importancia de definir, medir y evaluar ¿Por qué es difícil calcular el valor social? Elementos comunes en la intervención social Indicadores para monitorear el proceso y el resultado Los tipos más comunes de evaluación social Métodos de evaluación de impacto social Un método más adhoc a las ONG ¿Cómo calcular el valor creado en un programa?

Objetivo Que el participante conozca algunas de las pautas más comunes en el ejercicio de evaluación de impacto de programas y proyectos sociales. Beneficio Contar con herramientas de planeación y evaluación de programas sociales, que coadyuven al mejor funcionamiento de éstos.

La importancia de definir, medir y evaluar Lo que no se puede definir, no se puede medir, lo que no se puede medir, no se puede evaluar, lo que no se puede evaluar, tiende al caos. Fuente: http://www.bing.com/images/search?q=William+Thomson&qpvt=William+Thomson&FORM=IQFRML. Consultada el 10 de sep. de 2013.

¿Por qué es difícil calcular el valor social? Medir el valor social es difícil, por que en muchos de los campos importantes de la acción social, la gente no está de acuerdo sobre cuál debe ser el resultado de ésta. (Mulgan, 2010, 40) Goeff Mulgan: Director de política y estrategia en la administración del primer ministro del RU, Tony Blair. Fuente: https://www.facebook.com/pages/Geoff-Mulgan/132848196754575 Consultada el 4 de octubre de 2013.

Elementos comunes en la intervención social Ver (Diagnóstico de la situación previa a la intervención) Juzgar (Reflexión y priorización de los objetivos) Actuar (Intervención) Fuente: Método inicialmente propuesto en programas de la Pastoral Social de la Iglesia Católica. Secretariado de Pastoral Social (1994), Pastoral Social: un aporte, México, Tercera Ed., Secretariado de Pastoral Social, Monterrey, N.L.

Ver Las palabras más empleadas en los procesos de consulta del PND 2013-2018. (A mayor tamaño de letra  la palabra fue más empleada, p. 176) Fuente: PND 2013-2018

Ver (aquellos indicadores que ilustren la situación de las variables de interés)

Indicadores para monitorear el proceso y el resultado. Si bien esta tabla brinda elementos para la planeación y verificación de los procesos y resultados, no representa una evaluación en si misma.

Los tipos más comunes de evaluación social De diseño De indicadores De procesos De impacto: Identifica con metodologías rigurosas el cambio en los indicadores a nivel de resultados, atribuible a la ejecución del programa (p. 13). Fuente: Coneval http: //www.coneval.gob. mx/rw/resource/coneval/info_public/Normatividad.pdf

Métodos de evaluación de impacto Idealmente quisiéramos comparar el estado de las cosas que se hubiera dado si el programa no hubiera existido, con aquel que tenemos cuando el programa tomó lugar. Pero esto es imposible. Ante este problema se utilizan diseños de investigación cuanti y cualitativos que intentan resolver esta situación. Entre los métodos estadísticos disponibles más empleados están: (El manejo de ellos requiere usualmente cierto conocimiento de estadística y econometría) Diferencias en diferencias; Matching (Pareamiento); y Regresión discontinua. Se recomienda consultar el libro: Gertler, P., Martínez, S., Premand, P., Rawlings, L. y Vermeersch, Ch. (2011), Impact Evaluation in Practice, Washington, DC., EE.UU.: The World Bank. También disponible, como libro interactivo, en español, en: https://openknowledge.worldbank.org/bitstream/handle/10986/2550/599980PUB0Span00public00BOX361512B0.pdf?sequence=7

Diferencias en diferencias Compara, para un indicador objetivo, la diferencia entre su situación después de la intervención del programa en el grupo receptor de la ayuda (grupo de tratamiento) en comparación con su situación de inicio, y esta misma diferencia en el mismo indicador para un grupo no receptor, igual o muy semejante en todo al de tratamiento (grupo de control). Ejemplo: Asesoría en matemáticas a niños con promedios reprobados en matemáticas. Grupo de tratamiento: Niños de 4° A de la escuela X con promedio reprobado en matemáticas y que entran al programa de asesoría. Grupo de control: Niños de 4° A de la escuela X con promedio reprobado en matemáticas y que no entran al programa. Indicadores: Calificación de cada niño, en ambos grupos antes del programa. Calificación de cada niño, en ambos grupos, después del programa. Comparaciones: Cambio en el promedio de calificación del grupo de niños en el grupo de tratamiento menos el cambio en el grupo de control. Prueba estadística: Prueba t de diferencias de medias. Debilidad: No controla la posible influencia de otros factores, por ello depende mucho de la semejanza del grupo de control.

Diferencias en diferencias, continuación… Antes: 50 Asesorados Diferencia, A.: +20 Después: 70 Antes: 50 Diferencia, N.A.: +5 No asesorados Después: 55 Diferencia, A. – Diferencia, N.A. = +15 Impacto: El programa produjo un aumento de 15 puntos promedio en la evaluación de matemáticas del grupo participante. Nota: Se recomienda la realización de una prueba t de diferencias de medias para demostrar que la diferencia es estadísticamente significativa.

Matching o pareamiento Mediante técnicas estadísticas, se construye un grupo de control. La comparación de cambios se realiza entre los diferentes sujetos de evaluación (En tratamiento vs. Control). La técnica compara a cada sujeto de un grupo con aquel que es más parecido en un vector de características, que también pudieran incidir en el indicador objetivo, del otro grupo. Estadísticamente se realiza un ranking (Rendimiento académico general del alumno) de todos los sujetos en la evaluación, de acuerdo a un vector de características, en nuestro caso: Edad, género, ingreso del hogar, escolaridad de los padres, tiempo diario de los padres con los hijos, tiempo dedicado a estudiar matemáticas diariamente y otras que se considerara influyeran sobre la calificación del niño en matemáticas.

Regresión discontinua Calif. mate i= a + b(t. de estud. de mate i) + c(Tiempo padres i) + d(Asesoría i) +…+ e Antes Después Calif. mate i Calif. mate i d Rendimiento académico gral i Rendimiento académico gral i Impacto: El programa produjo un aumento de “d” puntos en la evaluación de matemáticas del grupo participante. Ventaja: Controla el efecto de factores concomitantes y así permite una evaluación más precisa del efecto aislado del programa de asesoría.

Un método de evaluación de impacto más adhoc a las ONG Creado por Roger Ridell, del Overseas Development Institute para evaluar programas sociales de ONGs en países en desarrollo. El método contempla el uso de los enfoques cuanti y cualitativo y consiste en dar respuesta a las siguientes preguntas, a contestar entre la ONG y los beneficiarios. ¿En qué grado se logró alcanzar los resultados planteados en los objetivos? ¿Qué factores se considera llevaron al logro de los objetivos y en qué orden de importancia? ¿Los beneficios fueron distribuidos equitativamente? ¿La mejora en los indicadores de los beneficiarios, se debió al programa o a otros factores? ¿Los costos del programa fueron apropiados, según lo logrado? ¿La experiencia del programa permite pensar que éste se puede también implantar en comunidades similares? Si la ONG aún sigue involucrada en el programa, ¿podría esto provocar algún problema? Si la ONG ya no sigue involucrada, ¿podría darse algún problema? ¿qué tan sostenibles son los efectos y/o el programa?

Aplicación del método de Riddell en Monterrey. Salazar, J. (1999). Evaluación de los programas de pastoral social de la Iglesia Católica de Monterrey, N.L.: Su contribución al alivio de la pobreza. Tesis de maestría no publicada, UANL, Monterrey, Nuevo León, México. Bibliotecas UANL, catálogo electrónico: http://cdigital.dgb.uanl.mx/te/1020129157/1020129157_02.pdf

¿Cómo calcular el valor creado en un programa social? Es frecuente la intención de valorar en unidades monetarias los bienes y/o servicios así como los impactos logrados, ello facilita las evaluaciones. Algunos métodos de valoración: (Ver: Mulgan, G. (2010). Measuring Social Value, Stanford Social Innovation Review, Summer, 38-43.) Preferencias establecidas: ¿Cuánto estarías dispuesto a pagar para preservar una especie? Preferencias reveladas: Examina las decisiones de la gente y deduce el valor que pagarían. A diferencia de la anterior, la información ya existe (precios hedónicos). Valor público: Juzga el valor que el público da a un servicio (subjetivo) Valor agregado: ¿Cuánto agrega un programa al valor de algo…educación…salud…? Ej. En Nuevo León, un año más de educación aumenta 9 veces lo que aumenta el salario por un año más de experiencia laboral. Costo de transporte: El valor del transporte implícito en recibir el servicio o el bien. Costo evitado: ¿Cuánto vale en el mercado más cercano, el bien y/o servicio brindado? (Una despensa, una consulta, una clase, …, esta clase por ejemplo…jejeje) Un estudio reciente que valúa los efectos de un proyecto público pueden verlo en: http://www.trayectorias.uanl.mx/35/index.htm Salazar, J., Polendo, J., López de Arkos, C. e Ibarra, J. (2012). Efectos en tiempo de viaje y seguridad vial generados por la ampliación y modernización de la carretera Saltillo-Zacatecas. Trayectorias, 14(35), 66-89.

¡G R A C I A S! Afectuosamente José Salazar jsalazar@itesm.mx