IMPACTO EN PROGRAMAS DE EVALUACION DE IMPACTO EN PROGRAMAS DE EMPLEO PARA JÓVENES Ernesto Abdala Consultor OIT

Responsabilidad Social Colectiva La evaluación: facilita la contundencia de la experiencia la retroalimentación y los replanteos es un antecedente válido para otros emprendimientos es parte de de una responsabilidad social colectiva que implica instrumentar rendiciones de cuentas. 

¿Cuándo se cumple la evaluación? EXANTE INTRA POST EXPOST La productividad y el trabajo decente son dos eslabones de una misma cadena. No puede haber aumento de productividad sin un trabajo decente

Evaluación de Impacto Definición El proceso evaluatorio orientado a medir los resultados de las intervenciones, en cantidad, calidad y extensión según las reglas preestablecidas. Las empresas pequeñas están desempeñando un cometido cada vez más importante en los sistemas de producción en evolución, como parte integrante de una cadena de proveedores, redes locales de productores o modalidades de productividad menor para quienes no consiguen el acceso a un empleo en el sector informal. Aunque las grandes sociedades ejercen una fuerte influencia en la creación de empleos, en realidad son las empresas pequeñas las que crean la mayoría de los puestos de trabajo. Puede tratarse de una persona que trabaja por su cuenta en el sector informal o de unidades de producción complejas en las que haya decenas de asalariados. Muchos de esos puestos de trabajo proporcionan unos ingresos estables y un nuevo ambiente de trabajo, pero también hay un gran número de puestos de trabajo insatisfactorios, de poca productividad, peligrosos o carentes de la protección social más elemental. Abundan las mujeres en esas categorías.

La evaluación de impacto del Programa Primer Paso  - Identificar el valor de las variables el inicio del programa - Dimensionar los otros actores del programa de formación -Dimensionar el contexto del programa Segundo Paso  - Identificar el valor de las variables:   - Al finalizar el programa y un año después de finalizado Tercer paso  - Comparar las variables iniciales con las variables finales Cuarto Paso  Interpretar (presentar y discutir) los datos obtenidos Esto implica por ejemplo la aplicación de normas, regulaciones y los Convenios de la OIT sobre la salud y la seguridad. Es necesario que los gobiernos y las empresas constaten que las normas no son una carga sino un instrumento, incorporándolas en las estrategias nacionales de desarollo y en las estrategias de las empresas.

1) Sustentabilidd en el tiempo. Institucionalidad Variables de la evaluación de impacto BENEFICIARIOS:   Bienestar Según: 1)    Empleo, integrado por : - inserción laboral, - satisfacción laboral, - experiencia laboral anterior y tipo de trabajo Ingresos 3) Rol ciudadano GOBIERNO:  1) Legislación 2) Normas de calidad de los cursos 3) Políticas de capacitación y de apoyo a préstamos internacionales 4) Oficinas públicas especializadas EMPRESARIOS: 1) Compromiso y participación en la creación de organismos bi o tri partitos de consulta 2) Normas de calidad, según pertinencia(por adecuación a la demanda) y evaluación interna 3) Reclutamiento y retención de jóvenes ECAS: 1)    Sustentabilidd en el tiempo. Institucionalidad 2) Nivel de calidad según: -Nuevos currículos -Evaluación interna -Formación y calificación docente -Pertinencia del curso 3) Articulaciones Horizontales Y Verticales Esto implica por ejemplo la aplicación de normas, regulaciones y los Convenios de la OIT sobre la salud y la seguridad. Es necesario que los gobiernos y las empresas constaten que las normas no son una carga sino un instrumento, incorporándolas en las estrategias nacionales de desarollo y en las estrategias de las empresas.

C) IMPACTO EN LOS BENEFICIARIOS: Evaluar los logros de los beneficiarios en la formación implica medir valor agregado en el bienestar según la variación en empleo, ingresos y ciudadanía. Las medidas se deberían realizar en el corto, mediano y largo plazo para poder valorar el largo aliento o la efimeridad de los efectos. Asimismo, la comparación, base del concepto de impacto se mide los beneficiarios frente a un grupo control, en iguales períodos: al inicio, al finalizar y un año después de la finalización del proyecto.  La variable bienestar es una variable compleja constituida por las variables: empleo, ingresos y ciudadanía.

C) MEDIDA DE IMPACTO SOBRE JÓVENES BENEFICIARIOS Y GRUPO DE CONTROL C) MEDIDA DE IMPACTO SOBRE JÓVENES BENEFICIARIOS Y GRUPO DE CONTROL. VARIABLES: Variable compleja Bienestar ------------------ EMPLEO: (Variable) Indicador “Inserción laboral” “Todo tipo de trabajo remunerado, sea por cuentapropismo, por contrato o empresa familiar” Satisfacción laboral: (Indicador) Como se siente respecto al trabajo (tareas que realiza) ----------------- EMPLEO: Tipo de trabajo (Indicador) Valoración de calidad del trabajo según necesidades y expectativas (protección social y sanitaria, estabilidad y horario) INGRESOS: (Variable) Satisfacción con la remuneración del empleo ------------------- ROL CIUDADANO: (Variable) Se destaca la revalorización de la ciudadanía como factor de cohesión democrática. Participación en organizaciones barriales, gremiales, comunitarias, deportivas, juveniles, políticas y religiosas.

Momento de la medición: Esta variable y sus indicadores se miden antes del inicio del programa, cuando este finaliza y al año de finalizado. Los gobiernos pueden crear asimismo empleos ampliando los servicios sociales. Al invertir en sectores como los de la sanidad, la educación, la nutrición y la formación técnica y profesional, engendran un empleo social. De un modo más inmediato, crean puestos de trabajo para el personal docente o sanitario del país. Pero están también los frutos de un empleo a más largo plazo: una población más sana, más instruida y más calificada es el medio más seguro para elevar la productividad y el nivel de vida. Se mide tanto en el grupo de beneficiarios como en el grupo de control.

Proceso de medición del impacto: El impacto se mide según la diferencia porcentual que existe en las medidas del grupo de beneficiarios y del grupo de control. Se presenta la formula del cálculo de impacto: Los gobiernos pueden crear asimismo empleos ampliando los servicios sociales. Al invertir en sectores como los de la sanidad, la educación, la nutrición y la formación técnica y profesional, engendran un empleo social. De un modo más inmediato, crean puestos de trabajo para el personal docente o sanitario del país. Pero están también los frutos de un empleo a más largo plazo: una población más sana, más instruida y más calificada es el medio más seguro para elevar la productividad y el nivel de vida. valor de la Medida del impacto = valor del indicador en el grupo de beneficiarios - indicador en el grupo de control ------------------------------------------------------------------------- valor del indicador en el grupo de control

HIPÓTESIS PRINCIPAL DEL PROGRAMA: La capacitación agregada produce un aumento de la empleabilidad, con consecuentes probabilidades incrementadas de conseguir empleo, de mantener el empleo, de mejorar los ingresos la ciudadanía y por lo tanto, el bienestar.   Algunas consideraciones para formular políticas La productividad del trabajo en A.L es baja en el contexto internacional, además presente divergencias significativas y crecientes entre sectores a nivel nacional. A nivel internacional, los estudios disponibles conforman que la productividad promedio de AL es cercana a un tercio de la prevaleciente en los EE.UU. Por ejemplo, en Brasil y México producir un automóvil requiere entre 40 y 48 horas de trabajo, en tanto la misma undiad se produce en EE.UU con 25 horas de trabajo y en Japón con 17 horas En la economía interna el sector de la ME que concentra el 25% del emplo no agrícola tiene una productividad por trabajador que se estima alcanza a sólo un poco más del 15% del nivel registrado en el sector moderno de la economía Por lo tanto, no solo es necesario aumentar la productividad global, sino también reducir los diferenciales entrre sectores de la economía interna de los países.

Trabajo Decente y Productividad La variable empleo se constituye por los cinco indicadores siguientes: inserción laboral; satisfacción laboral; experiencia laboral y valoración de la calidad del trabajo según necesidades y expectativas. Además se discrímina según edad, sexo, necesidades básicas, nivel de instrucción, experiencia laboral anterior.

* Satisfacción laboral La variable empleo se constituye por los cinco indicadores siguientes: Indicadores Categorías * Inserción laboral No (desocupado) Sí (con ocupación) * Satisfacción laboral Ninguna poca buena Muy buena * Experiencia laboral anterior Si No * Valoración de la calidad del trabajo según necesidades y expectativas (tipo de trabajo) Si No Protección social Protección sanitaria Estabilidad Ingresos suficientes Horario adecuado  

Variable Rol ciudadano de la variable compleja bienestar: Se destaca la revalorización de la ciudadanía como factor de cohesión democrático, en la participación y presencia activa de cada integrante de la sociedad  Indicadores:   Participación en organizaciones: barriales, gremiales, comunitarias, deportivas, juveniles, políticas, religiosas. Categorías: Sí No Todos los indicadores de la variable "rol ciudadano" se discriminan en subgrupos, según edad, sexo, satisfacción de necesidades básicas , nivel de instrucción, experiencia laboral

1) Datos aportados por métodos cualitativos :  En los beneficiarios y en el grupo control, se completa la medida del impacto, con preguntas abiertas y observación.   El eje temático gira en torno a cambios actitudínales respecto al trabajo, al posicionamiento en los períodos de búsqueda de empleo y a las necesidades y expectativas, a su valoración de las competencias necesarias para una buena inserción laboral (educación formal, programas de capacitación, redes, otros).

- -elaboración de proyectos - -inserción social 2) Datos aportados por métodos cualitativos.  En cuanto a la inserción social (inclusión), se miden las Competencias Psicosociales (características actitudinales y comportamentales):  Indicadores: -Autoestima -creatividad -  -elaboración de proyectos -   -inserción social -ámbitos de los procesos de socialización (la familia, la calle, los pares, las instituciones, otras) - -participación activa en grupos sociales, artísticos, religiosos, deportivos, barriales, culturales -  -incremento de los espacios sociales - -creación de nuevas redes sociales (con otros jóvenes, con instituciones, servicios, lugares de trabajo)

Se entrevista a los beneficiarios, al finalizar el proyecto y al año de finalizado, y se recogen datos descriptivos y fenomenológicos en una mirada retrospectiva: La comparación es del joven consigo mismo, en etapas distintas de su vida (¿cómo era antes del programa?, ¿cómo era en cuanto finalizó el programa?, ¿cómo es un año después de finalizado el programa?.

C) MEDIDA DE IMPACTO SOBRE EL GOBIERNO: Variables (al final, uno, dos y... “x” años después) ------------------ 1- RESPALDO LEGAL: Promulgación de leyes normativas especificas sobre formación y capacitación juvenil ----------------- 2-ASEGURAMIENTO DE CALIDAD: Procedimientos que aseguren la calidad de la capacitación ofertada. 3- MARCO POLÍTICO: -Facilitación de mecanismos de financiamiento de los cursos -Prestamos internacionales: Existencia de interés político hacia préstamos internacionales relacionados con estos temas -Creacion de Instituciones específicas: Creación de instituciones especializadas en el tema de la capacitación para jóvenes desfavorecidos

C) MEDIDA DE IMPACTO EN LOS EMPRESARIOS: Variables (al final, uno, dos y... “x” años después) ------------------ CREACIÓN DE ORGANISMO BI O TRIPARTITO DE CONSULTA ----------------- PARTICIPACION DE LA EMPRESA EN ESE ORGANISMO PERTINENCIA (Nivel de Calidad): Relación de la capacitación con los requerimientos de los puestos de trabajo en la empresa EVALUACIÓN INTERNA: - existencia de evaluaciones internas de las pasantías en las empresas ----------------- SUSTENTABILIDAD EN EL TIEMPO Y ARTICULACIONES NORMAS DE CALIDAD RECLUTAMIENTO Y RETENCION DE JÓVENES: Porcentaje de los trabajadores actuales de la empresa egresados del programa. Relación entre la cantidad de pasantes recibidos por la empresa y cuántos permanecieron en ella al año y dos años de finalizado el programa

C) MEDIDA DE IMPACTO EN LAS ECAS: Variables (al final, uno, dos y... “x” años después) ------------------ INSTITUCIONALIDAD: - Creación de asociaciones de entidades capacitadoras - Antecedentes en otras ejecuciones del programa. Continuidad como ejecutores ----------------- NIVEL DE CALIDAD: - Cambios o elaboración de nuevos currículos Se realizan evaluaciones internas Se realizan cursos de perfeccionamiento en la calificación técnica, docente y pedagógica de los ejecutores Pertinencia del curso orientado según: -  nichos ocupacionales O perfil de la población objetivo ----------------- ARTICULACIÓN CON Empresarios, Instancias centrales y locales: Existencia de articulaciones: -          horizontales con otras ECAS, con las empresas encargadas de las pasantías, con la población local -          verticales con las oficinas públicas especializadas en formación y capacitación de jóvenes con las instancias centrales del programa

D) IMPACTO GENERAL O GLOBAL DEL PROYECTO El impacto general implica una tarea de análisis de los impactos particulares correspondientes sobre los jóvenes beneficiarios, el gobierno, las empresas y las ECAS. Y en ese sentido, se informa el impacto respectivo a cada área. No es posible una sumatoria simple, dado que en jóvenes se mide el impacto en porcentajes positivos o negativos (diferencias porcentuales) al relacionar dos poblaciones o a los jóvenes consigo mismo en dos etapas cronológicas diferentes. Pero, en los otros tres actores (gobierno, empresarios y ECAS) se valora presencia o ausencia de ciertos hechos.

Resultados: ¿Qué se evaluó? 1a. Respecto a los jóvenes beneficiarios, se evaluó: focalización, impacto (mediante los cambios actitudinales, la inserción laboral, la reanudación de la formación educativa, el incremento de la autoestima, el grado de satisfacción, la participación ciudadana) pero con escasos intentos de medir el impacto metódica y sistemáticamente, configurando un grupo de control. 1b. Respecto a los ejecutores, se midieron especialmente los aspectos globales, parciales de control administrativo, y de capacitación técnico pedagógica en las ECAS. Asimismo se valoró el clima de satisfacción en la tarea ejecutada y se relevaron las insatisfacciones y dificultades explícitas. 1c. Respecto a las empresas donde se cumplen las pasantías: se midió de modo irregular la calidad de la oferta de la pasantía, el tamaño de las empresas, la estabilidad y la sincronía con el mercado laboral vigente .

Resultados: Aspectos generales I Contexto socioeconómico: surge la fuerte dependencia que tienen estos programas con el contexto socioeconómico en el cual se desarrollan. Participación de todos los actores: Pendiente el desafío generar sistemas de monitoreo y evaluación se conviertan en mecanismos de participación que dan origen a una comunicación y una retroalimentación. Evaluar en mediano y largo plazo: No siempre se desarrollan evaluaciones intermedias, tampoco evaluaciones largo plazo. Utilidad de la evaluación: ¿se utilizan los resultados? Retorno al sistema educativo: El retorno al sistema educativo de los jóvenes beneficiarios debe ser interpretado como uno de los éxitos de estas intervenciones.

Resultados: Aspectos generales II Evaluar logros de objetivos no incluidos en el diseño: Muchas veces no se presta atención a los objetivos logrados que no fueron incluidos en el diseño del programa pero que forman parte de su impacto. Estrategia metodológica: La mayoría de las evaluaciones realizadas en América Latina de programas de capacitación y empleo de jóvenes desarrollan metodologías cuasiexperimentales. Este tipo de metodologías no logran replicar una asignación experimental totalmente aleatoria entre el grupo de control y beneficiarios. Pasantías: Al parecer no se cumplió una verdadera evaluación tratando de descubrir si existen contrataciones posteriores en las mismas empresas que brindan las pasantías, para saber si el programa sirve como fuente de mano de obra barata.

Resultados: Aspectos generales III Calidad de la formación: a partir de la diversidad implementada, es que los programas “Joven” tienen buena focalización pero calidad insuficiente. La necesidad de políticas y no solo de programas: o de programas de mediano y largo aliento. Focalización:, debiendo eliminarse todos los tipos de discriminación. Fortalecimiento institucional: buscando nuevos arreglos entre todas las alternativas posibles y profundizando el perfil de las instituciones más adecuadas para planificar y ejecutar. Crear sistemas de educación y trabajo articulados: las evaluaciones de estos programas dejan en claro la necesidad de construir sistemas integrados de educación formal y capacitación laboral

Resultados: Aspectos generales IV Viejos y nuevos actores que se complementan en la búsqueda de nuevos sistemas nacionales de formación para el trabajo: Es necesaria la interacción de los dos modelos: el tradicional de las IFP y la nueva generación de programas. El papel de las Instituciones de Formación Profesional, los Ministerios de Trabajo, Educación y los programas de jóvenes: queda claro que cuando los programas aquí analizados se ejecutan desde la orbita de los Ministerios de Trabajo, educación y de las IFP existe una frecuencia y estrategia de evaluación. La relación entre eficiencia económica, equidad y ciudadanía: es hoy una realidad, todo programa dirigido a jóvenes pobres debiera tener muy en cuenta, en la medida de sus posibilidades, esta trilogía. Al revisar las evaluaciones tendiendo presente este punto, se plantean dudas sobre el éxito de estos programas.

Resultados: Los programas I Actor/es sociales en la ejecución Resultados Obtenidos Proyecto Joven (Argentina) Secretaría de Empleo y Capacitación Laboral - Ministerio de Trabajo y Seguridad Social   Los resultados globales del proyecto demuestran que para los varones, el nivel de ocupación aumentó 53 puntos porcentuales, es decir, casi se triplicó. Para las mujeres el incremento fue de 41 puntos porcentuales, prácticamente cuatro veces más. Los ingresos de las mujeres beneficiarias tuvieron un aumento del 20% superior al de sus pares en el grupo de control. En los varones no se registran diferenciales significativos entre los ingresos de los Beneficiarios y los del Grupo de comparaciones El programa Chile Joven (Chile) * Ministerio de Trabajo y Previsión Social *SENCE *FOSIS BID. * La meta inicial del programa fue la de capacitar a 100.000 jóvenes en 4 años. Se logró la atención de 102.436 * En una segunda fase se estableció como meta atender a 70.000 jóvenes en 3 años. Logrando el 100% de esta meta. * De acuerdo a las evaluaciones de impacto realizadas, el programa permitió la inserción laboral de más de un 50% de los beneficiarios egresados del programa en comparación con grupos de control.

Resultados: Los programas II Jóvenes en Acción (JeA) El Fondo de Inversión para la Paz (DAPR-FIP); - El Departamento Nacional de Planeación (DNP); - El Servicio Nacional de Aprendizaje (SENA); La diferencia más importante que se observa entre la situación antes de JeA y después de haber asistido al Programa es el número relativamente grande de egresados que ahora tienen un empleo como asalariado formal (37.74%) comparado con la situación previa al programa (18,47%). La proporción de empleados entre los egresados de JeA es 39.83%, la cual mayor a la de los jóvenes que no pasaron por el programa pertenecientes al Sisben 1 y 2 que es del 24%. El tiempo promedio de búsqueda de empleo se reduce a la tercera parte después del programa: después de JeA es de 3.88 meses (donde los hombres demoran en promedio 2.89 meses y las mujeres 4.4 meses).El tiempo promedio de búsqueda de empleo antes del JeA era de 11.3 meses. El salario promedio de los que consiguieron empleo después de JeA fue muy cercano a un salario mínimo legal (1.0), con un diferencial significativo entre hombres (1.15) y mujeres (0.92). No existiendo variaciones significativas: los empleos antes de JeA. Se han encontrado tres aspectos en los cuales la empleabilidad ha mejorado, particularmente en el caso de los hombres. Ellos son, la probabilidad misma de emplearse, la mayor inserción en el sector formal y mejores salarios.

Resultados: Los programas III CAPLAB (Perú) * COSUDE - * Ministerio de Educación * Ministerio de Trabajo y Promoción del Empleo * Centros Educativos Ocupacionales (CEOs) * Otras organizaciones implicadas * Órganos Intermedios del Ministerio de Educación * CAPLAB trabaja con el 42% de los CEOs públicos del país. * Aproximadamente el 75% de los egresados de cursos CAPLAB se colocan en el mercado laboral. * Más de 300,000 personas inscritas en la Red CIL-ProEmpleo durante la Fase de Ampliación. * Más de 100,000 solicitudes de puestos de trabajo recibidas por la Red. * Más de 82,000 solicitudes de empleo atendidas por la Red CIL-ProEmpleo. * Más de 12,700 Asistencias para la Búsqueda de Empleo (ABE) brindadas. * Posicionamiento del Modelo CAPLAB genera una demanda creciente por información y productos del Programa.

Resultados: Los programas IV ProJoven (Perú) Ministerio de Trabajo y Promoción Social. En lo que concierne a la evaluación de impacto del Programa, las estimaciones permiten confirmar importantes cambios desde antes de Projoven hasta 18 meses después de culminado el Programa, cuando la comparación se realiza entre el grupo de jóvenes beneficiarios y el grupo de control (jóvenes de potencial participación en Projoven, pero no lo hicieron) durante la Primera Convocatoria en Lima Metropolitana. En efecto, la inserción laboral de jóvenes beneficiarios que se emplean como trabajadores remunerados tuvo una variación de 75%, en tanto que en los jóvenes del grupo de control fue de sólo 17%.

muchas gracias