Labor Intermediation and Training Programs of the STPS/México Maximo Torero (IFPRI/ GRADE) y Miguel Robles (UCLA)

Temas a analizar Programas y documentos analizados Objetivos y descripción de los programas Evaluaciones de impacto Evaluaciones de impacto teoría De la Teoría a la práctica el caso de los programas analizados De la Teoría a la práctica el caso de los programas analizados  Aspectos positivos  Aspectos por mejorar Recomendaciones finales

Programas y documentos analizados

Objetivos y Descripción de los Programas

Objetivos y Descripción de Programas

Evaluaciones de Impacto

La evaluación de impacto típica incluye:  Evaluación Operativa  Efectos “Tratamiento”  Análisis Económico Costo-Beneficio Problemas potenciales en cómo estimar los efectos “tratamiento” Establecidos los efectos “tratamiento” no hay mayor controversia en cómo realizar el análisis costo- beneficio

Efectos “tratamiento” Revisión de metodologías empleadas para determinar estos efectos:  Línea de Base (Inexistente en todos los casos)  Determinación Grupo Beneficiarios  Determinación Grupo Control  “Matching” de “support” en X  “Outcome” analizados  Análisis estadístico/econométrico  Efectos (en tratados) econtrados

Evaluaciones de Impacto

Evaluación de Impacto (Treatment Effects) TEORIA

Treatment Effects: teoría Objetivo general  Comparar la situación de los miembros de una población “con” el programa versus su situación “sin” el programa  No nos interesa “per se” la situación “antes” y “después” del programa ¿Qué población?  Típicamente nos enfocamos en los beneficiarios del programa ¿Qué es la “situación”?  Definir la o las variables que miden los logros esperados del programa: Ingreso por hora Horas trabajadas Duración del desempleo Productividad laboral, etc.

Treatment Effects: teoría Formalmente…  Efecto tratamiento para el participante i…  Esta es una variable aleatoria… en principio nos interesa el primer momento o valor esperado… El potencial dolor de cabeza….missing data !!!  ¿Cuál es el “outcome” esperado del participante i de no haber recibido “tratamiento”? Imposible observarlo… pero no necesariamente imposible estimarlo…

Treatment Effects: teoría Se hace necesario contar con un grupo de control que no recibe el “tratamiento” del cual poder inferir “missing data” Queremos minimizar potencial “SESGO de selección”…  Lo que podemos estimar es…  Lo que queremos estimar es  El sesgo potencial es

Treatment Effects: teoría Métodos para identificar “treatment effects” 1) Métodos experimentales  “Randomization”: la gran ventaja es que para el grupo de control: 2) Métodos Cuasi - Experimentales:  “Matching”: Buscar un grupo de control con características tales que Hubieran participado en el programa Determinan el “outcome” de manera similar a los participantes Permite corregir “selección” en variables observables

Treatment Effects: teoría  “Reflexive Comparison” (Antes y después) El grupo de control se forma con “línea de base” de los participantes  Doble Diferencias ( “Difference in Difference”) Se tiene información antes y después para el grupo de participantes y para el grupo de control Se compara al grupo de participantes y de control (primera diferencia), antes y después del programa (segunda diferencia) Permite corregir el componente invariante en el tiempo del sesgo de selección en no observables  Método de variables instrumentales Se requiere de una variable (instrumento) que este correlacionada con la decisión de participar pero que no influya en el “outcome” Potencialmente permite corregir sesgo en observables y no observables

La experiencia internacional y la teoría nos dicen… Combinar “Matching” con Doble Diferencias… ¿Qué se necesita?  Grupo de control Por lo menos asegurar que cumplan los requisitos del programa Idealmente usar mismos cuestionarios y encuestadores para recoger esta información  Grupo de beneficiarios Muestra representativa

La experiencia internacional y la teoría nos dicen… ¿Qué se necesita?  Información antes y después del programa para ambos grupos Características que determinan la participación Características que determinan el “outcome” EL IDEAL: tener historias completas del antes y del después…  Hacer el “matching” en características y asegurar “common support” Se recomienda usar “propensity scores” para el “matching” usando la información antes del programa

De la teoría a la práctica El caso de los programas analizados

Las evaluaciones estudiadas nos dicen que…(aspectos positivos) 1. Existe conciencia de que lo importante es comparar el “con” y el “sin” programa… 2. Los evaluadores son ahora agentes externos (no queremos casos de juez y parte)…  En PROBECAT 1995 y CIMO 1995 las evaluaciones fueron hechas por la propia STPS  En todas las otras evaluaciones (2002 y 2003) se contratan agentes externos

Las evaluaciones estudiadas nos dicen que…(aspectos positivos) 3. Dada la información disponible los evaluadores externos apuntan a atenuar los sesgos de selección…  En 5 casos se utilizan métodos de variables instrumentales (Heckprob, Treatreg)  En 2 casos se intenta “matching” 4. En algunos casos se utiliza mismo cuestionario para recolectar información de beneficiarios y controles… CIMO y PIPs 5. Evaluaciones operativas y análisis costo-beneficio conceptualmente bien diseñados

Las evaluaciones estudiadas nos dicen que…(aspectos por mejorar) 1. La evaluación de impacto no forma parte del diseño de los programas…  En ningún caso se cuenta con línea de base  Los grupos de control se buscan ex-post  En los casos de contar con información del “antes” corresponde a información retrospectiva (introduce sesgo) 2. A veces es necesario precisar mejor el “outcome” a estudiar…  Casos en que se estudia el Ingreso Mensual… se recomineda separar el Ingreso x Hora y el Número de Horas

Las evaluaciones estudiadas nos dicen que…(aspectos por mejorar)  Separar “efecto empleo” del “efecto ingreso” Si la variable dependiente es “Cambio en log Ingreso”… habran muchas observaciones con valores extremos… que pasan de cero ingresos (desempleado) a ingreso positivo… (Ejemplo: esto sucede en PROBECAT) CIMO lo hace correctamente…  ¿Cuál es el “outcome” relevante para un programa como el SAEMLE (movilidad externa)? Recordar que el programa ayuda a trabajadores que por primera vez salen a Canadá de zonas alejadas… Pero es claro que alguien se perjudica… porque el número de vacantes es fija…

Las evaluaciones estudiadas nos dicen que…(aspectos por mejorar) 3. Hay que ser cuidadosos con el “matching” en variables observables…  Ejemplo, CIMO sólo verifica “common support” en tres variables: sector(manufactura vs. otro), tamaño, ubicación…  PERO… sin duda otras variables pueden explicar la participación en el programa y sobre la productividad laboral… ejemplo: antiguedad de la empresa, rama…  SAEBE hace “matching” para “estar desempleado” y “lugar de residencia”… Y además usa regresión con variable instrumental… (esto va en la dirección correcta…)

Las evaluaciones estudiadas nos dicen que…(aspectos por mejorar) 4. Controlar por el mayor número de variables observables relevantes  Ej. PIPs… regresión para explicar ingreso neto del entrepreneur… pero no controla por tamaño de empresa !!! 5. Procurar información del “antes”… ejemplo cuando ésta no existe…  En SICAT… se usa la ENE 2002 para armar grupo control bajo el siguiente criterio: Haber conseguido empleo recientemente… Estar actualmente desempleado  PROBLEMA: incluye a gente que estuvo empleada “antes”… no hubiera sido elegible para el programa !!!

Las evaluaciones estudiadas nos dicen que…(aspectos por mejorar) 6. Hay que ser consistentes con la metodología de evaluación…  En PROBECAT se utiliza un Probit para hacer “matching” entre grupos de beneficiarios y de control… supone querer controlar por observables en participación…  PERO luego se usa variables instrumentales… para instrumentar participación !!!... NO sería necesario… 7. Hacer uso correcto de la econometría  Por ejemplo correr… Ingreso Bruto contra Ingreso por Hora, Número de Horas, y Gratificación… NO INFORMA NADA Período trabajado contra período planeado, dummy para regreso prematuro, mes de salida… NO INFORMA NADA  Usar OLS cuando la variable dependiente es “mes de salida” (incorrecto !!!)

Recomendaciones Finales

Algunas recomendaciones La evaluación de impacto debe formar parte del diseño de los programa  Importante identificar como incorporarla en los programas que ya existen  Una adecuada inversión en el diseño de nuevos programas Una adecuada inversión en el diseño de nuevos programas Desde el inicio del programa es necesario precisar el “outcome” a estudiar y el grupo controlgrupo control La metodología de impacto a utilizar debe ser homogénea Sería ideal contar con un laboratorio de evaluación, con autonomía y evaluación externa.

Importancia de un sistema de evaluación de impacto

Fuente: Nopo, Hugo, Miguel Robles y Jaime Saavedra (2002)