SEGUIMIENTO Y EVALUACIÓN Instituto de Estudios Fiscales Madrid, 19 de Noviembre de 2013 Ignacio Moral-Arce Instituto de Estudios Fiscales

Recursos Financieros y Físicos Actividades y Actuaciones Evaluación de impacto Las preguntas que tenemos que contestar en la Evaluación de impacto de políticas son: ¿Cuál sería la situación si la intervención no hubiera tenido lugar? ¿Las mejoras que se han producido en los individuos son el resultado directo del proyecto, o sencillamente es que se ha mejorado de todas formas? Recursos Financieros y Físicos Actividades y Actuaciones Producto Resultado

Resultado de un individuo – empresa (i) Evaluación de impacto Parece natural en este contexto definir el efecto causal de la politica para el individuo en cuestión como la diferencia entre los dos resultados potenciales: Y1- Y0. (porcentaje ventas en el exterior) Resultado de un individuo – empresa (i) Si no es tratado (no recibe fondos): Y0 Si es tratado (si recibe fondos): Y1 Problema Imposible observar Y0 e Y1 simultáneamente. Solución: Obtener dos grupos formados por individuos, donde unos han recibido el tratamiento (beneficiarios reales) – GRUPO DE TRATAMIENTO y otros no – GRUPO DE CONTROL Efecto del Tratamiento Δ = (Y1) – (Y0 ) The same person cannot both get treatment and no treatment The potential outcome framework, Counterfactual definition of causality 3

- Indicador de resultado: Evaluación de impacto - Indicador de resultado: Se obtiene de beneficiarios “potenciales” – tanto si recibieron la ayuda (beneficiarios reales) como si no. Información de Y (resultado) de grupo tratamiento – E(Y1) Realiza curso – (Grupo tratamiento) No realiza curso - (grupo de control)

- Indicador de resultado: Evaluación de impacto - Indicador de resultado: Se obtiene de beneficiarios “potenciales” – tanto si recibieron la ayuda (beneficiarios reales) como si no. Información de Y (resultado) de grupo tratamiento – E(Y1) Información de Y (resultado) de grupo de control – E(Y0) Realiza curso – (Grupo tratamiento) No realiza curso - (grupo de control)

- Indicador de resultado: Evaluación de impacto - Indicador de resultado: Se obtiene de beneficiarios “potenciales” – tanto si recibieron la ayuda (beneficiarios reales) como si no. Información de Y (resultado) de grupo tratamiento – E(Y1) Información de Y (resultado) de grupo de control – E(Y0) Realiza curso – (Grupo tratamiento) No realiza curso - (grupo de control) Efecto del Tratamiento Δ = E(Y1) – E(Y0 )

Evaluación de impacto Entonces esto consiste en: (aislar efecto X  Y) Con un ejemplo para ilustrar (X: curso capacitación, Y:salario) Individuo tratamiento

Evaluación de impacto Entonces esto consiste en: (aislar efecto X  Y) Con un ejemplo para ilustrar (X: curso capacitación, Y:salario) Individuo tratamiento individuo de control

Evaluación de impacto Entonces esto consiste en: (aislar efecto X  Y) Con un ejemplo para ilustrar (X: curso capacitación, Y:salario) Individuo tratamiento individuo de control ¿¿¿De que depende la diferencia salarial? De hacer el curso (X)?? O de las otras variables???

Evaluación de impacto Entonces la solucion es aislar efecto X  Y, como?? Utilizando “Similares”!!!

Evaluación de impacto Entonces la solucion es aislar efecto X  Y, como?? Utilizando “Similares”!!! Con un ejemplo para ilustrar (X: curso capacitación, Y:salario) Individuo tratamiento

Evaluación de impacto Entonces la solucion es aislar efecto X  Y, como?? Utilizando “Similares”!!! Con un ejemplo para ilustrar (X: curso capacitación, Y:salario) Individuo tratamiento individuo de control El efecto final es de 400euros!! (y no los 1000euros iniciales)

Evaluación de impacto Fundamental: Saber que se va a evaluar Estadísticas de resultados “oficiales” - del INE o ministerios Preguntar lo “mismo” a los beneficiarios Técnica de evaluación: En la realidad no resulta tan sencillo generar el grupo de “tratamiento” y de “control” ¿Por que? Sesgo de Selección

Técnicas de evaluación de impacto Diseño experimental (no problemas de sesgo): Diferencia de medias. Diseño cuasi-experimental (sesgo de selección): Diferencia en diferencias (dif in dif) Métodos de emparejamiento (PSM) Variables instrumentales Regresión en discontinuidad

Evaluación de impacto Método de dobles diferencias (dif in dif) compara el grupo de tratamiento frente al grupo de control antes y después de la intervención Se calcula la diferencia de los valores medios de las variables de interés entre el "después" y "antes" para cada uno de los grupos de tratamiento y de control. Finalmente se obtiene la diferencia entre estas dos diferencias de medias.

La elección del método de evaluación depende de: Evaluación de impacto La elección del método de evaluación depende de: La naturaleza del problema a estudiar, El tipo y la calidad de los datos disponibles, El mecanismo por el cual los individuos se asignan o no al tratamiento (sesgo de selección)

Gracias por su atención! Ignacio Moral – Arce Instituto de Estudios Fiscales Email: ignacio.moral@ief.minhap.es