Metodología de Evaluación y Seguimiento de las Intervenciones Estructurales de la Política Regional de la Unión Europea Rubén Garrido Yserte Juan R. Cuadrado Roura Universidad de Alcalá Instituto Universitario de Análisis Económico y Social - SERVILAB

La evaluación: aspectos esenciales ¿Qué es evaluar? VALORAR la calidad de las intervenciones públicas. POR TANTO NO ES FISCALIZACIÓN Resultados netos obtenidos (impactos) Desviaciones registradas sobre los objetivos previstos (eficacia) Coste relativo de la eficacia (eficiencia) ¿Qué beneficios? Claridad en la administración de recursos Aumento de la “cultura” democrática Anglosajona versus latina Ha sido una de las aportaciones importantes de la PRC

La evaluación: aspectos esenciales Tipos de evaluación: La UE ha optado por un primer criterio ‘temporal’: 1) Ex ante (previa): sobre la selección de estrategia, objetivos (cuantificación), instrumentos, costes del programa. Fuerte contenido prospectivo 2) On going (seguimiento): a mitad del período (3 a., con posible ‘puesta al día’ en el 4º año). Atención al nivel de ejecución, grado de cumplimiento objetivos, detección de errores en la programación. Finalidades: a) corregir desviaciones o errores con tiempo suficiente… todavía, y b) recoger información para la evaluación ex post. 3) Ex post (a posteriori). Valoración final de los resultados (año siguiente al Programa), impacto, eficacia, eficiencia. Fuerte contenido retrospectivo. Enfoques básicos: macro (modelos de impacto) micro (estudio de casosseleccionados)

Fases de la Evaluación Evaluación previa: Asegurar la evaluabilidad de la programación. Asegurar la integración de los principios horizontales. Se apoya en el Programa:pertinencia y previsiones. Evaluación intermedia: Se apoya en el seguimiento (realizaciones). Previene desviaciones del Programa y ayuda a su corrección. Evaluación posterior: Se apoya en la ejecución definitiva (financiera y física). Atiende a la estimación del impacto.

Evaluación por etapas Cuatro etapas con objetivos diferenciados: Análisis de la puesta en marcha del programa  Valoración de la calidad del diagnóstico y de la programación. Técnicas: entrevistas con planificadores; análisis de los programas: estrategia, diagnóstico, justificación de las intervenciones; objetivos, etc. Análisis de los resultados p/.beneficiarios. Técnicas: análisis de expedientes administrativos; encuestas a beneficiarios; estudios especiales (coste-beneficio…). Es importante diferenciar entre indicadores físicos (ej. km. autovía construídos); indicadores de resultados (ej. ahorro de tiempo viajes); e indicadores de impacto (ej. mejora accesibilidad del territorio) Análisis eficacia y eficiencia de las intervenciones: Comparación entre objetivos previstos y resultados; análisis del coste de los resultados (resultados : recursos). Restricción: existencia de información admtva. O de recursos para suplirla. Análisis del impacto socioeconómico intervención: Impacto macro del total intervenciones. Técnicas muy variadas: TI-O, modelos econométricos, análisis factorial,… Restricción: información disponible Conclusión: tarea compleja, costosa en tiempo, pero IMPRESCINDIBLE.

Metodología: Documentos de trabajo Documentos elaborados por la Comisión para guiar el proceso de programación y evaluación de los programas cofinanciados con Fondos Europeos http://europa.eu.int/comm/regional_policy/sources/docgener/evaluation/evaluation_en.htm

La Evaluación Previa Objetivo de la evaluación previa en el contexto de las políticas estructurales. Componentes clave de la evaluación previa. Aspectos prácticos de la evaluación previa. Anexo I: Modelización macroeconómica de los impactos de los principales planes del Objetivo nº 1 en el contexto de la evaluación previa. Anexo II: Recursos humanos. Anexo III: Estudio de impacto ambiental. Anexo IV: Estudio del fomento de la igualdad de oportunidades para hombres y mujeres. Anexo V: Estudio de los grandes proyectos. Anexo VI: Documentos. La evaluación previa de las intervenciones de los Fondos Estructurales (documento de trabajo 2). Comisión Europea. Dirección General REGIO

Los Indicadores Disposiciones reglamentarias y marco de programación. Programación de las intervenciones de los Fondos Estructurales e indicadores de programa, eficacia, eficiencia y rendimiento. Elaboración de los sistemas de indicadores. Aplicación de los indicadores de seguimiento. Indicadores clave, indicadores de rendimiento y lista de indicadores. Resolución de los problemas derivados de la utilización de indicadores. Anexos: Ámbitos de intervención e indicadores de seguimiento y evaluación. Indicadores de Seguimiento y Evaluación: orientaciones metodológicas (documento de trabajo 3). Comisión Europea. Dirección General XVI.

La Lógica de las Intervenciones

Algunos conceptos claves de la evaluación Pertinencia: ¿en qué medida los objetivos del programa son pertinentes en relación con la evolución de las necesidades y las prioridades a escala nacional y comunitaria?. Eficiencia: ¿cómo se transformaron los recursos en realizaciones y resultados?. Eficacia: ¿cuál ha sido la contribución del programa a la consecución de los objetivos globales y específicos?. Utilidad: ¿qué impacto ha tenido el programa en la satisfacción de las necesidades de los grupos o poblaciones a los que se dirigía?. Durabilidad: ¿en qué medida se espera que los cambios o beneficios del programa se mantengan una vez finalizado el mismo?.

¿Qué solicita la Comisión en materia de evaluación? Análisis de los resultados de la evaluación anterior (si la hay) Análisis dirigido a establecer si la evaluación previa sigue siendo válida en lo que se refiere a las ventajas, desventajas y potencial del Estado, región o sector beneficiarios Confirmación de la pertinencia y coherencia de la estrategia Cuantificación de los objetivos, realizaciones, resultados e impactos Evaluación de la eficacia y de la eficiencia hasta el momento, así como de los efectos socioeconómicos previstos, con vistas a una evaluación de la política y a la asignación de los recursos financieros Calidad de la ejecución y de los sistemas de seguimiento La reserva de eficacia Valor añadido comunitario

¿Cómo dar respuesta al marco conceptual elaborado por la Comisión? Abordar el conjunto de obligaciones con una respuesta Integral y Continua: Sistemas de Seguimiento y Evaluación Continuos DESARROLLAR SISTEMAS DE SEGUIMIENTO CONTINUO

¿Cuáles son los objetivos principales del Sistema de Seguimiento Continuo? Proporcionar información sobre los resultados financieros y físicos de las intervenciones en curso Mejorar la eficacia y eficiencia en la programación y gestión de las intervenciones Mejorar la calidad de los informes exigidos por la Comisión Facilitar el trabajo de los Coordinadores, Gestores y Evaluadores En definitiva, ser una herramienta de conocimiento y gestión política integrada en las tareas diarias de la Administración

SISTEMA DE SEGUIMIENTO CONTINUO EQUIPOS DE INVESTIGACIÓN Y EVALUACIÓN Esquema de distribución de las tareas básicas de seguimiento y de evaluación UNIDAD DE GESTIÓN INDICADORES DE LAS ACTUACIONES sobre todo de ejecución financiera, realizaciones y resultados UNIDAD COORDINADORA INDICADORES DEL CONTEXTO SOCIOECONÓMICO Y AMBIENTAL SISTEMA DE SEGUIMIENTO CONTINUO EQUIPOS DE INVESTIGACIÓN Y EVALUACIÓN INDICADORES DE IMPACTO ANÁLSIS DE PERTINECIA Y COHERENCIA INFORMES EVALUACIÓN R. DE EFICACIA

¿Cuáles son los inputs necesarios para el seguimiento continuo y la evaluación? Definir el organigrama de la Administración Definir las acciones (CPO) Definir los indicadores de seguimiento (realización y resultado) Definir los indicadores de evaluación (impacto) Definir los indicadores del contexto Definir los indicadores específicos (Medio Ambiente, Igualdad de Oportunidades) Resultado del análisis DAFO (PO –CPO) Árbol de Objetivos Vincular la asignación presupuestaria

Outputs esperados del seguimiento continuo y de la evaluación Seguimiento de recursos financieros Seguimiento de las realizaciones Respeto otras políticas comunitarias Sinergias con otras políticas regionales nacionales Participación en los objetivos estratégicos Análisis de la Pertinencia con el diagnóstico Análisis de Coherencia de la Estrategia (Sinergias) Valoración de la cuantificación de objetivos Valoración de la Eficacia y la Eficiencia Criterios de selección de acciones Calidad de la ejecución y de los sistemas de seguimiento La Reserva de Eficacia Estimación de impactos

Plan de Desarrollo Regional Marco Comunitario de Apoyo Programas Operativos Complemento de Programa Ejes Medidas Documento Único de Programación