Seguimiento y Evaluación de Políticas Públicas

Presentación del tema: "Seguimiento y Evaluación de Políticas Públicas"— Transcripción de la presentación:

1 Seguimiento y Evaluación de Políticas Públicas

2 Sistema de Seguimiento
Definición, importancia y características de un sistema de seguimiento Gestión Integral de Proyectos: Enfoque del Ciclo de Vida Elementos del seguimiento Ámbitos Niveles Responsabilidad del seguimiento Periodicidad del seguimiento Instrumentos. Indicadores Calidad Tipología Ejercicios prácticos

3 Definición de Seguimiento
Consiste en la recopilación sistemática de información sobre lo realizado y sus resultados, tanto en su vertiente física como financiera, para comprobar el avance del programa o proyecto Diferencias entre evaluación y seguimiento EVALUACIÓN Emitir juicios críticos sobre la validez, bondad y utilidad de la intervención Se puede realizar tanto internamente como por evaluadores externos Conclusiva SEGUIMIENTO Información aislada sobre el progreso de los elementos del Programa En principio, se debe realizar internamente por la gestores del plan o proyecto Informativa

4 Importancia del Seguimiento
Conocer quién hace qué y cómo y determinar los procedimientos que se han institucionalizados para la gestión y ejecución de las actuaciones Obtener la información con la calidad, agregación organización y estructuración que, al inicio, a medio camino y una vez finalizado el programa, será necesaria para evaluar su impacto, su eficacia y eficiencia. Describir la evolución de las actividades del programa, estableciendo criterios sobre la marcha de la intervención a través de índices y ratios de acuerdo con un esquema y secuencia predeterminados (ruta de análisis). Identificar los puntos críticos en la gestión y ejecución, permitiendo detectar problemas y alertar a los/las responsables sobre los riesgos de implantar un programa distinto del diseñado, facilitando la toma de decisiones sobre las acciones correctivas a emprender.

5 Características de un sistema de seguimiento
Deber estar integrado coherentemente con la estructura organizativa de los órganos gestores y ejecutores del plan o programa ya que es: Una labor eminentemente administrativa Y existe un estrecho vínculo con la gestión de proyectos Deber ser fiable, ágil, oportuno y eficaz, de manera que contribuya a la gestión diaria de los proyectos y actuaciones Debe considerar las necesidades informativas de los agentes que participan o están afectados por el proyecto o programa Debe abarcar todos los aspectos (ámbitos y niveles) de los proyectos y programas Debe contar con los recursos necesarios (humanos, materiales y financieros) para que se realice en tiempo, coste y calidad.

6 Seguimiento y Evaluación
Gestión integral de un proyecto Indicaciones para la programación: Principios generales y directrices a seguir para el desarrollo de los proyectos Líneas de actuación Resultados e Impactos Efectos provocados por el programa sobre la realidad que se pretende transformar Planificación: Formulación de programas en términos de problemas/objetivos/ resultados/ actuaciones Análisis de coherencia de los programas con otros programas Seguimiento y Evaluación Ejecución/Gestión: Ejecución y Gestión de los proyectos sobre la base de los recursos disponibles Diseño de la Implementación: Diseño del sistema para la puesta en marcha de las actuaciones

7 Funciones del Proceso de Gestión de Proyectos
Planificación Organización Motivación Dirección Evaluación ¿qué queremos lograr y porqué? ¿quién está involucrado y porqué? ¿qué hace que la gente tenga mejor desempeño? ¿quién decide qué y cuándo? ¿quién evalúa los resultados y sobre qué estándares? Desarrollar los objetivos y alcance del proyecto Establecer la relación lógica de las actividades y fechas del proyecto a través de diagramas Desarrollar un calendario de tiempos Planear los recursos necesarios para el proyecto Establecer la estructura organizacional del equipo Identificar y asignar los roles a las personas del equipo Definir las políticas, procedimientos y técnicas de la administración de proyectos Establecer los estándares de desempeño del equipo de trabajo Determinar las necesidades de las personas del equipo Analizar los factores que motiva a la gente para hacer el mejor trabajo Proporcionar asesoría para apoyar la efectividad y satisfacción del equipo Establecer un programa de reconocimiento para los/las integrantes del equipo Dar autoridad al líder para la asignación de recursos Ejercer un estilo de liderazgo de acuerdo a las necesidades del proyecto Fortalecer las habilidades interpersonales Fomentar la participación de la gente en la administración del proyecto Toma de decisiones efectivas promoviendo el consenso del equipo de proyecto y la organización funcional Seguimiento de los costes, calendario y estándares de desempeño Evaluación del Plan y toma de decisiones Establecer un sistema de información para la administración del proyecto Informar oportunamente sobre desviaciones o riesgos del proyecto

8 Elementos del sistema de seguimiento
Ámbitos Elementos a evaluar del sistema de seguimiento Niveles Instrumento de seguimiento Criterios Responsabilidad Periodicidad INDICADORES: Fichas biográficas Cuestionarios Guiones de entrevistas

9 Ámbitos del seguimiento
Criterios específicos para definir los indicadores Ejecución de las actuaciones Seguimiento cuantitativo y cualitativo de lo realizado (físico y financiero) en función de la ruta de análisis de los proyectos o programas Todos los aspectos clave deben tener un indicador relevante Los indicadores deben permitir el análisis de la lógica de la planificación Análisis de la población diana u objetivo del plan o programa Análisis cuantitativo y cualitativo del grado de cobertura del plan o programa (adecuación del programa a la población beneficiaria) Delimitación conceptual de la población objetivo y sus características Medición de la participación de la población objetivo Población objetivo Promoción y difusión Coordinación y comunicación Calidad y capacidad de los recursos Eficiencia de los mecanismos Necesidades de información, coordinación y comunicación de diversos agentes (descentralización) Dotación de medios, en cantidad y calidad Gestión

10 Ámbitos del seguimiento
Criterios específicos para definir los indicadores Contexto Datos demográficos Contexto económico: indicadores de empleo, producción y renta, etc. Contexto social, político e institucional Todos los aspectos clave deben tener un indicador relevante Diferencia entre indicadores del plan e indicadores de contexto Normativa y otros planes y políticas Legislación Directrices Intervenciones públicas en el mismo entorno y período temporal Medir grado de cumplimiento de la normativa legal aplicable (local, regional, nacional y comunitaria) Analizar la sinergia con las directrices y guías Evaluar la coherencia externa con otras intervenciones públicas

11 Niveles de seguimiento
Programa Medida Acción Proyecto Impacto global Impacto específico Resultado Realización S S S

12 Responsabilidad del seguimiento
Responsabilidad del seguimiento del PMVS Seguimiento interno: ÓRGANOS DECISORES CENTROS GESTORES UNIDADES ADMINISTRATIVAS O EMPRESAS Conjunto del programa: CONVENIOS/ PLAN Gestión: MEDIDAS Ejecución de obra: ACCIONES Secretaría de Seguimiento del PAVS Delegación Provincial Delegación Municipal EPSA GU EMVISESA Promotores privados y/o cooperativas Delegación Municipal de Juventud y Deportes Constructoras COORDINADOR GENERAL DE LA INFORMACIÓN Constituye una tarea propia e inseparable de la gestión El/la técnico o gestor tiene la obligación, el derecho y la facilidad de acceder a la información necesaria El/la técnico o gestor conoce el programa, su origen, desarrollo y conclusión

13 Tareas y responsabilidades
Responsabilidad del seguimiento Definición de tareas y responsabilidades Tareas y responsabilidades Órganos Decisores Centros Gestores Unidades Administrativas Unidades Administrativas

14 Periodicidad del seguimiento
Registro: La recogida de información sobre el desarrollo de las acciones debe ser continua y automática, tras su finalización Análisis: Los plazos anuales fijados presupuestariamente para la ejecución del Plan Las reuniones de las Comisiones de Seguimiento Por fases del proceso: Tras la finalización de cada paso clave del proceso es el momento idóneo para la revisión de los indicadores que miden la marcha de la ejecución de las acciones Informe de Seguimiento

15 Periodicidad y responsable
Instrumentos: indicadores Los Indicadores traducen los objetivos en metas cuantificables. La definición de indicadores requiere de un proceso que implica: Ruta de análisis Formulación Unidad Periodicidad y responsable Fuente Categoría de actuación Categoría de las medidas Proyecto Área temática Nº de… Fecha de… Colectivos beneficiarios de… Lugar donde… Socio que… Numérica Descriptiva Valorativa A los 3 semestres A la finalización de los proyectos Técnicos/as Evaluador/a externo Primaria Secundaria Lo más importante en el diseño de indicadores es vincularlos a los objetivos

16 Calidad de los Indicadores
Instrumentos: indicadores PERTINENCIA Y RELEVANCIA: medir los elementos más significativos del Programa Calidad de los Indicadores UNICIDAD: debería medir un solo aspecto EXACTITUD Y CONSISTENCIA: suministrar medidas exactas y proporcionar las mismas mediciones ante mismos procedimientos OBJETIVIDAD: reflejar hechos y no impresiones subjetivas FÁCILES DE INTERPRETAR ACCESIBILIDAD: basarse en datos fácilmente disponibles y a un coste aceptable COMPARABLES: espacial y temporalmente

17 Tipología de indicadores
INDICADORES DE SEGUIMIENTO Indicadores de otros planes Indicadores del marco legal Indicadores de contexto Indicadores Complementarios Indicadores de Base Indicadores de gestión Indicadores de población diana Indicadores de ejecución INDICADORES DE EVALUACIÓN

18 Tipología de indicadores: definición
Indicador de Realización Miden la ejecución física y financiera de las distintas medidas que encuadran los programas. Los indicadores físicos tienen un carácter cuantitativo, acerca del avance o ejecución de cada medida, mientras que los financieros recogen los gastos realizados en el transcurso de la ejecución de éstas Km. de carreteras construidos, nº de empresas que han recibido ayuda financiera..... Indicador de Resultados Representan los efectos directos e inmediatos causados por un programa. Proporcionan información acerca de los cambios que afectan al comportamiento de los beneficiarios directos. También pueden ser de carácter material (reducción del tiempo de un trayecto, nº de personas que han tenido acceso a la formación) o financiero (inversión inducida por el sector privado, descenso en el coste del transporte) Indicador de impactos Representa consecuencias las del programa más allá de los impactos inmediatos en sus beneficiarios directos: Aumento del empleo femenino tras el 1 año (% de aumento o disminución)

19 Indicadores de base y complementarios
Cuadro de Indicadores Realización Resultado Eficacia Eficiencia Físicos Km. construidos Disminución del tiempo de transporte Nº Km. construidos/nº km. previstos Km. construidos en relación al tiempo Financieros Gastos realizados Disminución coste de transporte Gasto real/gasto previsto Nº Km. construidos en relación al coste

20 Fichas de Seguimiento CRITERIOS
Asegurar que en las fichas existe una correspondencia de los indicadores con los ámbitos y niveles diseñados para el sistema de seguimiento y validados en las mesas de trabajo. Asegurar que en las fichas existe una correspondencia entre los indicadores y las fases claves del proceso de ejecución del Plan. CRITERIOS

21 Fichas de Seguimiento: implementación
FASE 1 Verificación de fichas de seguimiento: Pruebas piloto Recopilación de información por el equipo de evaluación con el objeto de realizar un primer acercamiento a las fichas y depurar disfuncionalidades del diseño, previamente a su aplicación definitiva en los centros gestores. Acceso a los datos: Fuentes primarias Información que se obtendrá mediante la investigación directa (entrevistas y encuestas a promotores públicos y privados de cada promoción y a beneficiarios). Fuentes secundarias Información que se obtendrá de estadísticas, documentos y datos ya publicados. Otras Ambas fuentes o una de ellas, dependiendo de la accesibilidad de los datos. FASE 2 Implantación del sistema de seguimiento en centros gestores Capacitación de recursos humanos de los centros gestores para rellenar la fichas. Cambio del soporte de las fichas biográficas a soporte informático: Base de datos. Funcionamiento continuo del sistema de seguimiento en los centros gestores.

22 Fichas de Seguimiento: ejemplo Plan de Vivienda

23 Ruta de Análisis: Procesos
PLANEAMIENTO URBAN Í STICO SISTEMAS DE GESTI Ó N ELABORACI N DE PROYECTOS LICITACI N DE OBRAS EJECUCI ADJUDICACI N A BENEFICIARIOS CONTRATO COMPRA - VENTA Y ENTREGA DE LLAVES CONTROL DE USO ESTRUCTURA PROCEDIMENTAL ORGANIZACIONAL COPT GMU COPT/ EPSA GMU/EMVISESA EPSA Promotores Privados COPT/EPSA EMVISESA Constructoras GAESCO Entidades Financieras 1 2 4 5 6 7 8 9 OFERTA P Ú BLICA Y CESI N DE SUELO 3 PLANEAMIENTO URBANÍSTICO SISTEMAS DE GESTIÓN ELABORACIÓN DE PROYECTOS LICITACIÓN DE OBRAS EJECUCIÓN DE OBRAS ADJUDICACIÓN A BENEFICIARIOS CONTRATO COMPRA-VENTA/ALQUILER POST VENTA GU GU/EMVISESA OFERTA PÚBLICA Y CESIÓN DE SUELO FASE 1: Planeamiento y gestión FASE 2: Cesión / oferta SISTEMA DE SEMÁFORO FASE 3: Ejecución de obras Del mismo modo, todo el diseño de los indicadores está relacionado con las 9 fases y se han agrupado en cinco grandes bloques que por sus características engloban aspectos de una misma temática, y que nos permitirá localizar la promoción. De esta forma, también se facilitará la recogida de información sin que suponga una carga añadida de trabajo. La primera fase, a la que hemos denominado planeamiento y gestión, engloba, como su nombre indica las dos primeras fases del proceso urbanístico, ya que abarca trámites exclusivos con la preparación del suelo para su edificación. La segunda, oferta pública y cesión de suelos, se ha considerado de forma independiente debido a que supone un trámite intermedio y necesario entre las acciones de suelo y las siguientes, las de vivienda, se trata de un puente entresuelo y vivienda. Además, tradicionalmente, en años anteriores, se han centrado en ella los principales cuellos de botella. En la tercera, la ejecución de obras, engloba lo que se consideran acciones de vivienda, es decir, la elaboración de proyectos, la licitación de obras y la ejecución de las obras. Teniendo en cuenta que alguna de ellas no son imprescindibles para promotores privados como la licitación de obras. La cuarta fase, ha sido denominada entrega de viviendas ya que incluye todos los trámites correspondientes para que el beneficiario reciba la vivienda, la adjudicación y la entrega de llaves. Y finalmente se ha considerado el control de uso de la vivienda de protección que incluye el periodo en que la vivienda se encuentra bajo la tutela de la administración. Esta clasificación, nos permitirá ubicar la situación de las promociones en el proceso temporal mediante el Sistema de Semáforos, el cual se trata de un conjunto de indicadores temporales establecidos a lo largo del proceso de ejecución que reflejará la adecuación o desviación, de forma automática, con relación a la planificación. Este sistema procede de la siguiente forma: el color “verde” significa que se va de forma adecuada en tiempo, coste y calidad, el “amarillo” que la marcha está retrasada y el “rojo” que hay dificultades graves que pueden impedir la ejecución FASE 4: Entrega de viviendas FASE 5: Seguimiento y control post-entrega

24 Ejemplo de ruta de análisis e indicadores
EPSA EMVISESA Promotores Privados y/o Cooperativas Entidades Financieras EPSA GU EMVISESA Promotores Privados y/o cooperativas COPT GU COPT GU GU COPT EPSA EMVISESA Constructoras Promotores privados y/o cooperativas ÓRGANOS IMPLICADOS EPSA EMVISESA FASES DEL PROCESO PLANEAMIENTO URBANÍSTICO SISTEMAS DE GESTIÓN TRANSMISIÓN DE SUELO ELABORA-CIÓN DE PROYECTOS LICITACIÓN DE OBRAS EJECUCIÓN DE OBRAS ADJUDICACIÓN A BENEFICIARIOS CONTRATO COMPRA-VENTA O ALQUILER SEGUIMIENTO Y CONTROL POST ENTREGA INDICADORES Fecha clasificación del suelo Fecha concluido sistema de gestión Fecha de Oferta Pública y/o Cesión gratuita Fecha obtención licencia de obras Fecha de Obtención calificación provisional Fecha primera piedra Fecha publicación lista definitiva Fecha firma de contratos Nº de denuncias No urbanizable Propio Proyecto de edificación Sorteo Entrega de llaves Urbanizable Expropiación Anteproyecto Contratación Compensación Proyecto básico Baremo Urbano Certificados de obra Escritura pública Cooperación Proyecto de ejecución

25 Ejemplo de características población objetivo
Beneficiario/a tipo Sexo Mujeres Situación laboral Ocupados/as Hombres Desempleados/as Edad Menos de 25 años Antigüedad en el paro Menos de 6 meses Entre 25 y 50 años Entre 6 y 12 meses Más de 50 años Entre 1 y 2 años Discapacidades Sin discapacidad Más de 2 años Con discapacidad Estudios universitarios Sin estudios Nacionalidad Nacionalidad española Estudios primarios Otras Estudios secundarios obligatorios Discriminaciones Estudios secundarios Raza o etnia

26 % sobre el total de beneficiarios/as
Ejemplos de cobertura de un Plan o programa Área Temática Número de beneficiarios/as % sobre el total de beneficiarios/as H M Total Inserción y reinserción 81 426 507 8,23 Lucha contra el racismo y la xenofobia 16.955 5.435 22.390 88,25 17.036 5.861 22.897 72,62 Habitantes en edad de emancipación por VPO de nueva planta programada en el período por los Acuerdos firmados entre la COPT y los ayuntamientos de los municipios andaluces con más de habitantes

27 Necesidades informativas
Unidad Administradora del Fondo Social Europeo Servicio Andaluz de Empleo Necesidades informativas Entidad Clave de la Agrupación de Desarrollo ¿Debería existir una entidad gestora que coordinadora y que validara la información, además del SAE? ¿Creéis que esta medida agilizaría o complicaría la recogida de información? ¿Sería necesaria una descentralización en la gestión, coordinación y validación del sistema e seguimiento? ¿Qué otros mecanismos de coordinación pueden mejorar el sistema? Entidades gestoras de las acciones

28 Enlaces entre los indicadores de contexto y los indicadores del Plan
FACTORES EXÓGENOS CAMBIO GLOBAL Efectos indirectos del Plan/ Impactos Efecto directos del Plan/ Resultados Ejecución del Plan Dificultades para ajustar el Plan y los indicadores de contexto Indicadores del Plan relacionados con la ejecución y sus efectos Indicadores de contexto de la zona objeto de intervención Inversión generada en el mercado inmobiliario Viviendas VPO realizadas Aumento parque total de viviendas Tasa aumento de inversión privada en Sevilla Nº de personas que necesitan vivienda en Sevilla Nº de viviendas adjudicadas por el Plan

29 Innovación en el proceso Innovación en el objetivo
Evaluación del cumplimiento de las de una directriz de Innovación Baja Media Alta Innovación en el proceso Innovación en el objetivo Inserción y reinserción Creación de empresas Conciliar la vida familiar y profesional Reducir los desequilibrios de género Adaptabilidad Lucha contra el racismo y la xenofobia

30 Niveles de seguimiento de un Plan de Vivienda
EJECUCIÓN GESTIÓN POBLACIÓN NORMATIVA EJECUCIÓN GESTIÓN CONTEXTO S INDICADORES CONVENIOS/ PLAN PROGRAMAS MEDIDAS ACCIONES AGREGACIÓN NIVELES ÁMBITOS Suelo: Preparación Vivienda: Venta y alquiler Regímenes de protección Promociones

31 Niveles de seguimiento de un Plan de Vivienda
Criterios de agregación de información para los niveles de seguimiento de un Plan de Vivienda ACTUACIÓN GU EMVISESA EPSA COPT Promotores privados y/o cooperativas Clasificación del Suelo Programación temporal MEDIDA PROGRAMA Localización Características de las viviendas (superficie y precio) CENTRO MACARENA NERVIÓN ESTE SUR TRIANA CONVENIO/PLAN