Valencia, 1 al 5 de julio de 2013. Introducción. Implementación de la técnica Delphi. Selección de indicadores. Sistema Básico de Indicadores para la.

Presentación del tema: "Valencia, 1 al 5 de julio de 2013. Introducción. Implementación de la técnica Delphi. Selección de indicadores. Sistema Básico de Indicadores para la."— Transcripción de la presentación:

1 Valencia, 1 al 5 de julio de 2013

2 Introducción. Implementación de la técnica Delphi. Selección de indicadores. Sistema Básico de Indicadores para la evaluación y el seguimiento de la ECD. Implementación de la técnica Delphi. Selección de indicadores.

3 El Documento de Estrategia Sectorial-Cultura y Desarrollo (DES-C) (AECID, 207) Línea EstratégicaObjetivo principal Formación Formación de capital humano para la gestión cultural con énfasis en proyectos de cultura y desarrollo. PolíticaDimensión política de la cultura en su contribución al desarrollo. Economía Dimensión económica de la cultura en su contribución al desarrollo. EducaciónRelación y complementariedad entre Educación y Cultura. PatrimonioGestión sostenible del Patrimonio Cultural para el desarrollo. Comunicación Relaciones entre Comunicación y Cultura con impacto en el desarrollo. Derechos Culturales Impulso a los procesos de reconocimiento de los Derechos Culturales.

4 Año 2007. La AECID promueve un proceso de construcción de indicadores para evaluar la implementación de la ECD. Año 2009. Cómo evaluar proyectos de cultura para el desarrollo (AECID, 2009). Diseño de una metodología de trabajo para la creación de indicadores de evaluación y la definición de un total de 312 indicadores culturales para la evaluación de las acciones de cultura y desarrollo implementadas en el marco de la ECD. Años 2009-2010. Continuó el proceso de diseño de un sistema de indicadores.

5

6 Linston y Turoff (1975) definen la técnica Delphi as a method for structuring a group communication process so that the process is effective in allowing a group of individuals, as a whole, to deal with a complex problem. Anonimato de los participantes. Ningún miembro del panel de expertos debe conocer quiénes son los otros integrantes del grupo. Iteración y realimentación controlada. se consigue al presentar en sucesivas rondas el mismo cuestionario. Respuesta del grupo en forma estadística. En la respuesta final debe estar representada la opinión de todos y cada uno de los participantes y no sólo el punto de vista de la mayoría.

7 Fase final: estuvo orientada al tratamiento y análisis estadístico de la información recopilada y la realización de un informe final. Fase inicial: se formó el equipo encargado de la coordinación y supervisión del Delphi, se definió claramente el contexto y objetivo de la investigación, se seleccionaron los expertos y se confeccionó el catálogo de indicadores a someter a la evaluación. Fase exploratoria: comprendió el diseño de los diferentes cuestionarios a implementar en las sucesivas rondas, el seguimiento de su cumplimentación por parte de los participantes y el análisis de los resultados obtenidos en cada una de las rondas.

8 El Delphi es, en esencia, a series of sequential questionnaires or rounds, interspersed by controlled feedback, that seek to gain the most reliable consensus of opinion of a group of experts (Powell, 2003).

9 Dificultades encontradas en el proceso: Catálogo de indicadores a evaluar: Elevado número de indicadores a evaluar por cada experto. Puede afectar a la tasa de respuesta. Uso de una herramienta que: Permitiese manejar eficiente una gran cantidad de datos Facilitase su posterior tratamiento.

10 Diseño de cuestionarios online mediante LimeSurvey. Proporcionó las herramientas necesarias para realizar un seguimiento individualizado de la cumplimentación de los cuestionarios. Inactividad: Email a los expertos invitando a participar. Email personalizado recordando el objetivo del proyecto. Llamada telefónica para conocer los motivos de la no participación (sobrecarga de trabajo, extensión del cuestionario).

11 (i)indicadores procedentes de estadísticas publicadas por las Oficinas de Estadística y Ministerios de Cultura de los países socios de la cooperación española (ii)indicadores construidos a partir de variables relevantes recogidas en la Memoria de Actividades de la Dirección General de Relaciones Culturales y Científicas. El catálogo final de indicadores culturales que se somete a la evaluación de los expertos estuvo formado por un total de 508 indicadores. Catálogo inicial: 312 indicadores culturales para la evaluación de las acciones de cultura y desarrollo.

12 Línea estratégicaNúmero de expertos Formación 18 Política 17 Economía 17 Educación 19 Patrimonio 16 Comunicación 17 Derechos Culturales 12 Panel de expertos: Responsables de proyectos, directores y técnicos de los CEE, técnicos y directores de cultura de la DRCC, técnicos de la Dirección General de Planificación y Evaluación de Políticas de Desarrollo, expertos participantes en la primera etapa del proyecto, consultores independientes y universidades.

13 Rondas Delphi: La recopilación de datos se realizó mediante la cumplimentación de cuestionarios online diseñados con LimeSurvey. Cada indicador se evaluaba en una escala Likert de 7 puntos en base a tres criterios: Relevancia, Especificidad, Factibilidad

14 Relevancia: Grado de importancia y utilidad que tiene el indicador para medir potencialmente el fenómeno observado, posibilitando la toma de decisiones por parte del usuario. Especifidad: En qué medida la variación del indicador responde efectivamente a variaciones del fenómeno que se desea monitorizar y minimiza el efecto de factores exógenos en su variación. Factibilidad: Posibilidad de fijar un valor deseado para el indicador, es decir, en qué medida es posible asignar un objetivo cuantificable basado en el indicador evaluado.

15 Se realizaron dos rondas: Ronda 1. Duración de 3 semanas. Tasa respuesta: 70,69%. Ronda 2. Duración de 6 semanas. Cuestionarios, personalizados para cada experto Mantener la evaluación realizada en la ronda anterior Mostrar las principales medidas estadísticas (mediana y recorrido intercuartílico) de los resultados globales Permitir al experto mantener o modificar su valoración inicial al comparar ésta con la información estadística facilitada acerca de la respuesta del conjunto de expertos

16

17 Línea estratégica Cuestionarios cumplimentados Tasa de respuesta Formación1190% Política12100% Economía975% Educación1077% Patrimonio880% Comunicación1381% Derechos Culturales11100% Total7486% Tasa de respuesta respecto del total: 63,38%.

18 La aproximación metodológica al análisis de resultados del Delphi para la selección de indicadores que definirán el Sistema Básico se ha fundamentado en: La tipología de los indicadores. La definición de un índice sintético de operatividad relativa.

19 Tipología de los indicadores

20 Tipología de los indicadores del Sistema Básico Indicadores de recursos: permiten conocer la naturaleza y cuantía de los factores que directa o indirectamente se utilizan para llevar a término una intervención para alcanzar el propósito especificado en el proyecto. Indicadores de proceso: permiten medir la realización de acciones, procesos, actividades o actuaciones programadas a partir de los recursos disponibles. Indicadores de producto: aportan información acerca de la cantidad y calidad de producto, bienes o servicios que se generan a partir de las actividades programadas, los procesos realizados o las acciones implementadas.

21 Índice de operatividad relativo IOR(I j ) = (w R R j + w E E j + w F F j ) Para un indicador cualquiera del sistema, denotado por I j, la formulación general del índice de operatividad relativa IOR(I j ) puede escribirse como: Determinación de las ponderaciones: Análisis Multivariante. Pesos fijos para cada criterio basado en el valor modal dado por los expertos.

22 Restricción: Todas las acciones prioritarias incluidas en las diversas líneas estratégicas consideradas aporten indicadores a la selección. Selección de indicadores basada no sólo en el valor del IOR sino también, específicamente, en las puntuaciones asignadas por los expertos con respecto al criterio de factibilidad Establecimiento de un valor mínimo o umbral de factibilidad diferente por actuación prioritaria que delimita qué indicadores son los más factibles.

23 El umbral de factibilidad, que es específico para cada actuación prioritaria, se define de manera que permita retener al menos dos indicadores entre los correspondientes a cada actuación prioritaria. Actuación prioritaria Factibilidad promedioUmbral de factibilidad Número indicadores MáximoMínimo AP-15,453,905,22 AP-25,453,905,22 AP-35,273,905,12 AP-45,094,274,92 Umbrales de factibilidad en la línea estratégica: Derechos Culturales.

24 Para cada actuación prioritaria se seleccionan los dos indicadores con Índice de Operatividad Relativo (IOR) más elevado entre aquellos que superan el umbral de factibilidad calculado para la actuación prioritaria. Sistema Básico de Seguimiento y Evaluación Integrado por un total de 80 indicadores

25 códigoIndicadorIOR B73Variación porcentual de estudios realizados sobre legislación cultural que promueva el respeto de los derechos culturales5,295 B74 Variación porcentual de países socios cuyas autoridades participan oficialmente en foros internacionales vinculados con los derechos culturales 5,114 B75 Variación porcentual de organizaciones del tercer sector dedicadas a la planificación, gestión y difusión de la cultura como instrumento de promoción del desarrollo sostenible 5,682 B76 Variación porcentual de poblaciones menores de 50.000 habitantes, beneficiarias de planes de equipamiento cultural en países socios 5,250 B77 Variación porcentual de convenios comerciales internacionales firmados por las autoridades españolas respetuosos con la convención para la diversidad cultural 4,995 B78 Variación porcentual de convenios y tratados comerciales firmados por las autoridades de los países en los que se ha intervenido que recogen explícitamente la convención para la diversidad cultural 5,341 B79 Variación porcentual de acciones para garantizar la igualdad de oportunidades en la participación en la vida cultural y asegurar la libertad de expresión y de comunicación, la acción cultural y la expresión de la creatividad 5,091 B80 Variación porcentual de la presencia en Centros Culturales de formas y expresiones no convencionales de cultura cotidiana, vinculadas a culturas minoritarias y a grupos tradicionalmente excluidos de la sociedad 5,205

26 Se han descrito las principales acciones desarrolladas orientadas a la obtención de un Sistema Básico para el seguimiento y evaluación de la Estrategia en Cultura y Desarrollo de la Cooperación Española. Este sistema, integrado por un total de 80 indicadores, se ha concebido como un instrumento práctico, manejable y selectivo atendiendo a los destinatarios potenciales del mismo, tanto responsables y técnicos que diseñan la estrategia como los agentes que participan en su implementación, incluyendo expresamente el personal de los Centros Culturales en el Exterior y de las Oficinas Técnicas de Cooperación.