La evaluación es un proceso sistemático mediante el cual se obtiene la información necesaria sobre los resultados, previstos o no, y el funcionamiento de un proyecto cultural para saber en qué medida se logran los objetivos y se desarrolla la producción, y poder tomar así las decisiones oportunas para reconducir dicho proyecto mediante la modificación de cualquiera de sus aspectos DEFINICIÓN:

MODELOS DE EVALUACIÓN: Evaluación por objetivos: la más utilizada Evaluación por objetivos: la más utilizada Evaluación centrada en las causas y consecuencias del proyecto Evaluación centrada en las causas y consecuencias del proyecto Evaluación realista: la más moderna Evaluación realista: la más moderna PUEDE SER: Evaluación previa: del planteamiento y definición del proyecto Evaluación previa: del planteamiento y definición del proyecto Evaluación intermedia: del proceso en que se desarrolla el proyecto Evaluación intermedia: del proceso en que se desarrolla el proyecto Evaluación final: después de llevar a cabo el proyecto Evaluación final: después de llevar a cabo el proyecto

¿POR QUÉ EVALUAMOS UN PROYECTO CULTURAL? Para mejorarlo: en su desarrollo actual o en futuros desarrollos Para mejorarlo: en su desarrollo actual o en futuros desarrollos Para justificar nuevas propuestas: que lo complementen o amplíen Para justificar nuevas propuestas: que lo complementen o amplíen Para extinguirlo: si no hay motivos de continuidad Para extinguirlo: si no hay motivos de continuidad

¿POR QUÉ NO EVALUAMOS UN PROYECTO CULTURAL? - El objetivo de un proyecto es su propia realización: la acción por la acción - Menosprecio de la evaluación: no hay tiempo….más adelante - No se crea un criterio riguroso, vale la percepción simple: autocomplacencia - Se desconoce la forma de llevar a cabo la evaluación - Existe miedo a los resultados: por qué se deben exponer y quedar expuesto - El resultado de la evaluación, aunque no sea bueno, no va a modificar el proyecto - Se contempla como algo externo que debe ser evaluado por otros agentes

¿QUÉ VENTAJAS TIENE EVALUAR UN PROYECTO CULTURAL? Reorientar y reforzar el proyecto en todo momento: para conseguir sus objetivos Reorientar y reforzar el proyecto en todo momento: para conseguir sus objetivos Mejorarlo en futuras ediciones Mejorarlo en futuras ediciones Generar nuevas ideas que den origen a nuevos proyectos Generar nuevas ideas que den origen a nuevos proyectos Obtención de datos objetivos ante terceros: patrocinadores Obtención de datos objetivos ante terceros: patrocinadores Apreciar y valorar en el equipo el trabajo realizado Apreciar y valorar en el equipo el trabajo realizado Imagen de seriedad y profesionalidad Imagen de seriedad y profesionalidad

¿QUÉ EVALUAMOS EN UN PROYECTO CULTURAL? El contexto: punto de partida correcto El contexto: punto de partida correcto Los objetivos o resultados: en qué medida se han conseguido (indicadores) Los objetivos o resultados: en qué medida se han conseguido (indicadores) El proceso: contrastar eficiencia con resultados obtenidos El proceso: contrastar eficiencia con resultados obtenidos Finalidad: impacto del proyecto Finalidad: impacto del proyecto ¿PARA QUIÉN SE REALIZA LA EVALUACIÓN? Para el exterior: evaluar los objetivos externos del proyecto Para el exterior: evaluar los objetivos externos del proyecto Para el equipo: objetivos externos, internos y de proceso Para el equipo: objetivos externos, internos y de proceso

¿QUIEN REALIZA LA EVALUACIÓN? A. El propio equipo Ventaja: simple y cómodaVentaja: simple y cómoda Inconveniente: se es juez y parteInconveniente: se es juez y parte B. Agentes externos al equipo, con o sin relación jerárquica Ventaja: más fiable en sus resultadosVentaja: más fiable en sus resultados Inconveniente: puede percibirse de forma negativa por el equipoInconveniente: puede percibirse de forma negativa por el equipo

EVALUACIÓN CUANTITATIVA / CUALITATIVA: A. Evaluación cuantitativa: Todo aquello que puede ser medible Todo aquello que puede ser medible Válida para comparaciones en el tiempo y en el espacio Válida para comparaciones en el tiempo y en el espacio Concreta y delimita el proyecto Concreta y delimita el proyecto No es fiable para medir hábitos o calidad de un proyecto No es fiable para medir hábitos o calidad de un proyecto Se emplean indicadores posibles de medir Se emplean indicadores posibles de medir B. Evaluación cualitativa: B. Evaluación cualitativa: Centro de interés: percepción general sobre un tema Centro de interés: percepción general sobre un tema Más sensible a las opiniones y a las actitudes que a las cifras Más sensible a las opiniones y a las actitudes que a las cifras Suele ser complementaria de la anterior Suele ser complementaria de la anterior Indicadores basados en opiniones, percepciones Indicadores basados en opiniones, percepciones

REALIZACIÓN DE LA EVALUACIÓN: Debe realizarse a lo largo de todas sus fases: planificación, desarrollo, ejecución y finalización. Debe realizarse a lo largo de todas sus fases: planificación, desarrollo, ejecución y finalización. Se utiliza: Evaluación continua: permanente, poco profunda, para ir realizando pequeños cambios. Información en tiempo real (efecto película)Evaluación continua: permanente, poco profunda, para ir realizando pequeños cambios. Información en tiempo real (efecto película) Evaluación final, definitiva: detecta el cumplimiento de objetivos y el funcionamiento de todos los elementos del proyecto (efecto foto)Evaluación final, definitiva: detecta el cumplimiento de objetivos y el funcionamiento de todos los elementos del proyecto (efecto foto) Fases: Diseño: se decide el tipo de evaluación, indicadores y medición, así como la temporización y responsables de cada actividadDiseño: se decide el tipo de evaluación, indicadores y medición, así como la temporización y responsables de cada actividad Descripción: recogida, ordenación y sistematización de la informaciónDescripción: recogida, ordenación y sistematización de la información Comparación: análisis y comparación de los datos con los parámetros establecidos en los objetivos del proyectoComparación: análisis y comparación de los datos con los parámetros establecidos en los objetivos del proyecto Proceso: estudio de las causas o cambios producidosProceso: estudio de las causas o cambios producidos Difusión: comunicación de los resultadosDifusión: comunicación de los resultados Toma de decisiones: si es necesario se cambia la orientación general del proyectoToma de decisiones: si es necesario se cambia la orientación general del proyecto

MÉTODOS GENERALES DE EVALUACIÓN Evaluación experimental: comparación entre un contexto donde se ha intervenido y otro donde no se ha hecho Evaluación experimental: comparación entre un contexto donde se ha intervenido y otro donde no se ha hecho Evaluación reflexiva: comparación de un mismo contexto antes y después de la intervención Evaluación reflexiva: comparación de un mismo contexto antes y después de la intervención Evaluación transversal: comparación entre diferentes contextos en los que se ha intervenido de manera igual o parecida Evaluación transversal: comparación entre diferentes contextos en los que se ha intervenido de manera igual o parecida Evaluación de opinión: mediante la opinión de expertos sin buscar datos comparativos concretos. Evaluación de opinión: mediante la opinión de expertos sin buscar datos comparativos concretos.

CRITERIOS DE EVALUACIÓN: Eficacia: comprobar en qué medida se han logrado los objetivos Eficacia: comprobar en qué medida se han logrado los objetivos Eficiencia: comprobar los resultados en relación a los recursos humanos, de infraestructura y económicos Eficiencia: comprobar los resultados en relación a los recursos humanos, de infraestructura y económicos Impacto: finalidad del proyecto, a largo plazo Impacto: finalidad del proyecto, a largo plazo Equidad: capacidad de distribución de los resultados obtenidos de manera equitativa entre los destinatarios del proyecto Equidad: capacidad de distribución de los resultados obtenidos de manera equitativa entre los destinatarios del proyecto Sensibilidad: punto de vista del destinatario del proyecto Sensibilidad: punto de vista del destinatario del proyecto Sostenibilidad: comprueba la capacidad del proyecto de mantener sus resultados a lo largo del tiempo Sostenibilidad: comprueba la capacidad del proyecto de mantener sus resultados a lo largo del tiempo

INSTRUMENTOS UTILIZADOS: Registros: papel, es una información cuantitativa y cualitativa, deben ser fáciles de obtener y fiables, con mucha información Registros: papel, es una información cuantitativa y cualitativa, deben ser fáciles de obtener y fiables, con mucha información Mediciones: recuentos, talonarios de entradas, ingresos y gastos, es una información cuantitativa muy precisa, exacta, que permanece en el tiempo Mediciones: recuentos, talonarios de entradas, ingresos y gastos, es una información cuantitativa muy precisa, exacta, que permanece en el tiempo Encuestas: de opinión, hábitos, etc., con muestras o de la totalidad de usuarios, es una información cuantitativa y cualitativa, es l mejor método para obtener información personal, con posibles engaños en las respuestas y técnicas complejas y costosas Encuestas: de opinión, hábitos, etc., con muestras o de la totalidad de usuarios, es una información cuantitativa y cualitativa, es l mejor método para obtener información personal, con posibles engaños en las respuestas y técnicas complejas y costosas Entrevista personal: información cualitativa muy precisa, resultados poco objetivos Entrevista personal: información cualitativa muy precisa, resultados poco objetivos Entrevista grupal: poca objetividad y cuantificación Entrevista grupal: poca objetividad y cuantificación Observación: complemento de los anteriores Observación: complemento de los anteriores

INDICADORES: HERRAMIENTAS DE EVALUACIÓN Informan de una situación o resultado, pero ha de contrastarse con algún valor de referencia. Informan de una situación o resultado, pero ha de contrastarse con algún valor de referencia. Son fijados por el equipo en función de cada proyecto El resultado del indicador nos sirve para tomar decisiones Existen indicadores de: Contexto Contexto Resultados Resultados Proceso Proceso Impacto Impacto Los diferentes proyectos y sus objetivos pueden requerir: Indicadores cuantitativos: mediciones, registro, etc. Indicadores cuantitativos: mediciones, registro, etc. Indicadores cualitativos: observaciones, opiniones de expertos o participantes Indicadores cualitativos: observaciones, opiniones de expertos o participantes

CARACTERÍSTICAS DE LOS INDICADORES: Al menos han de tener las siguientes: Han de ser fijados previamente al proyecto (los de proceso) o en su realización (los de resultados)Han de ser fijados previamente al proyecto (los de proceso) o en su realización (los de resultados) Vinculados a objetivos específicos y a los contenidos del proyectoVinculados a objetivos específicos y a los contenidos del proyecto Deben tener objetivos neutros, que no se presten a interpretaciónDeben tener objetivos neutros, que no se presten a interpretación Serán mesurables de manera sencillaSerán mesurables de manera sencilla Tendrán sensibilidad ante pequeñas variaciones del contextoTendrán sensibilidad ante pequeñas variaciones del contexto Perdurables en el tiempoPerdurables en el tiempo Comparables con los de otros proyectosComparables con los de otros proyectos Comprobables por tercerosComprobables por terceros Accesibles con nuestros recursosAccesibles con nuestros recursos

CONSIDERACIONES FINALES La evaluación de un proyecto cultural es necesaria y se justifica en la propia realización del proyecto ya que, gracias a ella, se enriquece y facilita su correcta ejecución así como la de proyectos futuros. En el proceso de evaluación deben implicarse todos los estamentos y organizaciones que participen en el proyecto en un proceso de evaluación continua adaptado a las circunstancias que se den en cada momento. En el proceso de evaluación deben implicarse todos los estamentos y organizaciones que participen en el proyecto en un proceso de evaluación continua adaptado a las circunstancias que se den en cada momento.

BIBLIOGRAFÍA: D. Roselló, Diseño de Proyectos Culturales, Ed. Ariel, Ll. Bonet; X. Castañer; J.Font, Gestión de proyectos culturales, Ed. ArielLl. BonetX. CastañerJ.Font Josep Ballart; Jordi Juan, Gestión del patrimonio cultural, Ed. ArielJosep BallartJordi Juan François Colbert; Manuel Cuadrado, Marketing de las Artes y la Cultura, Ed. Ariel Barry Lord; Gail Dexter Lord, Manual de gestión de museos, Ed. ArielFrançois ColbertManuel CuadradoBarry LordGail Dexter Lord François Colbert; Manuel Cuadrado, Marketing de las Artes y la Cultura, Ed. ArielFrançois ColbertManuel Cuadrado Webs: Profesor Pau Rausell Köster (Departamento de Economía Aplicada de la Universidad de Valencia y Web de las editoriales universitarias españolaswww.aeue.es Diputación de Valencia SARChttp:// Fundación Ciudad de la Artes y las Cienciaswww.fundacioncac.es/cas/ ANANBAD: Confederación de Asociaciones de Archiveros, Bibliotecarios, Museólogos y Documentalistas. DVD: - Anuari ESTDÍSTIC 2005 Comunidad Valenciana, IVE