La evaluación de IUIs Metaevaluación de los procesos de evaluación de IUIs realizados por la ACPUA

Temas a comentar Contextualizar la evaluación de los Institutos Universitarios de Investigación en Aragón Revisar los resultados de las encuestas de satisfacción con los proceso de evaluación Revisar el protocolo de evaluación

CONTEXTUALIZACIÓN “Modelo Aragonés”: LOSUA y ACPUA LEY 5/2005, de 14 de junio, de Ordenación del Sistema Universitario de Aragón. Corresponde al Gobierno de Aragón la creación, supresión y adscripción de los Institutos Universitarios de Investigación Deberá contar con el previo informe del Consejo de Gobierno de la universidad y de la Agencia de Calidad y Prospectiva Universitaria de Aragón. La labor de los Institutos Universitarios de Investigación deberá someterse a informe de la Agencia de Calidad y Prospectiva Universitaria de Aragón cada cinco años. En caso de informe negativo, el Gobierno podrá acordar la supresión del Instituto u otorgar un plazo para la corrección de los errores o insuficiencias detectadas. (Artículo 15.—Creación, supresión y adscripción de Institutos Universitarios de Investigación.)

CONTEXTUALIZACIÓN “Modelo Aragonés”: LOSUA y ACPUA Según lo dispuesto por la LOSUA la ACPUA realizará las siguientes actividades de evaluación: Proceso de Verificación y Acreditación Informe ACPUA Autorización DGA Seguimiento ACPUA Propuesta de IUI Puesta en marcha Año 1 Año 2 Año 3 Año 4 Año 5 Año 7

CONTEXTUALIZACIÓN Los criterios de evaluación para la Evaluación Periódica ¿Ha logrado el IUIs desarrollar la planificación que había definido en su creación? : ¿Se han realizado las actividades, se han logrado los objetivos, se ha contado con los recursos previstos?. En caso de desviación de los objetivos se han realizado correcciones¿: ¿Tiene definido el IUIs el Plan Estratégico para el próximo periodo? CREACIÓN ¿ Es el proyecto de IUIs viable?: ¿la planificación de actividades, los recursos humanos y materiales y las estructuras son coherentes con la misión/visión y objetivos definidos?

CONTEXTUALIZACIÓN Los criterios de evaluación para la Evaluación Periódica CREACIÓN Definición Estratégica del IUI Interés de los objetivos Planificación de actividades Experiencia del equipo Recursos y presupuesto Estructura de gestión LOGROS PLANIFICACIÓN SIGUIENTE PERIODO Definición Estratégica del IUI Interés de los objetivos Planificación de actividades Experiencia del equipo Recursos y presupuesto Estructura de gestión CREACIÓN Definición Estratégica del IUI Interés de los objetivos Planificación de actividades Experiencia del equipo Recursos y presupuesto Estructura de gestión

CONTEXTUALIZACIÓN Características de la Evaluación Periódica Ambas evaluaciones son “individuales”. No se compara a los Institutos. La evaluación no pone objetivos externos. Cada instituto tiene libertad para definir su MISIÓN/VISIÓN y OBJETIVOS. Las comisiones pueden valorar si la Misión/Visión y Objetivos definidos por el IUIs es adecuado a los recursos, al entorno, a la temática, al funcionamiento y proponer mejoras pero el grado de excelencia y nivel de resultados a obtener es decisión del IUIs. La evaluación se centra en analizar la evolución del IUIs y el grado de cumplimiento de lo planificado.

CONTEXTUALIZACIÓN “Modelo Aragonés”: Financiación Según lo dispuesto por la LOSUA la ACPUA realizará las siguientes actividades de evaluación: Proceso de Verificación y Acreditación Informe ACPUA Autorización DGA Seguimiento ACPUA Propuesta de IUI Puesta en marcha Año 1 Año 2 Año 3 Año 4 Año 5 Año 7 Proceso de Adjudicación de Subvenciones del Gobierno de Aragón 8

CONTEXTUALIZACIÓN Evaluación Periódica vs. Financiación Evaluación financiación Objetivo Valorar la evolución del instituto desde la última evaluación (creación o último seguimiento). Valorar la actividad del instituto respecto a unos criterios y puntuarlos. La puntuación obtenida es tenida en cuenta por una comisión que la incorpora junto con otros criterios de resultados al proceso de “reparto de financiación” Protocolo Publicado Publicados los criterios. Informes Informes para la mejora. Se incide en la identificación de puntos fuertes y propuestas de mejora. Los informes se envían a los IUIs que pueden presentar alegaciones. Al finalizar el proceso se publican. Informes son puntuados y aunque señalan oportunidades de mejora y fortalezas y debilidades no se envían a los IUIs. Sirven de base a la comisión que otorga la financiación. Periodicidad Cada 5 años (visita al IUI) Plazo de validez de la condición de “financiable” no inferior a 2 años Comisión Tres miembros, informe consensuado Evaluación independiente por dos expertos y media de puntuación Criterios Definición Estratégica Interés de los objetivos Planificación de actividades Experiencias del equipo Recursos y presupuesto Estructuras de gestión a) Calidad científica. Organización científica de cada Instituto. Áreas de investigación y líneas de trabajo en las mismas. Intensidad y calidad de la actividad investigadora Proyección nacional e internacional. Captación de recursos externos b) Impacto e interés estratégico. Impacto de la actividad sobre el desarrollo científico y tecnológico de Aragón. Correspondencia de las actividades realizadas con las líneas prioritarias del Plan Autonómico de Investigación vigente. Intensidad de la transferencia tecnológica al sector productivo y a la sociedad en general. Proyectos y contratos realizados con empresas y organizaciones. Otros indicios de base tecnológica, el fomento de relaciones con el mundo empresarial o la organización de eventos de especial interés.

CONTEXTUALIZACIÓN 2012: Solapamiento de procesos IUI EVALUACIÓN CREACIÓN EVALUACIÓN PERIODICA FINANCIACIÓN I3A Pre LOSUA 2012 BIFI INA IUMA 2007 (inf ANEP) CIRCE 2008 (inf ANEP) 2013 IUCA ICMA ISQCH

CONTEXTUALIZACIÓN 2012: Solapamiento de procesos Encargo de la DGII Gestionar la evaluación para la financiación y aprovechar las sinergias existentes entre ambos procesos para lograr dos objetivos: Minimizar el impacto sobre los IUIs de las dos evaluaciones Conseguir una disminución de los costes de evaluación Traslado a la evaluación periódica Hacer participar a los mismos evaluadores completando las comisiones con un nuevo evaluador Evaluar sobre las memorias ya presentadas por los IUIs para la financiación Dar más peso a la visita con el objetivo de completar la información que no apareciese en la memoria

CONTEXTUALIZACIÓN 2012: 1ª Evaluación Periódica “Debilidades de partida” Todos los Institutos no disponen de un informe de evaluación de creación alineado con los criterios de evaluación Memorias de actividad no adaptadas a las preguntas del protocolo para la 1ª evaluación periódica Objetivos de la 1ª evaluación periódica Establecer un “punto de partida” común a todos los IUIs (cumplimiento de un mínimo común denominador o requisitos básicos) Identificar los puntos fuertes y débiles de cada Instituto y lanzar propuestas de mejora Una vez realizada la 1ª evaluación establecer los ajustes necesarios para cerrar un protocolo de evaluación periódica.

ENCUESTAS DE SATISFACCIÓN Evaluadores ANTES DURANTE SOPORTE Muy Satisfecho Bastante Satisfecho Satisfecho Poco Satisfecho Nada Satisfecho Índice de respuesta: (11respuestas /21participantes) 52% La puntuación media del cuestionario ha sido 4.29 (Bastante Satisfactorio). Todos los items valorados por encima de tres La valoración menor en línea con las recomendaciones hace alusión a la adecuación de la memoria presentada por el instituto y a la utilidad de las fichas de evaluación PRIMERA ACCIÓN DE MEJORA Preparar un modelo de memoria alineado con el protocolo de evaluación

ENCUESTAS DE SATISFACCIÓN Evaluadores Valoración del protocolo Todas las respuestas positivas Periodicidad de los procesos Correcto (1 Respuesta) Evaluación única cada 4 años (1 respuesta) Pasar a 3 para la financiación (2 respuestas) y 6 periódica (1 respuesta) Periódica de 5 a 4 (3 respuesta) y financiación cada 2 Seguimiento de la evaluación periódica Prácticamente todas las respuestas apuntan a un seguimiento a los dos años de las propuestas de mejora. Valorar la existencia de dos procesos (financiación y periódica) Acertado (cinco contestaciones) Mejor unificar (cuatro) Dos procesos con coincidencia de los miembros de las comisiones en un 60% Existen en su CCAA procesos parecidos No o desconocen (5 contestaciones) Similares (BERT, procesos unificados, caso CSIC y evaluación interna) Estos procesos aportan información útil a los IUIs y al Gobierno? Todas las respuestas afirmativas

ENCUESTAS DE SATISFACCIÓN Direcciones de Institutos ANTES DURANTE Muy Satisfecho Bastante Satisfecho Satisfecho Poco Satisfecho Nada Satisfecho Índice de respuesta: (7 respuestas /8 IUIs) 87.5% La puntuación media del cuestionario ha sido 3.9 (Satisfecho). Todos los items valorados por encima de tres Las valoraciones menores en torno a la información y claridad del protocolo PRIMERA ACCIÓN DE MEJORA Revisión del proceso y protocolo de evaluación con los IUIS => METAEVALUACIÓN

ENCUESTAS DE SATISFACCIÓN Direcciones de Institutos Periodicidad de los procesos Correcto (2 Respuestas) Evaluación única cada 3 años (3 respuesta) Evaluación cada 2 y 4 años respectivamente Evaluación única cada 4 años (1 respuesta) Seguimiento de la evaluación periódica Cuatro respuestas a favor Dos respuestas opuestas Valorar la existencia de dos procesos (financiación y periódica) Todas las respuestas apuntan a que debería existir un único proceso. Estos procesos aportan información útil a los IUIs y al Gobierno? En general se consideran útiles Valoración del protocolo de seguimiento 5 respuestas positivas 1 respuesta positiva pero con una llamada a cuidar el perfil de los evaluadores

Recusación Subcomisión REVISIÓN DE PROTOCOLOS 1ª Evaluación Periódica: Mejoras Memoria de actividades => Autoinforme (reflexión del IUIs sobre los logros y presentación de la Planificación Estratégica para los próximos 5 años) Subcomisión de Evaluación: Personal investigador de reconocido prestigio, no perteneciente a la universidad de Zaragoza, con tres sexenios de investigación que haya participado en procesos de evaluación de institutos/grupos de investigación/proyectos de investigación de la ANEP, del Gobierno de Aragón o de otras Agencias Autonómicas.. ¿Es un número adecuado de evaluadores? ¿Perfiles (investigador extranjero)? ¿Figura del director de instituto similar? ACCIÓN DE MEJORA Modelo de Autoinforme ACCIÓN DE MEJORA Recusación Subcomisión Perfil exdirector

REVISIÓN DE PROTOCOLOS 1ª Evaluación Periódica: Mejoras Visita de la Subcomisión (recomendaciones evaluadores): Marcar tiempos para cada grupo. Proponer a los IUIs que los equipos directivos hagan una pequeña presentación del instituto sobre la que la Subcomisión pueda hacer sus preguntas. Selección de investigadores representativa pero poco numerosa (no es necesario que asistan investigadores de todas las líneas/secciones). No presentan sus trabajos. La visita a las instalaciones no es necesaria. ACCIÓN DE MEJORA Definir el alcance de la visita y los objetivos de las entrevistas con cada grupo

METAEVALUACIÓN DE IUIs Próximos Pasos Encuestas de satisfacción Reunión con evaluadores Reunión con directores de IUIs Informe de conclusiones Incorporación de mejoras al protocolo Comunicación y publicación de los cambios

La evaluación de IUIs Metaevaluación de los procesos de evaluación de IUIs realizados por la ACPUA