La evaluación de IUIs Metaevaluación de los procesos de evaluación de IUIs realizados por la ACPUA.

Presentación del tema: "La evaluación de IUIs Metaevaluación de los procesos de evaluación de IUIs realizados por la ACPUA."— Transcripción de la presentación:

1 La evaluación de IUIs Metaevaluación de los procesos de evaluación de IUIs realizados por la ACPUA

2 Temas a comentar Contextualizar la evaluación de los Institutos Universitarios de Investigación en Aragón Revisar los resultados de las encuestas de satisfacción con los proceso de evaluación Revisar el protocolo de evaluación

3 CONTEXTUALIZACIÓN “Modelo Aragonés”: LOSUA y ACPUA
LEY 5/2005, de 14 de junio, de Ordenación del Sistema Universitario de Aragón. Corresponde al Gobierno de Aragón la creación, supresión y adscripción de los Institutos Universitarios de Investigación Deberá contar con el previo informe del Consejo de Gobierno de la universidad y de la Agencia de Calidad y Prospectiva Universitaria de Aragón. La labor de los Institutos Universitarios de Investigación deberá someterse a informe de la Agencia de Calidad y Prospectiva Universitaria de Aragón cada cinco años. En caso de informe negativo, el Gobierno podrá acordar la supresión del Instituto u otorgar un plazo para la corrección de los errores o insuficiencias detectadas. (Artículo 15.—Creación, supresión y adscripción de Institutos Universitarios de Investigación.)

4 CONTEXTUALIZACIÓN “Modelo Aragonés”: LOSUA y ACPUA
Según lo dispuesto por la LOSUA la ACPUA realizará las siguientes actividades de evaluación: Proceso de Verificación y Acreditación Informe ACPUA Autorización DGA Seguimiento ACPUA Propuesta de IUI Puesta en marcha Año 1 Año 2 Año 3 Año 4 Año 5 Año 7

5 CONTEXTUALIZACIÓN Los criterios de evaluación para la Evaluación Periódica
¿Ha logrado el IUIs desarrollar la planificación que había definido en su creación? : ¿Se han realizado las actividades, se han logrado los objetivos, se ha contado con los recursos previstos?. En caso de desviación de los objetivos se han realizado correcciones¿: ¿Tiene definido el IUIs el Plan Estratégico para el próximo periodo? CREACIÓN ¿ Es el proyecto de IUIs viable?: ¿la planificación de actividades, los recursos humanos y materiales y las estructuras son coherentes con la misión/visión y objetivos definidos?

6 CONTEXTUALIZACIÓN Los criterios de evaluación para la Evaluación Periódica
CREACIÓN Definición Estratégica del IUI Interés de los objetivos Planificación de actividades Experiencia del equipo Recursos y presupuesto Estructura de gestión LOGROS PLANIFICACIÓN SIGUIENTE PERIODO Definición Estratégica del IUI Interés de los objetivos Planificación de actividades Experiencia del equipo Recursos y presupuesto Estructura de gestión CREACIÓN Definición Estratégica del IUI Interés de los objetivos Planificación de actividades Experiencia del equipo Recursos y presupuesto Estructura de gestión

7 CONTEXTUALIZACIÓN Características de la Evaluación Periódica
Ambas evaluaciones son “individuales”. No se compara a los Institutos. La evaluación no pone objetivos externos. Cada instituto tiene libertad para definir su MISIÓN/VISIÓN y OBJETIVOS. Las comisiones pueden valorar si la Misión/Visión y Objetivos definidos por el IUIs es adecuado a los recursos, al entorno, a la temática, al funcionamiento y proponer mejoras pero el grado de excelencia y nivel de resultados a obtener es decisión del IUIs. La evaluación se centra en analizar la evolución del IUIs y el grado de cumplimiento de lo planificado.

8 CONTEXTUALIZACIÓN “Modelo Aragonés”: Financiación
Según lo dispuesto por la LOSUA la ACPUA realizará las siguientes actividades de evaluación: Proceso de Verificación y Acreditación Informe ACPUA Autorización DGA Seguimiento ACPUA Propuesta de IUI Puesta en marcha Año 1 Año 2 Año 3 Año 4 Año 5 Año 7 Proceso de Adjudicación de Subvenciones del Gobierno de Aragón 8

9 CONTEXTUALIZACIÓN Evaluación Periódica vs. Financiación
Evaluación financiación Objetivo Valorar la evolución del instituto desde la última evaluación (creación o último seguimiento). Valorar la actividad del instituto respecto a unos criterios y puntuarlos. La puntuación obtenida es tenida en cuenta por una comisión que la incorpora junto con otros criterios de resultados al proceso de “reparto de financiación” Protocolo Publicado Publicados los criterios. Informes Informes para la mejora. Se incide en la identificación de puntos fuertes y propuestas de mejora. Los informes se envían a los IUIs que pueden presentar alegaciones. Al finalizar el proceso se publican. Informes son puntuados y aunque señalan oportunidades de mejora y fortalezas y debilidades no se envían a los IUIs. Sirven de base a la comisión que otorga la financiación. Periodicidad Cada 5 años (visita al IUI) Plazo de validez de la condición de “financiable” no inferior a 2 años Comisión Tres miembros, informe consensuado Evaluación independiente por dos expertos y media de puntuación Criterios Definición Estratégica Interés de los objetivos Planificación de actividades Experiencias del equipo Recursos y presupuesto Estructuras de gestión a) Calidad científica. Organización científica de cada Instituto. Áreas de investigación y líneas de trabajo en las mismas. Intensidad y calidad de la actividad investigadora Proyección nacional e internacional. Captación de recursos externos b) Impacto e interés estratégico. Impacto de la actividad sobre el desarrollo científico y tecnológico de Aragón. Correspondencia de las actividades realizadas con las líneas prioritarias del Plan Autonómico de Investigación vigente. Intensidad de la transferencia tecnológica al sector productivo y a la sociedad en general. Proyectos y contratos realizados con empresas y organizaciones. Otros indicios de base tecnológica, el fomento de relaciones con el mundo empresarial o la organización de eventos de especial interés.

10 CONTEXTUALIZACIÓN 2012: Solapamiento de procesos
IUI EVALUACIÓN CREACIÓN EVALUACIÓN PERIODICA FINANCIACIÓN I3A Pre LOSUA 2012 BIFI INA IUMA 2007 (inf ANEP) CIRCE 2008 (inf ANEP) 2013 IUCA ICMA ISQCH

11 CONTEXTUALIZACIÓN 2012: Solapamiento de procesos
Encargo de la DGII Gestionar la evaluación para la financiación y aprovechar las sinergias existentes entre ambos procesos para lograr dos objetivos: Minimizar el impacto sobre los IUIs de las dos evaluaciones Conseguir una disminución de los costes de evaluación Traslado a la evaluación periódica Hacer participar a los mismos evaluadores completando las comisiones con un nuevo evaluador Evaluar sobre las memorias ya presentadas por los IUIs para la financiación Dar más peso a la visita con el objetivo de completar la información que no apareciese en la memoria

12 CONTEXTUALIZACIÓN 2012: 1ª Evaluación Periódica
“Debilidades de partida” Todos los Institutos no disponen de un informe de evaluación de creación alineado con los criterios de evaluación Memorias de actividad no adaptadas a las preguntas del protocolo para la 1ª evaluación periódica Objetivos de la 1ª evaluación periódica Establecer un “punto de partida” común a todos los IUIs (cumplimiento de un mínimo común denominador o requisitos básicos) Identificar los puntos fuertes y débiles de cada Instituto y lanzar propuestas de mejora Una vez realizada la 1ª evaluación establecer los ajustes necesarios para cerrar un protocolo de evaluación periódica.

13 ENCUESTAS DE SATISFACCIÓN Evaluadores
ANTES DURANTE SOPORTE Muy Satisfecho Bastante Satisfecho Satisfecho Poco Satisfecho Nada Satisfecho Índice de respuesta: (11respuestas /21participantes) 52% La puntuación media del cuestionario ha sido 4.29 (Bastante Satisfactorio). Todos los items valorados por encima de tres La valoración menor en línea con las recomendaciones hace alusión a la adecuación de la memoria presentada por el instituto y a la utilidad de las fichas de evaluación PRIMERA ACCIÓN DE MEJORA Preparar un modelo de memoria alineado con el protocolo de evaluación

14 ENCUESTAS DE SATISFACCIÓN Evaluadores
Valoración del protocolo Todas las respuestas positivas Periodicidad de los procesos Correcto (1 Respuesta) Evaluación única cada 4 años (1 respuesta) Pasar a 3 para la financiación (2 respuestas) y 6 periódica (1 respuesta) Periódica de 5 a 4 (3 respuesta) y financiación cada 2 Seguimiento de la evaluación periódica Prácticamente todas las respuestas apuntan a un seguimiento a los dos años de las propuestas de mejora. Valorar la existencia de dos procesos (financiación y periódica) Acertado (cinco contestaciones) Mejor unificar (cuatro) Dos procesos con coincidencia de los miembros de las comisiones en un 60% Existen en su CCAA procesos parecidos No o desconocen (5 contestaciones) Similares (BERT, procesos unificados, caso CSIC y evaluación interna) Estos procesos aportan información útil a los IUIs y al Gobierno? Todas las respuestas afirmativas

15 ENCUESTAS DE SATISFACCIÓN Direcciones de Institutos
ANTES DURANTE Muy Satisfecho Bastante Satisfecho Satisfecho Poco Satisfecho Nada Satisfecho Índice de respuesta: (7 respuestas /8 IUIs) 87.5% La puntuación media del cuestionario ha sido 3.9 (Satisfecho). Todos los items valorados por encima de tres Las valoraciones menores en torno a la información y claridad del protocolo PRIMERA ACCIÓN DE MEJORA Revisión del proceso y protocolo de evaluación con los IUIS => METAEVALUACIÓN

16 ENCUESTAS DE SATISFACCIÓN Direcciones de Institutos
Periodicidad de los procesos Correcto (2 Respuestas) Evaluación única cada 3 años (3 respuesta) Evaluación cada 2 y 4 años respectivamente Evaluación única cada 4 años (1 respuesta) Seguimiento de la evaluación periódica Cuatro respuestas a favor Dos respuestas opuestas Valorar la existencia de dos procesos (financiación y periódica) Todas las respuestas apuntan a que debería existir un único proceso. Estos procesos aportan información útil a los IUIs y al Gobierno? En general se consideran útiles Valoración del protocolo de seguimiento 5 respuestas positivas 1 respuesta positiva pero con una llamada a cuidar el perfil de los evaluadores

17 Recusación Subcomisión
REVISIÓN DE PROTOCOLOS 1ª Evaluación Periódica: Mejoras Memoria de actividades => Autoinforme (reflexión del IUIs sobre los logros y presentación de la Planificación Estratégica para los próximos 5 años) Subcomisión de Evaluación: Personal investigador de reconocido prestigio, no perteneciente a la universidad de Zaragoza, con tres sexenios de investigación que haya participado en procesos de evaluación de institutos/grupos de investigación/proyectos de investigación de la ANEP, del Gobierno de Aragón o de otras Agencias Autonómicas.. ¿Es un número adecuado de evaluadores? ¿Perfiles (investigador extranjero)? ¿Figura del director de instituto similar? ACCIÓN DE MEJORA Modelo de Autoinforme ACCIÓN DE MEJORA Recusación Subcomisión Perfil exdirector

18 REVISIÓN DE PROTOCOLOS 1ª Evaluación Periódica: Mejoras
Visita de la Subcomisión (recomendaciones evaluadores): Marcar tiempos para cada grupo. Proponer a los IUIs que los equipos directivos hagan una pequeña presentación del instituto sobre la que la Subcomisión pueda hacer sus preguntas. Selección de investigadores representativa pero poco numerosa (no es necesario que asistan investigadores de todas las líneas/secciones). No presentan sus trabajos. La visita a las instalaciones no es necesaria. ACCIÓN DE MEJORA Definir el alcance de la visita y los objetivos de las entrevistas con cada grupo

19 METAEVALUACIÓN DE IUIs Próximos Pasos
Encuestas de satisfacción Reunión con evaluadores Reunión con directores de IUIs Informe de conclusiones Incorporación de mejoras al protocolo Comunicación y publicación de los cambios

20 La evaluación de IUIs Metaevaluación de los procesos de evaluación de IUIs realizados por la ACPUA