La descarga está en progreso. Por favor, espere

La descarga está en progreso. Por favor, espere

Metaevaluación de los procesos de evaluación de IUIs realizados por la ACPUA.

Presentaciones similares


Presentación del tema: "Metaevaluación de los procesos de evaluación de IUIs realizados por la ACPUA."— Transcripción de la presentación:

1 Metaevaluación de los procesos de evaluación de IUIs realizados por la ACPUA

2 Contextualizar la evaluación de los Institutos Universitarios de Investigación en Aragón Revisar los resultados de las encuestas de satisfacción con los proceso de evaluación Revisar el protocolo de evaluación

3 Corresponde al Gobierno de Aragón la creación, supresión y adscripción de los Institutos Universitarios de Investigación Deberá contar con el previo informe del Consejo de Gobierno de la universidad y de la Agencia de Calidad y Prospectiva Universitaria de Aragón. La labor de los Institutos Universitarios de Investigación deberá someterse a informe de la Agencia de Calidad y Prospectiva Universitaria de Aragón cada cinco años. En caso de informe negativo, el Gobierno podrá acordar la supresión del Instituto u otorgar un plazo para la corrección de los errores o insuficiencias detectadas. (Artículo 15.Creación, supresión y adscripción de Institutos Universitarios de Investigación.) LEY 5/2005, de 14 de junio, de Ordenación del Sistema Universitario de Aragón. CONTEXTUALIZACIÓN Modelo Aragonés: LOSUA y ACPUA

4 Según lo dispuesto por la LOSUA la ACPUA realizará las siguientes actividades de evaluación: Proceso de Verificación y Acreditación Propuesta de IUI Puesta en marcha Informe ACPUA Autorización DGA Año 1 Año 2 Año 3 Año 4 Año 5 Año 7 Seguimiento ACPUA CONTEXTUALIZACIÓN Modelo Aragonés: LOSUA y ACPUA

5 EVALUACIÓN PERIÓDICA ¿ Ha logrado el IUIs desarrollar la planificación que había definido en su creación? : ¿Se han realizado las actividades, se han logrado los objetivos, se ha contado con los recursos previstos?. En caso de desviación de los objetivos se han realizado correcciones¿: ¿Tiene definido el IUIs el Plan Estratégico para el próximo periodo? CREACIÓN ¿ Es el proyecto de IUIs viable ?: ¿la planificación de actividades, los recursos humanos y materiales y las estructuras son coherentes con la misión/visión y objetivos definidos?

6 EVALUACIÓN PERIÓDICA CREACIÓN Definición Estratégica del IUI Interés de los objetivos Planificación de actividades Experiencia del equipo Recursos y presupuesto Estructura de gestión LOGROSPLANIFICACIÓN CREACIÓN Definición Estratégica del IUI Interés de los objetivos Planificación de actividades Experiencia del equipo Recursos y presupuesto Estructura de gestión SIGUIENTE PERIODO Definición Estratégica del IUI Interés de los objetivos Planificación de actividades Experiencia del equipo Recursos y presupuesto Estructura de gestión

7 Ambas evaluaciones son individuales. No se compara a los Institutos. La evaluación no pone objetivos externos. Cada instituto tiene libertad para definir su MISIÓN/VISIÓN y OBJETIVOS. Las comisiones pueden valorar si la Misión/Visión y Objetivos definidos por el IUIs es adecuado a los recursos, al entorno, a la temática, al funcionamiento y proponer mejoras pero el grado de excelencia y nivel de resultados a obtener es decisión del IUIs. La evaluación se centra en analizar la evolución del IUIs y el grado de cumplimiento de lo planificado.

8 Según lo dispuesto por la LOSUA la ACPUA realizará las siguientes actividades de evaluación: Proceso de Adjudicación de Subvenciones del Gobierno de Aragón CONTEXTUALIZACIÓN Modelo Aragonés: Financiación Proceso de Verificación y Acreditación Propuesta de IUI Puesta en marcha Informe ACPUA Autorización DGA Año 1 Año 2 Año 3 Año 4 Año 5 Año 7 Seguimiento ACPUA

9 Evaluación PeriódicaEvaluación financiación Objetivo Valorar la evolución del instituto desde la última evaluación (creación o último seguimiento). Valorar la actividad del instituto respecto a unos criterios y puntuarlos. La puntuación obtenida es tenida en cuenta por una comisión que la incorpora junto con otros criterios de resultados al proceso de reparto de financiación Protocolo PublicadoPublicados los criterios. Informes Informes para la mejora. Se incide en la identificación de puntos fuertes y propuestas de mejora. Los informes se envían a los IUIs que pueden presentar alegaciones. Al finalizar el proceso se publican. Informes son puntuados y aunque señalan oportunidades de mejora y fortalezas y debilidades no se envían a los IUIs. Sirven de base a la comisión que otorga la financiación. Periodicidad Cada 5 años (visita al IUI)Plazo de validez de la condición de financiable no inferior a 2 años Comisión Tres miembros, informe consensuado Evaluación independiente por dos expertos y media de puntuación Criterios A.Definición Estratégica B.Interés de los objetivos C.Planificación de actividades D.Experiencias del equipo E.Recursos y presupuesto F.Estructuras de gestión a) Calidad científica. Organización científica de cada Instituto. Áreas de investigación y líneas de trabajo en las mismas. Intensidad y calidad de la actividad investigadora Proyección nacional e internacional. Captación de recursos externos b) Impacto e interés estratégico. Impacto de la actividad sobre el desarrollo científico y tecnológico de Aragón. Correspondencia de las actividades realizadas con las líneas prioritarias del Plan Autonómico de Investigación vigente. Intensidad de la transferencia tecnológica al sector productivo y a la sociedad en general. Proyectos y contratos realizados con empresas y organizaciones. Otros indicios de base tecnológica, el fomento de relaciones con el mundo empresarial o la organización de eventos de especial interés. CONTEXTUALIZACIÓN Evaluación Periódica vs. Financiación

10 IUI EVALUACIÓN CREACIÓN EVALUACIÓN PERIODICA FINANCIACIÓN I3A Pre LOSUA2012 BIFI Pre LOSUA2012 INA Pre LOSUA2012 IUMA 2007 (inf ANEP)2012 CIRCE 2008 (inf ANEP) IUCA 2008 (inf ANEP) ICMA ISQCH CONTEXTUALIZACIÓN CONTEXTUALIZACIÓN 2012: Solapamiento de procesos

11 CONTEXTUALIZACIÓN 2012: Solapamiento de procesos Encargo de la DGII Gestionar la evaluación para la financiación y aprovechar las sinergias existentes entre ambos procesos para lograr dos objetivos: Minimizar el impacto sobre los IUIs de las dos evaluaciones Conseguir una disminución de los costes de evaluación Traslado a la evaluación periódica Hacer participar a los mismos evaluadores completando las comisiones con un nuevo evaluador Evaluar sobre las memorias ya presentadas por los IUIs para la financiación Dar más peso a la visita con el objetivo de completar la información que no apareciese en la memoria

12 Debilidades de partida Todos los Institutos no disponen de un informe de evaluación de creación alineado con los criterios de evaluación Memorias de actividad no adaptadas a las preguntas del protocolo para la 1ª evaluación periódica Objetivos de la 1ª evaluación periódica Establecer un punto de partida común a todos los IUIs (cumplimiento de un mínimo común denominador o requisitos básicos) Identificar los puntos fuertes y débiles de cada Instituto y lanzar propuestas de mejora Una vez realizada la 1ª evaluación establecer los ajustes necesarios para cerrar un protocolo de evaluación periódica. CONTEXTUALIZACIÓN 2012: 1ª Evaluación Periódica

13 Índice de respuesta: (11respuestas /21participantes) 52% La puntuación media del cuestionario ha sido 4.29 (Bastante Satisfactorio). Todos los items valorados por encima de tres La valoración menor en línea con las recomendaciones hace alusión a la adecuación de la memoria presentada por el instituto y a la utilidad de las fichas de evaluación PRIMERA ACCIÓN DE MEJORA Preparar un modelo de memoria alineado con el protocolo de evaluación ANTESDURANTESOPORTE Muy Satisfecho Bastante Satisfecho Satisfecho Poco Satisfecho Nada Satisfecho ENCUESTAS DE SATISFACCIÓN Evaluadores

14 Valorar la existencia de dos procesos (financiación y periódica) Acertado (cinco contestaciones) Mejor unificar (cuatro) Dos procesos con coincidencia de los miembros de las comisiones en un 60% Existen en su CCAA procesos parecidos No o desconocen (5 contestaciones) Similares (BERT, procesos unificados, caso CSIC y evaluación interna) Estos procesos aportan información útil a los IUIs y al Gobierno? Todas las respuestas afirmativas Valoración del protocolo Todas las respuestas positivas Periodicidad de los procesos Correcto (1 Respuesta) Evaluación única cada 4 años (1 respuesta) Pasar a 3 para la financiación (2 respuestas) y 6 periódica (1 respuesta) Periódica de 5 a 4 (3 respuesta) y financiación cada 2 Seguimiento de la evaluación periódica Prácticamente todas las respuestas apuntan a un seguimiento a los dos años de las propuestas de mejora.

15 Índice de respuesta: (7 respuestas /8 IUIs) 87.5% La puntuación media del cuestionario ha sido 3.9 (Satisfecho). Todos los items valorados por encima de tres Las valoraciones menores en torno a la información y claridad del protocolo PRIMERA ACCIÓN DE MEJORA Revisión del proceso y protocolo de evaluación con los IUIS => METAEVALUACIÓN ANTESDURANTE Muy Satisfecho Bastante Satisfecho Satisfecho Poco Satisfecho Nada Satisfecho ENCUESTAS DE SATISFACCIÓN Direcciones de Institutos

16 Valorar la existencia de dos procesos (financiación y periódica) Todas las respuestas apuntan a que debería existir un único proceso. Estos procesos aportan información útil a los IUIs y al Gobierno? En general se consideran útiles Valoración del protocolo de seguimiento 5 respuestas positivas 1 respuesta positiva pero con una llamada a cuidar el perfil de los evaluadores Periodicidad de los procesos Correcto (2 Respuestas) Evaluación única cada 3 años (3 respuesta) Evaluación cada 2 y 4 años respectivamente Evaluación única cada 4 años (1 respuesta) Seguimiento de la evaluación periódica Cuatro respuestas a favor Dos respuestas opuestas

17 Memoria de actividades => Autoinforme (reflexión del IUIs sobre los logros y presentación de la Planificación Estratégica para los próximos 5 años) Subcomisión de Evaluación: Personal investigador de reconocido prestigio, no perteneciente a la universidad de Zaragoza, con tres sexenios de investigación que haya participado en procesos de evaluación de institutos/grupos de investigación/proyectos de investigación de la ANEP, del Gobierno de Aragón o de otras Agencias Autonómicas.. ¿Es un número adecuado de evaluadores? ¿Perfiles (investigador extranjero)? ¿Figura del director de instituto similar? ACCIÓN DE MEJORA Recusación Subcomisión Perfil exdirector ACCIÓN DE MEJORA Modelo de Autoinforme REVISIÓN DE PROTOCOLOS 1ª Evaluación Periódica: Mejoras

18 Visita de la Subcomisión (recomendaciones evaluadores): Marcar tiempos para cada grupo. Proponer a los IUIs que los equipos directivos hagan una pequeña presentación del instituto sobre la que la Subcomisión pueda hacer sus preguntas. Selección de investigadores representativa pero poco numerosa (no es necesario que asistan investigadores de todas las líneas/secciones). No presentan sus trabajos. La visita a las instalaciones no es necesaria. ACCIÓN DE MEJORA Definir el alcance de la visita y los objetivos de las entrevistas con cada grupo REVISIÓN DE PROTOCOLOS 1ª Evaluación Periódica: Mejoras

19 Encuestas de satisfacción Reunión con evaluadores Reunión con directores de IUIs Informe de conclusiones Incorporación de mejoras al protocolo Comunicación y publicación de los cambios METAEVALUACIÓN DE IUIs Próximos Pasos

20 La evaluación de IUIs Metaevaluación de los procesos de evaluación de IUIs realizados por la ACPUA


Descargar ppt "Metaevaluación de los procesos de evaluación de IUIs realizados por la ACPUA."

Presentaciones similares


Anuncios Google