LAS LECCIONES APRENDIDAS POR LAS AGENCIAS EN 10 AÑOS DE EVALUACIÓN INSTITUCIONAL LA EXPERIENCIA EN LA ACSUG VIII FORO DE ALMAGRO 5 y 6 de octubre de 2006

EL ENFOQUE DE LAS GUÍAS

PNECU Las universidades del SUG participaron en el PNECU aunque la creación de la ACSUG fue posterior. La ACSUG recopila todos los informes de evaluación de las titulaciones evaluadas en el SUG durante el PNECU y elabora un Informe Final del que podemos extraer las siguientes conclusiones relacionadas con la guía de evaluación utilizada: El seguimiento de la Guía de Evaluación: CA: seguimiento dispar. Algunas titulaciones se limitan a la mera exposición de datos estadísticos CEE: mayor seguimiento. Los evaluadores destacan la adecuación y utilidad de la guía Heterogeneidad en los modelos de Informe Final En general, valoración positiva de las herramientas facilitadas EL ENFOQUE DE LAS GUÍAS

II PCU La ACSUG se crea en enero del 2001 para encargarse de la gestión del II PCU en Galicia Las guías utilizadas siguen siendo las que elabora el CCU para el desarrollo de este plan La ACSUG elabora un Informe al final de cada convocatoria del II PCU del que podemos extraer las siguientes conclusiones en relación con las guías de evaluación: La estructura de los informes se ajusta cada vez más a las guías de evaluación (mayor conocimiento de los procesos y contribución de las Unidades de Calidad) Las nuevas guías facilitan herramientas: Inclusión de la lista de verificación de los autoinformes, desarrollo de la audiencia, formato de IEE… Mayor uniformidad en la estructura de los Informes Finales EL ENFOQUE DE LAS GUÍAS

PEI-ACSUG La ACSUG utiliza las guías y herramientas que elabora ANECA con algunas modificaciones obligadas en cuanto a procedimiento (convenio firmado en julio de 2003) Conclusiones al realizar el Informe Global del PEI en Galicia: Mejora significativa en el contenido y estructura de los diferentes informes, subsanándose la mayoría de problemas de las convocatorias anteriores. De forma general, se siguen las distintas guías para elaborar los informes, se cubren las tablas correctamente, se hace un seguimiento exhaustivo por parte de las UTC y hay una mayor implicación de los miembros de los CA en el proceso.

LOS DATOS E INDICADORES

PNECU En la mayoría de los casos… No se cumplimentan todas las tablas de datos e indicadores Los informes se limitan a exponer datos estadísticos sin presentar ningún tipo de análisis ni valoración Dificultad para obtener todos los datos estadísticos necesarios para comprobar las valoraciones (las Unidades de Calidad se estaban creando)

Sigue fallando la cumplimentación de las tablas de datos e indicadores (muchos aparecen sin cubrir o cubiertos de forma incorrecta) Principales indicadores sin cubrir en el II PCU: Nota Media de Acceso PAU y FP PDI a Tiempo Completo Gasto Corriente Puestos en Biblioteca Tasa de Rendimiento Tasa de Éxito Proporción de Sexenios LOS DATOS E INDICADORES II PCU

PEI Se observa frecuentemente dificultades para valorar algunos datos estadísticos básicos, tales como la duración media de los estudios, la tasa de abandono, etc. Los Comités de Evaluación Externa recomiendan incorporar los datos sobre el contexto de la titulación, las evidencias empleadas y mayor desarrollo del plan de mejoras. LOS DATOS E INDICADORES

Recursos Humanos – Grado de Movilidad del Personal Académico. – Formación Pedagógica del Personal Académico. Recursos Materiales – Disponibilidad de m2 en espacios experimentales. Proceso Formativo – Participación de alumnos de nuevo ingreso en programas de acogida. – Participación en programas de inserción laboral. – Movilidad de los alumnos. – Prácticas externas. Resultados – Tasa de Eficiencia. – Indice de satisfacción del egresado. – Grado de satisfacción de empleadores. PEI-ACSUG, 1ª convocatoria Principales Indicadores / Tablas Sin Cubrir

LA FORMACIÓN DE LOS COMITÉS DE EVALUACIÓN

 LOS COMITÉS DE AUTOEVALUACIÓN  LOS COMITÉS DE EVALUACIÓN EXTERNA  LAS JORNADAS DE REFLEXIÓN CON LOS EVALUADORES EXTERNOS

La ACSUG organizó desde el año 2002 siete jornadas de formación a las que asistieron 446 miembros de Comités de Autoevaluación Tras estas jornadas podemos extraer una serie de recomendaciones/conclusiones (la mayoría extraídas de cuestionarios de valoración realizados a los asistentes): Es importante que antes de la jornada los miembros de los comités se familiaricen con la guía de autoevaluación y lleguen a la jornada con el objetivo de aclarar conceptos y solucionar dudas Es preferible dedicar más tiempo a la realización del caso práctico, ya que es donde se solucionan más dudas Es importante la participación en las jornadas de personal de las Unidades Técnicas de Calidad LA FORMACIÓN DE LOS COMITÉS DE AUTOEVALUACIÓN

LA FORMACIÓN DE LOS EVALUADORES EXTERNOS Se realizaron dos Jornadas de formación en las que participaron 64 evaluadores externos Se organizaron también dos Jornadas de Reflexión con miembros de los comités de evaluación externa que participaron en el SUG. En total asistieron 50 evaluadores, la mayoría actuaron como Presidentes/Coordinadores de los CEE y también se invitó a una representación de vocales profesionales, dada la singularidad de sus planteamientos

LAS JORNADAS DE REFLEXIÓN CON EVALUADORES EXTERNOS LA FORMACIÓN DE LOS EVALUADORES EXTERNOS OBJETIVO PRINCIPAL DE ESTAS JORNADAS: -Analizar en profundidad el proceso de evaluación externa, detectar las debilidades que hayan podido surgir y proponer correcciones para futuros procesos de evaluación

Valoraciones de los Comités de Evaluación Externa Escaso reconocimiento de la labor realizada por los Comités de Evaluación. Elevado grado de satisfacción de los Comités de Evaluación Externa. Buena coordinación entre los miembros. Visita al Centro: Excesivo número de reuniones y audiencias. Falta de tiempo para análisis y puesta en común de criterios para la elaboración del Informe de Evaluación Externa. Escasa asistencia de la Comunidad Universitaria a las audiencias. LA FORMACIÓN DE LOS EVALUADORES EXTERNOS

EL INFORME FINAL PNECU En los Informes Finales de las titulaciones y en los elaborados por las universidades se aprecia gran heterogeneidad en la estructura de los mismos favorecida por la ausencia de una definición clara sobre su estructura y contenidos en la guía de evaluación.

PCU En los Informes Finales se pone de manifiesto el elevado nivel de implicación y satisfacción de los Comités de Autoevaluación, pero manifiestan que no se consigue trasladar esta implicación al resto de la comunidad universitaria Hay una mejora significativa observada en la estructura y uniformidad de los Informes con respecto a los presentados en el PNECU La ACSUG elabora un Modelo de Propuestas de Mejora consensuado con las tres universidades gallegas y que será el que utilicen para la presentación de las mismas en los Informes Finales EL INFORME FINAL

PEI La ACSUG elabora la Guía para el seguimiento del Plan de Mejora de manera consensuada con las Universidades y que están utilizando en la actualidad para realizar el seguimiento de las propuestas EL INFORME FINAL

Resumen de los Puntos Fuertes, Puntos Débiles y Propuestas de Mejora más comunes a lo largo de los diferentes planes de evaluación institucional EL INFORME FINAL

PUNTOS FUERTES MÁS FRECUENTES Punto FuertePNECUPCUPEI Elevado grado de satisfacción con la formación proporcionada a sus titulados. Buena cualificación del profesorado, aunque con problemas para su consolidación en algunos casos. Excelentes relaciones externas. Guía de la titulación bien estructurada. Instalaciones adecuadas, aunque con diferencias puntuales en algunos casos. Progresiva incorporación de medios audiovisuales a la docencia.

EL INFORME FINAL PUNTOS DÉBILES MÁS FRECUENTES Puntos DébilesPNECUPCUPEI Elevada tasa de abandono y retraso. Ausencia de una definición clara de metas y objetivos. Ausencia de Plan Estratégico y de Calidad de la Titulación. Carencia de estudios de Inserción Laboral de los titulados propios. Descoordinación entre materias afines, esencialmente aquellas dependientes de distintos departamentos. Metodología docente basada en la clase magistral y exámenes escritos. Dificultades de adaptación al E.E.E.S. Baja utilización de las tutorías. Escasas relaciones externas.

EL INFORME FINAL

Gracias por su atención