La evaluación institucional y de la docencia universitaria en España La evaluación institucional y de la docencia universitaria en España. Experiencia de la evaluación docente en la Universidad de Valencia José González Such Dto Métodos de Investigación y Diagnóstico en Educación Facultad de Filosofia y Ciencias de la Educación UNIVERSITAT DE VALÈNCIA Santo Domingo, 1 y 2 de octubre 2014

Esquema Sistema educativo Fuente: AMPA CEIP Príncipe Felipe. Análisis de la LOMCE. http://ampaprincipefelipe.wordpress.com /2012/11/23/analisis-de-la-lomce/

Organización de la Educación Universitaria. Fuente: Ministerio de Educación, Cultura y Deporte.

Títulos que se ofrecen Oficiales: Los títulos universitarios oficiales tienen validez en todo el territorio nacional, los establece el Gobierno y están adaptados al Espacio Europeo de Educación Superior (EEES). No oficiales: Los títulos no oficiales o propios son creados por las universidades y no tienen validez oficial dentro del EEES,

Enfoques de evaluación (Jornet, 1991; Jornet et al, 1996) Evaluación Institucional. Énfasis en aspectos estructurales y funcionales de la Universidad como organización. Pocas referencias personales. Colectivo, nunca individuos Evaluación de programas Análisis comprobación del valor/utilidad de un determinado programa, expresión de unidades estructurales y funcionales y su interacción. Las referencias personales se consideran por su valor individual en la organización Evaluación del profesorado Énfasis en la acción individual del profesor. Puede utilizar referencias institucionales o de programa como elementos de ponderación.

Evaluación Institucional y evaluación de la docencia Desde un enfoque de Evaluación Institucional, la unidad a evaluar no es el docente La evaluación de la docencia la entendemos en dos sentidos: la que realiza el profesor y la que realiza la carrera o titulación Usos: Formativo y sumativo Diferentes tipos de información sobre la ejecución individual del profesor y distintos enfoques para el análisis de la información Al unir los dos enfoques en uno, los profesores deben elegir entre la honestidad en la información a partir de una posición autocrítica o minimizar las debilidades enfatizando sus contribuciones (Mills y Hyle, 1999).

Sectores interactivos de la gestión de calidad de la Universidad Fuente: Meade, 1995 p 76

Evaluación la evaluación, al igual que cualquier proceso que implique toma de decisiones, por ejemplo la justicia, está impregnada de ideología e influenciada por las decisiones administrativas y las orientaciones de carácter político. Tejedor y Jornet, 2008

Fuentes de información las opiniones del alumnado, los niveles de rendimiento del alumnado, la evaluación por iguales, los auto-informes, las opiniones de los directivos o la autoevaluación del profesorado. Indiscutiblemente, la fuente más utilizada ha sido las opiniones del alumnado.

Aspectos a considerar aspectos a tener en cuenta para la puesta en marcha de un sistema de evaluación del profesorado los señalaba Tejedor (2003: 157) 1) Determinar el modelo de profesor que se quiere, estableciendo los comportamientos que se consideran deseables para después analizar en qué medida la conducta del profesor satisface el referente de calidad establecido 2) ¿Cómo puede lograrse que se ajuste a la práctica educativa? 3) Criterios básicos que deben orientar el proceso evaluativo: Cumplimiento de obligaciones, capacidad para impartir eficazmente el conocimiento, capacidad para mejorar el orden académico necesario para el aprendizaje, capacidad para establecer las relaciones adecuadas y capacidad para satisfacer las expectativas de los alumnos 4) ¿Qué datos deben recogerse? ¿A partir de qué fuentes de información? 5) ¿Cómo son los indicadores? 6) ¿Quién ha de obtener los datos? 7) ¿Qué recursos se necesitan? 8) ¿Cómo serán empleados los datos?

Un poco de historia La evaluación de la docencia en España ha pasado en los últimos años desde una situación en la que prácticamente no estaba contemplada hasta la actualidad en la que es progresivamente más relevante. Ley Orgánica 4/2007 de 12 de abril se modifica la LOU, incorporando un modelo de acreditación que permite a las universidades seleccionar a su profesorado entre los acreditados. La investigación ha sido el ámbito que más impulso ha tenido durante este período Dentro del proceso de implantación del Espacio Europeo de Educación Superior la docencia y su evaluación ha ido incrementado su protagonismo sobre todo a partir de los procedimientos de innovación docente

ANECA. Programas PEP. Programa de Evaluación del Profesorado para la Contratación. Evaluación de los solicitantes para el acceso a las figuras de profesor universitario contratado ACADEMIA: Evalúa el CV para el acceso a los cuerpos de funcionarios docentes universitarios, Profesores Titulares de Universidad y Catedráticos de Universidad.

ANECA. Programas DOCENTIA: Ayuda a las universidades a crear sistemas de evaluación de su profesorado. El programa incluye las recomendaciones para la Garantía de Calidad en las instituciones de Educación Superior elaboradas por la European Association for Quality Assurance in Higher Education (ENQA) o The Personnel Evaluation Standards, del Joint Commite of Standards for Educational Evaluation.

ANECA VERIFICA: Evalúa las propuestas de los planes de estudio diseñados en consonancia con el Espacio Europeo de Educación Superior MONITOR: Realiza el seguimiento de los títulos oficiales para comprobar su correcta implantación y resultados. AUDIT: Orienta a los centros universitarios en el diseño de sistemas de garantía interna de calidad (SGIC), como forma de garantizar el cumplimiento de los objetivos asociados a las enseñanzas que imparten, buscando su mejora. MENCION: Evalúa a los programas de doctorado que optan a una Mención para la Excelencia. ACREDITA: Realiza una valoración para la renovación de la acreditación inicial de los títulos oficiales. ACREDITA PLUS: Evaluación para la renovación de la acreditación y obtención de sellos europeos.

AGENCIAS REGIONALES Además, están las agencias de evaluación de las Comunidades Autónomas ACAP, ACECAU, ACPUA, ACSUCYL, ACSUG, ACUCM, AGAE, AQU, AQUIB, AVAP Y UNIQUAL

Acreditación del profesorado En la actualidad se está preparando un Real Decreto por el que modifica el procedimiento de acreditación basándose en estas directrices: Simplificación del procedimiento y mejora regulatoria de los procedimientos de acreditación del profesorado universitario Potenciar el uso de las tecnologías de la información y de la comunicación en los procesos de acreditación Garantizar mayor objetividad y transparencia en la acreditación

DOCENTIA Principios de calidad, movilidad, diversidad y competitividad entre universidades europeas en el Espacio Europeo de Educación Superior. Calidad: Criterios y directrices para la garantía de calidad en el Espacio Europeo de Educación Superior - Garantía de calidad del personal docente: garantizar que el profesorado está cualificado y es competente para ese trabajo. - Sistema de Garantía de calidad. La evaluación de la actividad docente se entiende como parte de un sistema, desarrollado por una institución, para garantizar la calidad de los planes de estudio que imparten.

DOCENTIA (2) La evaluación de la actividad docente está integrada en el marco estratégico definido por la Universidad: Política de profesorado. Incluye la formación, la promoción y los incentivos económicos Obligatoriedad de la evaluación de las actividades docentes, investigadoras y de gestión del profesorado. Se han tenido en cuenta estándares internacionales.

DOCENTIA. Objetivos Misión: Facilitar y apoyar la evaluación de la actividad docente del profesorado universitario Visión: Disponer de un modelo validados de evaluación de la actividad docente del profesorado apropiado, útil, viable y preciso. Objetivos: Proporcionar un marco de referencia, un modelo y unos procedimientos para la evaluación de la AD. Favorecer el desarrollo del profesorado, su promoción mediante evidencias Favorecer el proceso de toma de decisiones relacionadas con la evaluación (política y gestión de los RRHH) Contribuir al cambio cultural en las universidades

DOCENTIA. Enfoque La actividad docente se puede definir como el conjunto de actuaciones, que se realizan dentro y fuera del aula, destinadas a favorecer el aprendizaje de los estudiantes con relación a los objetivos y competencias definidas en un plan de estudios y en contexto institucional determinado. Evaluación de la actividad docente: la valoración sistemática de la actuación del profesorado considerando su rol profesional y su contribución para conseguir los objetivos de la titulación en la que está implicado, en función del contexto institucional en que ésta se desarrolla. Evaluación interna de la Universidad, con participación de agentes externos.

DOCENTIA. Modelo Tres dimensiones: Planificación de la docencia Desarrollo de la enseñanza Resultados Transversal: la dedicación docente

DOCENTIA. Fuentes y procedimientos Las universidades que participan podrán seleccionar las fuentes y métodos de recogida de información que estimen más adecuadas. Características: Evitar posibles sesgos. Distintas fuentes Han de ser válidos. Distintas fuentes para cada dimensión Interacción con los evaluados. Los profesores podrán reflejar su visión Viables. DIMENSIONES A EVALUAR FUENTES Y PROCEDIMIENTOS DE EVALUACIÓN Profesor Responsables Académicos Estudiantes Panificación Auto-informe Informe Encuesta Desarrollo Resultados

Universitat de València. Docentia 1985 Estatutos: necesidad de evaluación de la docencia 1987 Procedimiento Evaluación docencia >> Estudiantes 2003 Estatutos Necesidad de fomentar iniciativas y planes para mejorar la calidad de los servicios, entre ellos docencia. Alumnos y profesores Incorporación al EEES. Nuevos grados y másters >> Desarrollo de nuevos procedimientos de Ev Doc. El plan estratégico 2008-2011 de la UV : necesidad de reconocimiento de la dedicación del profesorado. 2º Plan estratégico 2012-2015. Revisión de los criterios del reconocimiento de la actividad docente

Objetivos de la Evaluación de la Docencia Contribuir a la mejora de la docencia de la Universitat de València. • Incorporar en la evaluación de la docencia todas aquellas actividades que directamente inciden en su calidad. • Identificar los distintos niveles de calidad en la docencia impartida. • Reconocer públicamente el esfuerzo de los profesores y las profesoras. • Conocer las áreas y profesorado a los que debe ofrecerse servicios y programas de formación y apoyo a la docencia. • Proporcionar información válida y fiable sobre la actividad docente para la toma de decisiones en todos los procesos de selección, renovación y promoción del profesorado. • Cualquier otro que pueda establecer en el futuro la Universitat de València mediante los órganos competentes.

Niveles de evaluación Nivel básico a. Obligaciones fundamentales de la actividad docente, considerándose como tales: • Asistencia a clase. • Cumplimiento de tutorías. • Cumplimiento de la lengua que figura en el encargo docente. • Cumplimiento de los requerimientos administrativos sobre evaluación de los estudiantes. La Universitat establecerá los instrumentos y medidas necesarios para comprobar el cumplimiento de estas obligaciones. b. Satisfacción de los estudiantes. Alcanzar este nivel requiere una valoración positiva mínima en todos los apartados.

Niveles de evaluación 2. A partir del reconocimiento favorable del nivel básico, la Universitat evaluará la actividad docente del profesor utilizando una valoración numérica continua. Las dimensiones que, de acuerdo con las pautas establecidas por ANECA y AVAP, han de considerarse para efectuar la valoración del NIVEL AVANZADO son las siguientes: • Dedicación a la docencia (encargo docente). • Planificación docente. • Desarrollo de la actividad docente. • Resultados de la docencia. Con este nivel se pretende reconocer todo el esfuerzo suplementario que el profesorado lleva a cabo más allá de las obligaciones fundamentales de la actividad docente.

Agentes implicados El profesor o profesora Órganos responsables del desarrollo de la docencia: Consejo de Departamento y Comisión Académica de Título (CAT) en grados o la Comisión de Coordinación Académica (CCA) en postgrados. Estudiantes que participan en la actividad docente La Unitat de Qualitat Servei de Resursos Humanos (PDI) Servicio de Formación Permanente e Innovación educativ Comité permanente de Evaluación de la Actividad Docente Comisión de profesorado Rector o Rectora

Criterios Adecuación Satisfacción Eficiencia NIVEL BASICO Asistencia a clase Cumplimiento de tutorías Cumplimiento de la lengua ofertada Cumplimiento de procedimientos de evaluacíón (exámenes, prácticas, actas…) Satisfacción del estudiantado. Desfavorable con menos de 2.5

Criterios Nivel avanzado Dedicación docente: docencia y preparación de la misma a. Referidos al encargo docente: 1.1. Cantidad de docencia impartida. 1.2. Número de estudiantes atendidos. 1.3. Número de materias nuevas impartidas. b. Referidos a otros encargos: 1.4. Encargos institucionales de coordinación académica y de programas específicos de política universitaria. 1.5. Otras tareas relacionadas con la docencia siempre y cuando no estén contempladas ya en el POD (Plan de Ordenación Docente) y que conlleven cierto nombramiento (por ejemplo, miembro de la CAT, miembro de la CCA, participación en tribunales de final de grado y máster…).

Criterios Planificación de la docencia a. Referidos a la formación, innovación y mejora: 2.1. Formación de carácter docente recibida o impartida. 2.2. Participación en proyectos de innovación y mejora docente. 2.3. Oferta de materiales docentes de elaboración propia. b. Referidos a la organización de la docencia: 2.4. Guía Docente. 2.5. Coordinación de la actividad docente.

Criterios Desarrollo de la docencia Resultados de la docencia 3.1. Desarrollo de la actividad docente. Se valora autoinforme del profesor, las encuestas y la ausencia de incidencias y reclamaciones 3.2. Docencia impartida en lenguas distintas del castellano. 3.3. Participación en tribunales de final de grado y/o final de máster. Resultados de la docencia 4.1. Satisfacción global de los estudiantes. 4.2. Premios y reconocimientos a la calidad de la docencia. 4.3. Resultados académicos: Tasa de rendimiento.

Instrumentos y evidencias Guía docente Actas y bases de datos sobre rendimiento de estudiantes Plan de Organización Docente Materiales docentes Sistemas de comprobación de cumplimiento de obligaciones docentes de carácter presencial Participación en proyectos, iniciativas, formación y procesos de mejora de la calidad Buzón de sugerencias, quejas y reclamaciones

Instrumentos Memoria anual Autoinforme quinquenal Informe del Consejo de Departamento Informe de la Comisión Académica de Título (CAT) o CCA Encuestas de satisfacción a los y las estudiantes sobre la docencia del profesorado

Publicidad y seguimiento La información resultante de la evaluación de la docencia tiene carácter público Principio de transparencia Resultados a disposición de la comunidad universitaria Análisis diferenciado Propuesta de acciones de mejora Informes de egresados Evaluación del sistema cada 5 años

Sugerencias desde la práctica Cada centro es distinto. Cada uno de los centros tiene sus propias características nº de alumnos Capacidad docente ¿Sistema cafetería? Procedimiento consensuado por todos los estamentos: profesorado, Sindicatos Visión mercantilista del procedimiento Encuestas online Instrumentos bien construidos Triangulación Transparencia Utilidad Establecimiento de sistemas formativos para el profesorado Establecimiento de un período de prueba: sistema informático, etc. Necesidad de una sistema informático bien elaboaad

Opiniones en contra Entre las críticas que recibe el programa se encuentran: Se entiende que es un procedimiento empresarial aplicado a la educación. Adecuación al número de alumnos. La realización del programa de acreditación de la investigación produjo una ruptura entre docencia e investigación. Un programa de acreditación que pretendía motivar la investigación y que ha devenido en un sistema en el que lo importante es tener sexenios, aún a costa de la docencia. Así, el profesorado que no tiene sexenios tendrá aún más docencia, lo que dificulta el tiempo de investigación. Basar algunas decisiones en la opinión de alumnos El programa penaliza las reclamaciones, y no indica si son las que prosperen Se premia la participación en tribunales, y no la dirección de los trabajos La tasa de rendimiento La estratificación del cuerpo docente. En la actualidad hay tres tipos de dedicación: 16 créditos, 24 créditos y 29 créditos.

Algunas preguntas ¿Están todos los colectivos implicados de acuerdo con el modelo? ¿Los instrumentos elaborados están bien construidos, son fiables, válidos y libres de sesgo? ¿Son necesarios todos los indicadores contemplados o sobra/n alguno/s? Las puntuaciones de ponderación reflejan adecuadamente las necesidades? ¿Se favorece a algún colectivo o grupo especialmente? ¿Cuál es el grado de ajuste entre los objetivos planteados la metodología utilizada? ¿El modelo permite diferenciar distintos niveles en la ejecución del profesorado?

Muchas gracias por su atención Jose. gonzalez@uv. es http://www. uv