Manuel Barbancho Medina

Presentación del tema: "Manuel Barbancho Medina"— Transcripción de la presentación:

1 Manuel Barbancho Medina
UNIVERSIDAD ROVIRA I VIRGILI II Jornadas de Presidentes de Comisiones de Doctorado de Universidades Españolas Las Agencias de Calidad de las Comunidades Autónomas y los estudios de postgrado Tarragona, 3 y 4 de noviembre de 2003 Manuel Barbancho Medina Director de la Unidad para la Calidad de las Universidades Andaluzas (UCUA) Clemente Navarro Coordinador del proyecto experimental andaluz de evaluación de títulos de postgrado (UPO)

2 Agencia Andaluza de Calidad Universitaria: competencias y funciones
II: El proyecto experimental andaluz de evaluación de títulos de postgrado

3 Competencias de las Agencias según la LOU
La LOU resalta explícitamente que una de las principales innovaciones viene dada por la introducción en el sistema universitario de mecanismos externos de evaluación de su calidad. Para ello promueve la creación de la Agencia Nacional de Evaluación y Acreditación y de las Agencias Autonómicas, a través de sus respectivas Leyes. Dichas Agencias asumen, en sus ámbitos respectivos, las competencias de evaluación, certificación o acreditación de las enseñanzas, de la actividad investigadora, docente y de gestión del PDI y de los servicios y programas de las Universidades, para promover y garantizar la calidad de las mismas.

4 Competencias de las Agencias según la LOU
Las funciones de evaluación, certificación y acreditación (referidas en el apartado 2 del artº 31), en el ámbito de sus competencias, corresponden al órgano de evaluación que la Ley de la Comunidad Autónoma determine, sin perjuicio de las que desarrollen otras Agencias de evaluación del Estado o de las Comunidades Autónomas. Artº 31.3

5 ANECA LA EVALUACIÓN DE LA CALIDAD EN ANDALUCÍA según la LAU
Ley Orgánica de Universidades Ley Andaluza de las Universidades ANECA Creación Agencia Andaluza de Evaluación y Acreditación (desaparición UCUA)

6 Comisión de Fomento de la Calidad. (CAU)
ASIGNACIÓN DE FUNCIONES RELACIONADAS CON LA POLÍTICA DE CALIDAD Y EVALUACIÓN Agencia Evaluación Política de Calidad Comisión de Fomento de la Calidad. (CAU) Representantes CEC  Rectores Universidades Públicas Tres miembros designados por el Parlamento de Andalucía Cuatro Presidentes Consejos Sociales. Director Agencia Andaluza de Evaluación  

7 ESTRUCTURA DE LA AGENCIA
Consejo Rector Presidente: Consejera EC Vicepresidente: Director G. 3 Subdirectores área 5 profesores de prestigio (CAU) Gerente Secretario Estructura Agencia Organismo Autónomo de carácter administrativo Comisión Técnica Superior de Evaluación: Director General Subdirectores de área Personas de prestigio Secretario

8 ESRUCTURA FUNCIONAL DE LA AGENCIA
SUBCOMISIONES ASESORAS ESPECÍFICAS Área de Docencia y Gestión Docente COMPOSICIÓN P: Subdirector(es) Área(s) Expertos en las materias Composición equilibrada y adaptada a la función encomendada Área de Investigación Estructura Funcional Área de Administración y Servicios

9 FUNCIONES Y RETOS DE LA AGENCIA DE CALIDAD
EVALUACIÓN DE PROGRAMAS Y UNIDADES ACREDITACIÓN Y CERTIFICACIÓN EVALUACIÓN DE ACTIVIADES DEL PDI FORMACIÓN, ESTUDIOS Y DOCUMENTACIÓN EVALUACIÓN Plan Andaluz Investigación EVALUACIÓN PROFESORADO AA petición de las Universidades, Consejería de Educación y Ciencia, organismos públicos y privados y particulares.

10 Las Relaciones de la Agencia
Programas de formación Apoyo Planes de Mejora Información CONSEJERÍA E y C UNIVERSIDADES AGENCIA Sistema Universitario Andaluz CAU Evaluación/certificación de programas/unidades Informes para contratos PDI Informes para complementos retributivos Informes acreditación títulos Ev. Complementos retributivos Colab. Ev. Contratos programa Evaluación para PAI Información OTRAS AGENCIAS

11 El proyecto experimental andaluz de evaluación de títulos de postgrado
Índice Objetivos y agentes de la Evaluación La Lógica del Proceso de Evaluación Estructura, contenidos y procesos Factores y funciones en los procesos El sistema de indicadores El desarrollo del proceso de evaluación Las fuentes y los instrumentos El Informe de Evaluación El diagnóstico El Plan de Mejora

12 Objetivos y agentes de la Evaluación
OBJETIVO GENERAL Mejora del título evaluado, desde una reflexión colectiva y múltiple (enseñanza, investigación y gestión) enfocada al alumnado como destinatario de la formación y usuario del servicio. OBJETIVOS ESPECÍFICOS Establecer y validar criterios e indicadores Experimentar el Manual Analizar el proceso de evaluación Identificar fortalezas y debilidades Proponer un Plan de Mejora

13 Objetivos y agentes de la Evaluación
Estudiantes Profesorado Tutores de investigación tutelada Directores de Tesis Doctorales Tribunales de Trabajos de investigación y Tesis Doctorales Coordinadores de Programas PAS Comisiones de Doctorado Departamentos Comisiones de Doctorado de la Universidad COMITÉ

14 La Lógica del Proceso de Evaluación: PROCESOS Y RESULTADOS
Maestría Título propio

15 La Lógica del Proceso de Evaluación: FACTORES Y FUNCIONES
DEMANDA DESARROLLO RESULTADO OFERTA

16 La Lógica del Proceso de Evaluación: EL SISTEMA DE INDICADORES

17 Inicial del proceso . ordinal
CÓDIGO DEL INDICADOR Inicial del proceso . ordinal DATOS DEL INDICADOR PROCESO Indicar el proceso al que se refiere el indicador, de entre los siguientes: SELECCIÓN, DOCENCIA, INVESTIGACIÓN y ELABORACIÓN DE TESIS DENOMINACIÓN Nombre que se asigna al indicador OPERACIONALIZACIÓN Fórmula a aplicar para el cálculo del indicador RECORRIDO Intervalo que incluye el conjunto de valores que puede tomar el indicador DESCRIPCIÓN Breve descripción del indicador. En los casos en que es necesario, se incluye un sencillo ejemplo, para facilitar la interpretación del resultado de la operacionalización ÁMBITO (nivel agregación) Para todos los casos, el nivel de agregación es el PROGRAMA DE DOCTORADO FUENTES (informantes) Origen de la información necesaria para el cálculo del indicador INSTRUMENTOS Soporte utilizado para la recogida de la información TIEMPO Temporalización de la medida del indicador. En los procesos de SELECCIÓN, DOCENCIA e INVESTIGACIÓN se ha tomado el BIENIO y en el de ELABORACIÓN DE TESIS, el SEXENIO

18 FUNCIÓN : actividades que se desarrollan en cada proceso
RASGOS DEL INDICADOR D.17 FACTOR: Hace referencia a los elementos que intervienen en cada proceso Demanda Oferta Desarrollo Resultados FUNCIÓN : actividades que se desarrollan en cada proceso Enseñanza Investigación Apoyo investigación Gestión CARÁCTER Descriptivo Evidencia Evaluativo Valoración MEDICIÓN: escala o nivel de medición del indicador Nominal (cualitativa) Ordinal (cuantitativa) Interval (cuantitativa)

19 Investigación tutelada
APLICACIÓN DEL INDICADOR : Factores y Procesos sobre los que influye el indicador. PROCESOS FACTORES Selección Docencia Investigación tutelada Tesis doctoral Demanda Oferta Desarrollo Resultado

20 D.17 CÓDIGO DEL INDICADOR DATOS DEL INDICADOR PROCESO DENOMINACIÓN
DOCENCIA DENOMINACIÓN Calidad del éxito de la fase docente OPERACIONALIZACIÓN S Calificaciones medias de los alumnos con CD D.17 = Nº total de alumnos con CD 1: aprobado. 2: notable. 3: sobresaliente. 4: matrícula de honor RECORRIDO (1,4) DESCRIPCIÓN Hablaremos de calificaciones o notas medias dependiendo de si , en el certificado que obtiene el alumno una vez concluye el Periodo de Docencia con éxito, su calificación final viene reflejada por una puntuación directa, o bien, por una nota media de diferentes puntuaciones específicas. Este indicador aporta información relevante sobre la calidad del éxito de la fase docente suponiendo que, a mayor calificación final, mayor calidad de la docencia. ÁMBITO (nivel agregación) Programa de doctorado FUENTES (informantes) Área de Expedientes Académicos (numerador) Unidad de Gestión de Tercer Ciclo (denominador) INSTRUMENTOS Base de datos del Área de expedientes Académicos (D_Exp) Base de datos de Unidad de Gestión de Tercer Ciclo (D/UGTC) TIEMPO Bianual

21 FUNCIÓN : actividades que se desarrollan en cada proceso
RASGOS DEL INDICADOR D.17 FACTOR: Hace referencia a los elementos que intervienen en cada proceso Demanda Oferta Desarrollo Resultados FUNCIÓN : actividades que se desarrollan en cada proceso Enseñanza Investigación Apoyo investigación Gestión CARÁCTER Descriptivo Evidencia Evaluativo Valoración MEDICIÓN: escala o nivel de medición del indicador Nominal (cualitativa) Ordinal (cuantitativa) Interval (cuantitativa)

22 Investigación tutelada
APLICACIÓN DEL INDICADOR : Factores y Procesos sobre los que influye el indicador. PROCESOS FACTORES Selección Docencia Investigación tutelada Tesis doctoral Demanda Oferta Desarrollo Resultado

23 Competitividad de la demanda S.2 Demanda extranjera S.3
CÓDIGO DENOMINACIÓN S.1 Competitividad de la demanda S.2 Demanda extranjera S.3 Interdisciplinariedad de la oferta S.4 Satisfacción con servicio de U. Gestión 3er Ciclo S.5 Satisfacción con servicio de Área Gestión Expedientes Académicos S.6 Satisfacción de alumnos extranjeros con acogida S.7 Calidad de la demanda S.8 Matrícula extranjera S.9 Intención obtener título Doctor Factor Demanda Oferta Desarrollo Resultados

24 D.1 Alumnos matriculados por programa D.2 Nivel de asistencia a clase D.3 Media de sexenios por profesor D.4 Interdisciplinariedad del profesorado D.5 Proporción de profesores extranjeros D.6 Existencia de programa en la asignatura D.7 Utilidad de la asignatura en la definición del proyecto de investigación D.8 Relación de la asignatura con el conjunto del programa D.9 Contribución del sistema de evaluación a la definición del proyecto de investigación D.10 Relación de la coordinación del programa con el alumnado D.11 Coordinación Biblioteca-Programa D.12 Satisfacción de la Coord. del Programa con equipa/ y servicios informáticos D.13 Satisfacción del alumnado con servicio prestado por Biblioteca D.14 Satisfacción del alumnado con el equipa/ y servicios informáticos D.15 Satisfacción del profesorado con servicio prestado por U.Gest. 3erC D.16 Tasa de éxito en la fase docente D.17 Nivel del éxito de la fase docente Demanda Oferta Desarrollo Resultado

25 I.1 Carga Tutorial I.2 Adecuación del área de investigación I.3 Dedicación Tutorial I.4 Sexenios de Investigación del tutor I.5 Reconocimiento a la labor tutorial I.6 Cobertura Científica del Alumno I.7 Valoración de la labor tutorial I.8 Autovaloración de la dedicación del alumno I.9 Satisfacción del alumno con el servicio de Biblioteca I.10 Satisfacción alumno con los servicios informáticos I.11 Éxito del DEA I.12 Nota media calificación tesinas I.13 Valoración tesinas por el Tribunal Demanda Oferta Desarrollo Resultados

26 Selección 9 Docencia 17 Investigación 13 Tesis 6 TODOS 45 T.1
Carga de Dirección T.2 Sexenios de investigación del Director de Tesis T.3 Cobertura Científica del Doctorando T.4 Éxito de la lectura de la Tesis Doctoral T.5 Nota media calific. Tesis Doctoral T.6 Valoración Tesis por parte del Tribunal Oferta Desarrollo Resultados Proceso Nº indicadores Selección 9 Docencia 17 Investigación 13 Tesis 6 TODOS 45

27 El desarrollo del proceso de evaluación: Las fuentes y los instrumentos

28

29 El Informe de Evaluación: El diagnóstico
Ficha para punto débil o fuerte. Aplicación práctica

30 Ficha para propuesta de mejora.
Aplicación práctica

31 Evaluación de indicadores[1].
CÓDIGO DENOMINACIÓN COMPRENSIÓN[2] RELEVANCIA[3] ESFUERZO [4] PROCESOS S.1 Competitividad de la demanda SELECCIÓN S.2 Demanda extranjera S.3 Interdisciplinariedad de la oferta S.4 Satisfacción con servicio de U. Gestión 3er Ciclo S.5 Satisfacción con servicio de Área Gestión Expedientes Académicos S.6 Satisfacción de alumnos extranjeros con acogida S.7 Calidad de la demanda S.8 Matrícula extranjera S.9 Intención obtener título Doctor [1] El Comité valorará la comprensión, relevancia y esfuerzo de los indicadores en una escala de 1 (bajo) a 5 (alto). En el caso de no tener respuesta clara, marcar 1. [2] Los indicadores se comprenden fácilmente y están enunciados con claridad [3] Los indicadores son claves para comprender y mejorar el título evaluado [4] Nivel de esfuerzo requerido para calcular el indicador

32 TÍTULOS A EVALUAR EN EL PLAN EXPERIMENTAL DE EVALUACIÓN DE
TERCER CICLO, MAESTRÍAS Y TÍTULOS PROPIOS DE LA UCUA UPO T. Propio "Curso de especialista universitario de Gestión de Empresas Cooperativas” UNIA VI Maestría en Conservación del Medio Natural VI Maestría en Desarrollo Económico en América UGR Master en Museología Experto Universitario en Derecho de Extranjería UCA Programa Doctorado “Ciencias y Tecnologías Químicas” UCO Titulación Superior en Desarrollo Rural Curso Postgrado de Orientación Familiar GRUPO REDACTOR DEL MANUAL (UPO) Responsable: Clemente J. Navarro Equipo: Ana Villarán Rocío Guevara Cristian Suárez Milagro Cornejo

33