EVALUACIÓN DOCENTE ON-LINE Manuel Peralbo Uzquiano VICERRECTOR DE CALIDAD Y ARMONIZACIÓN EUROPEA

Antecedentes Evaluación: encuestas en papel realizadas en clase, anónimas, sin “visualización del profesor” Evaluación: encuestas en papel realizadas en clase, anónimas, sin “visualización del profesor” Programas de formación independientes de la evaluación y sin que dispusieran de una evaluación de los efectos del programa. Programas de formación independientes de la evaluación y sin que dispusieran de una evaluación de los efectos del programa. Evaluación y formación centrada en el profesorado, sin inclusión de estudiantes, centros y PAS Evaluación y formación centrada en el profesorado, sin inclusión de estudiantes, centros y PAS Sólo se evaluaba satisfacción, no competencias para Sólo se evaluaba satisfacción, no competencias para

Razones para un cambio El EEES que introduce un sesgo hacia el aprendizaje (y por tanto hacia el aprendiz) y que promueve el análisis de las competencias implicadas en cada actividad El EEES que introduce un sesgo hacia el aprendizaje (y por tanto hacia el aprendiz) y que promueve el análisis de las competencias implicadas en cada actividad La necesidad de romper con una evaluación que se acaba convirtiendo en un fin en sí mismo para incluirla en un proceso de evaluación para la mejora (formación) en sintonía con lo establecido por la ENQA (Asociación Europea para la Garantía de la Calidad en la Educación Superior La necesidad de romper con una evaluación que se acaba convirtiendo en un fin en sí mismo para incluirla en un proceso de evaluación para la mejora (formación) en sintonía con lo establecido por la ENQA (Asociación Europea para la Garantía de la Calidad en la Educación Superior Informe sobre Criterios y directrices para la garantía de la calidad en el EEES: Las instituciones deben disponer de medios que garanticen que el personal docente está capacitado y sea competente para su trabajo Informe sobre Criterios y directrices para la garantía de la calidad en el EEES: Las instituciones deben disponer de medios que garanticen que el personal docente está capacitado y sea competente para su trabajo La necesidad de poner los recursos en la formación y no en los procedimientos evaluativos y de poder modificar la oferta en función de los resultados conseguidos. La necesidad de poner los recursos en la formación y no en los procedimientos evaluativos y de poder modificar la oferta en función de los resultados conseguidos.

Evaluación on- line en la UDC

Plan Director Docente Docente Programa de Evaluacióndocente Programas de Formación Plan de Apoyo a la Enseñanza (PAE) Plan de Apoyo al Aprendizaje (PAA)

Evaluación docente (características) Se introduce a la evaluación dentro del proceso de formación continua del profesorado y dentro del proceso formativo de los estudiantes Se evalua la docencia, no al profesorado El objetivo es la mejora, no el control para otros fines (habilitación, acreditación, quinquenios) No se evalúa sólo al que enseña, también al que aprende y al que da soporte desde la gestión, al proceso de enseñanza-aprendizaje. Se evalúa satisfacción con la docencia, pero también las competencias de los profesores para enseñar y de los estudiantes para aprender. La evaluación es recíproca (profesor-estudiante) y conduce a la elaboración de perfiles formativos que enlazan con el programa de formación de la Universidad.

Evaluación docente (cont.) Se persigue evitar el anonimato en la evaluación sustituyéndolo por la confidencialidad. Se evitan los costes derivados de la evaluación en papel para invertir en formación La evaluación on-line permite evaluar los efectos del programa formativo tanto a nivel individual, como Institucional.

Evaluación docente: fases de implantación Diseño y desarrollo de las aplicaciones y de información web Realización de encuestas y generación de los informes personales y generales Análisis psicométricos de las escalas y modificación de los cuestionarios. Prueba de la segunda versión y comienzo del archivo histórico. Posibilidad de que los centros y títulos propios incluyan cuestionarios específicos. Introducción de encuestas de evaluación de centros y personal de administración y servicios (a lo que se añade un programa de apoyo al PAS (complementaría la actual evaluación de servicios on-line (dirigida a la evaluación EFQM, ISO y cartas de servicio)dirigida a la evaluación EFQM, ISO y cartas de servicio

PROCEDIMIENTO

Pantalla de entrada a la evaluación

Profesorado: encuestas generales

Profesorado: encuestas por asignaturas detalle de la página para quien impartiera dos asignaturas

Asignatura con Asignatura con tres profesores/as Alumnado: encuestas por asignaturas Asignatura con Asignatura con un/a profesor/a Asignatura con Asignatura con dos profesores/as

Respuesta Respuestaúnica múltiple Respuesta abierta Respuesta abierta Ejemplos de tipos de preguntas

PARTICIPACIÓN

Participaron 557 docentes (44,4%) cubriendo 3510 encuestas Participación del profesorado

Participaron 2670 estudiantes (11,6%) cubriendo encuestas Participación del alumnado

Comparación lápiz y papel / en línea Número de estudiantes : / :

CATEGORÍA% Eméritos33,3 Catedráticos de Universidad40,4 Titulares de Universidad59,4 Catedráticos de Escuela Universitaria59,4 Titulares de Escuela Universitaria42,2 Profesores de Marina Civil36,4 Asociados a Tiempo Completo43,4 Asociados a Tiempo Parcial14,7 Ayudantes Doctores45,5 Ayudantes no Doctores80,0 Otras Categorías35,3 Total44,4 SEXO% Hombre40,1 Mujer54,3 Total44,4 DOCTOR/A% No31,8 Sí54,1 Total44,4 EDAD (años)%  25 0,0 De ,4 De ,1 De ,9 De ,6 ≥ 6617,9 Total44,4 Variables significativamente relacionadas con la tasa de participación (profesorado)

RESULTADOS

Evaluación de la docencia por el alumnado: propiedades de la escala FIABILIDAD Alfa de Cronbach Alfa de Cronbach N de elementos 0,96 0,9619 VALIDEZ PREDICTIVA (ítem 21) Modelo ModeloR R2 R2 R2 R2 R 2 corregida Error típico deestimación 10,9080,8250,8250,506 VALIDEZ DE CONSTRUCTO: ANÁLISIS FACTORIAL Medida de adecuación muestral de Kaiser-Meyer Olkin Medida de adecuación muestral de Kaiser-Meyer Olkin0,970 Prueba de esfericidad de Bartlett Prueba de esfericidad de Bartlett Ji cuadrado aproximada ,762 gl171 Signif.0,000 Método de extracción: Mínimos cuadrados generalizados Método de extracción: Mínimos cuadrados generalizados Método de rotación: ecuamax Método de rotación: ecuamax VARIANZA EXPLICADA: 76,37% VARIANZA EXPLICADA: 76,37% CASOS VÁLIDOS: 6921

Evaluación de la docencia por el profesorado: propiedades de la escala FIABILIDAD Alfa de Cronbach Alfa de Cronbach N de elementos 0,8416 VALIDEZ DE CONSTRUCTO: ANÁLISIS FACTORIAL Medida de adecuación muestral de Kaiser-Meyer Olkin Medida de adecuación muestral de Kaiser-Meyer Olkin0,899 Prueba de esfericidad de Bartlett Prueba de esfericidad de Bartlett Ji cuadrado aproximada 4485,674 gl120 Signif.0,000 Método de extracción: Mínimos cuadrados generalizados Método de extracción: Mínimos cuadrados generalizados Método de rotación: ecuamax Método de rotación: ecuamax VARIANZA EXPLICADA: 61,7% CASOS VÁLIDOS: 692

Evaluación de las competencias del alumnado: propiedades de la escala FIABILIDAD Alfa de Cronbach Alfa de Cronbach N de elementos Contestada por el alumnado Contestada por el alumnado0,8016 Contestada por el profesorado Contestada por el profesorado0,9016 VALIDEZ DE CONSTRUCTO: ANÁLISIS FACTORIAL Contestada por el alumnado Contestada por el profesorado Medida de adecuación muestral de Kaiser-Meyer Olkin Medida de adecuación muestral de Kaiser-Meyer Olkin0,8570,935 Prueba de esfericidad de Bartlett Prueba de esfericidad de Bartlett Ji cuadrado aproximada ,461 gl Signif.0,0000,000 Método de extracción: Mínimos cuadrados generalizados Método de extracción: Mínimos cuadrados generalizados Método de rotación: ecuamax Método de rotación: ecuamax VARIANZA EXPLICADA: VARIANZA EXPLICADA:43,8059,60 CASOS VÁLIDOS Alumnado: 1978 / Profesorado: 523

Evaluación de las competencias del profesorado: propiedades de la escala FIABILIDAD Alfa de Cronbach Alfa de Cronbach N de elementos 0,94 0,9434 VALIDEZ DE CONSTRUCTO: ANÁLISIS FACTORIAL Medida de adecuación muestral de Kaiser-Meyer Olkin Medida de adecuación muestral de Kaiser-Meyer Olkin0,928 Prueba de esfericidad de Bartlett Prueba de esfericidad de Bartlett Ji cuadrado aproximada 7062,002 gl561 Signif.0,000 Método de extracción: Mínimos cuadrados generalizados Método de extracción: Mínimos cuadrados generalizados Método de rotación: ecuamax Método de rotación: ecuamax VARIANZA EXPLICADA: 62,27% VARIANZA EXPLICADA: 62,27% CASOS VÁLIDOS: 313

RESULTADOS EN LA WEB EN LA WEB

Ejemplo de resultados generales (públicos): todas las preguntas de todos los cuestionarios por Centros y Titulaciones (alum.) o Departamentos (prof.)

Evaluación de la docencia (una encuesta por asignatura) Ejemplo de resultados personales (privados) Alumnado: resultados de las evaluaciones REALIZADAS

Autoevaluación de competencias para el aprendizaje (una única encuesta) Ejemplo de resultados personales (privados) Alumnado: resultados de las evaluaciones REALIZADAS

Evaluación de las competencias del alumnado hecha por el profesorado (una encuesta por asignatura) Ejemplo de resultados personales (privados) Alumnado: resultados de las evaluaciones RECIBIDAS

Evaluación de la docencia hecha por el alumnado (una encuesta por asignatura) Ejemplo de resultados personales (privados) Profesorado: resultados de las evaluaciones RECIBIDAS

Autoevaluación de la docencia (una encuesta por asignatura) Ejemplo de resultados personales (privados) Profesorado: resultados de las evaluaciones REALIZADAS

Autoevaluación de competencias 1: Metodología didáctica Ejemplo de resultados personales (privados) Profesorado: resultados de las evaluaciones REALIZADAS

Autoevaluación de competencias 2: Tecnología educativa y EEES Ejemplo de resultados personales (privados) Profesorado: resultados de las evaluaciones REALIZADAS

Autoevaluación de competencias 3: Competencias lingüísticas Ejemplo de resultados personales (privados) Profesorado: resultados de las evaluaciones REALIZADAS

Evaluación de las competencias del alumnado (una encuesta por asignatura) Ejemplo de resultados personales (privados) Profesorado: resultados de las evaluaciones REALIZADAS

PROFESORADO: PERFIL DE COMPETENCIAS Con enlace automático a los cursos de formación si P  P25

Plan de Apoyo a la Enseñanza (PAE) Plan de Apoyo a la Enseñanza (PAE)

Plan de Apoyo al Aprendizaje (PAA) Plan de Apoyo al Aprendizaje (PAA)

FIN MUCHAS GRACIAS POR SU ATENCIÓN