VICERRECTORÍA ACADÉMICA CENTRO DE DESARROLLO DOCENTE Evaluación de la docencia en la Pontificia Universidad Católica de Chile. Aprendizajes y Desafíos Seminario Taller Sistemas de evaluación docente de la educación superior Ma. Soledad González Ferrari Octubre 2014

CONTEXTO

CHILE 16 634 603 Habitantes Chilenos Distribución por deciles del ingreso autónomo por hogar, 2006-2009.

CHILE EDUCACIÓN SUPERIOR Conformado oficialmente por más de 180 instituciones, agrupadas en: Universidades (60) Institutos profesionales Centros de formación técnica Las instituciones pueden clasificarse como tradicionales (existentes antes de 1980). Solo 25 instituciones, con carácter público, aporte del estado y mismo sistema de ingreso. 16 634 603 Habitantes Chilenos

PONTIFICIA UNIVERSIDAD CATÓLICA Misión Institucional de la UC La Pontificia Universidad Católica de Chile aspira a lograr la excelencia en la creación y transferencia del conocimiento y en la formación de personas, inspirada en una concepción católica y siempre al servicio de la Iglesia y la sociedad.

LA UC Y SUS ESTUDIANTES 20 Facultades 50 carreras Estudiantes Pregrado: 22.654 Magíster: 3.098 Doctorado: 942 Postítulo: 625 Total: 27.319

LA UC Y SUS ACADÉMICOS Planta 2013 3.248 Académicos 1.646 Académicos con Jornada Completa (33-44 hrs) 55,4% Planta ordinaria 44,6% Planta adjunta 

DOCENCIA EN LA UC Reglamento del Académico Las actividades académicas son: La docencia o formación de personas La investigación o la creación en alguna de sus formas La extensión, difusión o aplicación del hacer de cada disciplina La participación en la gestión de la Universidad Todo académico debe realizar dos o más de las actividades mencionadas. La docencia o formación de personas y la investigación o creación en alguna de sus formas, constituyen su base común.

MODELO PEDAGÓGICO

¿CÓMO SON NUESTRAS AULAS? En grupos de 2 o 3 personas ¿Qué sucede en ellas? ¿Qué desearíamos que sucediera en ellas o quisiéramos erradicar de ellas?

Modelo centrado en el aprendizaje del estudiante Modelo centrado en la enseñanza del profesor

De todos los estudiantes Profesor organiza, facilita y monitorea SALA DE CLASES HOY APRENDIZAJE Profundo Activo De todos los estudiantes Profesor organiza, facilita y monitorea

¿QUÉ HACER PARA QUE ESTO SUCEDA? Estrategias de apoyo institucional Estrategias de apoyo y mejoramiento a nivel de aula Ejemplos de estrategias a nivel de aula que trabaja en CDDOC Evaluación temprana de cursos (ETC) Asesorías personalizadas Videograbación/observación de clases Introducción de nuevas metodologías docentes Aprendizaje servicio (A+S UC) Aprendizaje entre pares usando tecleras Uso de rúbricas

ESTRATEGIA INSTITUCIONAL Centro de Desarrollo Docente (CDDoc) Fondo de Desarrollo a la Docencia Programa de inserción y formación docente (diplomado) Sistema de evaluación de la docencia Premio Reconocimiento Excelencia Docente Política de ayudantes de docencia Declaración Impronta UC Declaración de Principios Orientadores para una Docencia de Calidad UC

CALIDAD DE LA DOCENCIA Principios Orientadores para una docencia de Calidad UC 1. Promoción de valores UC 2. Reflexión crítica sobre su quehacer docente 3. Relación con estudiantes 4. Experticia en área de conocimiento 5 .Compromiso con el aprendizaje de sus alumnos 6. Organización de la enseñanza 7. Metodologías de enseñanza y aprendizaje, diversas y pertinentes 8. Evaluación y retroalimentación 9. Relación de su docencia con la realidad Nuevo modelo de Docencia de Calidad está centrado en el aprendizaje de los estudiantes y en académicos que consideren las características y necesidades de sus alumnos, buscando el aprendizaje profundo y efectivo de todos. Principios orientadores para este nuevo modelo, se basan en que un académico UC: Es una persona preparada y reconocida en su disciplina, reflexiona sobre su quehacer, realiza trabajo con dedicación, promueve valores de la UC y es ejemplo para sus alumnos. Planifica su enseñanza, implementando metodologías activas y diversas que promuevan el aprendizaje profundo y significativo de todos sus estudiantes.

9 PRINCIPIOS ORIENTADORES 9 principio orientadores Reconocimiento a la excelencia docente Formación docente Evaluación de la docencia Calificación categorización Estrategias de apoyo Responde a la definición de qué evaluar

EVALUACIÓN DOCENTE

¿PARA QUÉ EVALUAR?

PROPÓSITOS Proveer retroalimentación al profesor para el mejoramiento de su docencia Contribuir a identificar las fortalezas y debilidades pedagógicas de los docentes en diferentes dimensiones Contribuir al análisis de la calidad de la docencia en las instancias de calificación y promoción de académicos

EVALUACIÓN DE LA DOCENCIA SISTEMA DE EVALUACIÓN EVALUACIÓN DE LA DOCENCIA Encuesta estudiantes Observación de pares Autoevaluación Portafolio Otros

¿QUÉ TENIAMOS? Evaluación docente basada solo en encuesta a alumnos Encuesta basada en un concepto de enseñanza centrada en el docente, mide fundamentalmente satisfacción del estudiante Problemas de redacción en ítems Análisis respuestas: dos factores “Importancia de los contenidos del curso, el manejo del docente y la participación del alumno” y “Características formales del curso”

NUEVA ENCUESTA Antecedentes: Basada en los Principios Orientadores para una Docencia de Calidad UC Asistencia Técnica de Gilbert Valverde (University of NY, at Albany) Equipo VRA y MideUC como contraparte

COMPARACIÓN Encuesta anterior Nueva Encuesta Nº de ítems 18 26 Dimensiones medidas Importancia de los contenidos del curso, manejo del docente y participación del alumno Características formales del curso Aplicación del conocimiento Organización de la enseñanza Metodología de enseñanza aprendizaje Evaluación y retroalimentación a los estudiantes Relación con los estudiantes Satisfacción global Aprendizaje percibido Asistencia a clases y horas de estudio Reporte resultados Por aspecto Detalle por ítem Por dimensiones de calidad Cruce con notas y asistencia declarada

CONSTRUCCIÓN NUEVA ENCUESTA Elaboración de banco de preguntas, por consultor internacional. Proceso de consulta de ítems a profesores y estudiantes Respuestas de 90 profesores y 43 estudiantes Piloto para validación de ítems Aplicada en 60 cursos (2 cursos por unidad académica) Respuestas de 1.371 estudiantes Análisis de datos por consultor Propuesta nueva encuesta por consultor Depuración, adaptación Presentación en noviembre 2012

IMPLEMENTACIÓN ETAPA 1 – 2013 ETAPA 2 – 2014 en adelante Campaña de difusión y capacitación a académicos, alumnos, facultades y unidades académicas Aplicación piloto de nueva encuesta a muestra aleatoria de cursos de la Universidad para validación Aplicación de la nueva encuesta en todos los cursos lectivos de pregrado Desarrollo de protocolos para la interpretación y comunicación de resultados para directivos y académicos Revisión y perfeccionamiento de encuesta según resultados de aplicación en 2013 Análisis de incorporación de variantes para cursos de diferente naturaleza (ej. Terreno) Monitoreo psicométrico (confiabilidad y validez) del comportamiento de los ítems y las dimensiones medidas en la encuesta.

USO DE SUS RESULTADOS Para profesores: informar su práctica y facilitar procesos de mejoramiento continuo Para Unidades Académicas: identificar fortalezas y debilidades docentes y organizar actividades de fortalecimiento Para Comisiones de Calificación y Categorización: analizar sus resultados como parte de un conjunto de evidencias cualitativas sobre el rol docente del profesor Protocolos para uso de sus resultados por: Profesores Directivos Comisiones de Calificación y Categorización

INSTRUMENTO

ESTRUCTURA NUEVA ENCUESTA Criterio / Aspecto Nº ítems Aplicación del conocimiento 3 Organización de la enseñanza 4 Metodologías de enseñanza aprendizaje Evaluación y retroalimentación a los alumnos Relación con los estudiantes Satisfacción global 2 Aprendizaje percibido Asistencia a clases y horas dedicación Comentarios (respuesta abierta) TOTAL 26

Aplicación del conocimiento Este criterio apunta a evaluar si el docente aplica sus conocimientos en la sala de clases a través de recursos pertinentes, utilizando ejemplos y presentando nueva información relativa a los temas del curso. ¿Durante este curso (taller o laboratorio), con qué frecuencia el docente… En la mayoría de las clases (4) En varias clases (3) Solo en pocas clases (2) Nunca o casi nunca (1) …usó bibliografía o recursos (de información, audiovisuales, artísticos u otros) variados y atingentes a los objetivos del curso?   …vinculó los contenidos del curso a ejemplos asociados a situaciones reales o hipotéticas? …presentó nuevas ideas, hallazgos o metodologías asociadas a los contenidos del curso?

Organización de la enseñanza Este criterio apunta a evaluar si el docente realizó una adecuada organización del curso, con actividades apropiadas, y una correcta y directa coordinación de ayudantías, actividades prácticas y laboratorios. Con respecto a la organización de la enseñanza en este curso Siempre o casi siempre (4) Muchas veces (3) Pocas veces (2) Nunca o casi nunca (1) Los tiempos dedicados a las distintas actividades del curso fueron adecuados   Existió una clara relación entre los contenidos del curso y las actividades pedagógicas implementadas (prácticas, laboratorios, reflexiones u otras) El desarrollo y secuencia de las clases, talleres o laboratorios fueron claras y facilitaron mi aprendizaje Hubo una adecuada coordinación de la ayudantía con el desarrollo del curso (si no hubo ayudantía en el curso, deja en blanco esta pregunta)

Metodología de enseñanza aprendizaje Este criterio busca medir si el docente creó las oportunidades necesarias para que los alumnos aprendieran de modo activo y participativo. ¿Durante este curso (taller o laboratorio), con qué frecuencia el docente estimuló… Siempre o casi siempre (4) Muchas veces (3) Pocas veces (2) Nunca o casi nunca (1) …que los estudiantes hicieran preguntas durante las clases?   ...que los estudiantes buscaran información o investigaran en forma autónoma? … que los estudiantes trabajaran en grupo en alguna actividad dentro o fuera del aula?

Evaluación y retroalimentación a los alumnos Este criterio mide si el docente evaluó y retroalimentó a sus estudiantes de modo frecuente y oportuno, según criterios claros y conocidos por todos los alumnos. ¿Durante este curso (taller o laboratorio), con qué frecuencia el docente… Siempre o casi siempre (4) Muchas veces (3) Pocas veces (2) Nunca o casi nunca (1) … realizó evaluaciones con criterios explícitos y conocidos por todos los estudiantes?   … entregó a tiempo retroalimentación (individual o grupal) acerca de las fortalezas y debilidades del desempeño de los estudiantes? … utilizó diferentes métodos, situaciones, formas o tipos de preguntas para evaluar los aprendizajes del curso?

Relación con los estudiantes Este criterio busca evaluar la medida en que el docente se mostró interesado en el aprendizaje de sus estudiantes, estuvo accesible para sus consultas y creó un clima favorable de respeto y valoración. Con respecto a la relación del docente con los estudiantes en este curso Siempre o casi siempre (4) Muchas veces (3) Pocas veces (2) Nunca o casi nunca (1) El docente estuvo disponible para atender mis consultas en el horario acordado de atención de los estudiantes   El docente fue respetuoso con todos los estudiantes del curso El docente mostró altas expectativas con respecto a la capacidad de aprender de los estudiantes del curso

Mucho menos de lo esperado Mucho más de lo esperado Satisfacción global Incluye preguntas ancla de la encuesta anterior   Si No ¿Recomendarías este profesor a un amigo? ¿Quedaste satisfecho con este curso?   Mucho menos de lo esperado Menos de lo esperado Lo esperado Mucho más de lo esperado Más allá de la notas que has obtenido, ¿cuánto aprendiste en este curso? Este curso promovió mi pensamiento creativo, analítico o crítico

Asistencia a clases y horas de estudio fuera de clases Esta pregunta busca recoger la autopercepción de la asistencia a clases de los estudiantes que responden la encuesta, para analizar su posible incidencia en los resultados obtenidos; y la autopercepción de las horas fuera de clases dedicadas a trabajar en el curso.   0 - 24% 25% - 49% 50% - 74% 75% - 100% El porcentaje de clases (o actividades clínicas, terreno, laboratorio, etc.) a las que asistí en este curso con este profesor fue:  En una semana promedio 3 o menos 4 a 6 horas 7 a 9 horas 10 o más ¿aproximadamente cuántas horas usaste trabajando o estudiando para este curso fuera de las sesiones presenciales regulares?  

Preguntas administrativas / Control  Respecto del carácter del curso Mínimo Optativo de profundización Optativo de Formación General Considerando la malla de tu carrera, indica en qué calidad tomaste este curso   Sí No ¿Contó este curso con ayudantías presenciales?  

Comentarios Los comentarios de respuesta abierta buscan recoger los aspectos positivos y aquellos que requieren mejoría por parte del docente según los estudiantes. Comenta sobre aquellos aspectos que consideras fueron positivos en el curso o en el trabajo del profesor: Comenta sobre aquellos aspectos que consideras deberían mejorar en el curso o en el trabajo del profesor:

CONCLUSIÓN

APRENDIZAJES La implementación es permanente, lenta en sus avances y de alto costo. Contar con un constructo a evaluar. Procesos participativos (comunidad universitaria). Trabajar la cultura evaluativa. Diseñar y pilotear protocolos de análisis de resultado previos a la implementación.

DESAFÍOS Contar con protocolos de análisis de resultado para la toma de decisiones. Cultura evaluativa, involucrar a los estudiantes para mantener tasas de respuesta. Procesos de validación (estudios de validez convergente). Mejorar los sistemas de análisis psicométricos del instrumento de manera permanente. Contar más fuentes de evidencia.