Segundo Seminario Técnico Internacional Universidad Global: El Reto de las Nuevas Tecnologías PROYECTO ALFA-CINDA ITESM Monterrey, México, Junio 2004

Evaluación de los Ambientes de E-Learning como Apoyo a la Gestión de la Docencia ITESM Monterrey, Junio 2004 Dr. Ignacio Casas Dra. Adriana Vergara P. Universidad Católica de Chile

Visión y Motivación para los Ambientes de e- Learning en una Universidad Tradicional Necesidad de Evaluación y Cambio de los Procesos Educativos Definición de los Procesos e Infraestructura Métodos de Evaluación y su Aplicación Conclusiones Contenido

Visión y Motivación para los Ambientes de e-Learning en una Universidad Tradicional Necesidad de Evaluación y Cambio de los Procesos Educativos Definición de los Procesos e Infraestructura Métodos de Evaluación y su Aplicación Conclusiones Contenido

Mejorar sustancialmente la calidad de los procesos de E/A, con nuevas metodologías, tecnologías y oportunidades para los alumnos. Apoyar los Planes de Estudios de la Universidad: formación integral, distintos programas y grados, cursos interdisciplinarios electivos, … Responder a los desafíos de la globalización en la educación, participando en redes colaborativas y en alianzas para el desarrollo del e-learning. Visión y Motivación

TEL Docencia Presencial Programas a distancia Universidad Virtual Pre y Pos-grado (inicial) Educación Continua Extensión Difusión Ambientes TEL + Nuevos Métodos Infraestructura Tecnológica Visión del E-Learning Docencia Investigación Extensión Desarrollo

Dimensiones de Educación y Ambientes Tiempo y espacio: - Educ. Presencial (“in situ”, “face-to-face”) - Educ. a Distancia (EAD) Ambientes de Enseñanza/Aprend: - Tradicional (Tiza & Pizarrón) - Potenciados por las Tecnologías (TEL) Metodología/Orientación: - Centrado en la enseñanza (profesor) - Centrado en el aprendizaje (estudiante)

Visión y motivación para la introducción de los ambientes de e-Learning Necesidad de evaluación y cambio de los procesos educativos Definición de la infraestructura básica Mecanismos de evaluación y su Aplicación Conclusiones Contenido

Necesidad de Cambio Entramos a una nueva Era para la Educación: - una Sociedad en Continuo Aprendizaje - explosión (cambio) del conocimiento... Redes (internacionales) para el Aprendizaje... Necesidad de Re-Ingeniería en la Educación: - Cambio en el Proceso de Enseñanza /Aprend. - Competencia / “Clientes” / Cambio... Colaboración y Alianzas... ¿ Puede una Universidad por sí sola, proveer un servicio global de educación continuada, en todas las fases del proceso: producción, programación y distribución ?

El Modelo Tradicional Modelo de W. Von Humboldt (s. XIX): investigación libre + enseñanza tradicional. Máxima independencia de las fuerzas externas. Mercado educacional relativamente cautivo (monopolio): ¿criterios de calidad y eficiencia? ¿servicio? ¿clientes? Proceso educacional: centrado en la enseñanza La enseñanza: producción, programación, distribución. ¿ qué es lo que se re/utiliza ?

La Re-ingeniería de la Organización Procesos de “Negocio” Administración, Medición y Evaluación Trabajos y Estructuras Valores y Creencias (visión interna y externa)

El Rol de la Tecnología Informática Habilitador esencial para la nueva organización; necesaria pero no suficiente Utilizada para “innovar” no para “automatizar” Pensamiento inductivo: reconocer una solución y luego buscar los problemas que puede resolver (en vez de pensamiento “deductivo”) Permite romper las viejas reglas y crear nuevas formas de trabajo (y de E/A)

El Paradigma Educacional Orientado a Enseñanza Orientado al Aprendizaje centrado en profesor centrado en alumno profesor = maestro, expositor profesor = guía, orientador transmisión de información desarrollo de habilidades, creatividad uni-direccional bi-direccional retro-alimentación diferida retro-alimentación inmediata medición y registro evaluación del desarrollo Potenciado por las tecnologías ¿Vino viejo en botellas nuevas? … Necesidad de Evaluación …

Visión y motivación para la introducción de los ambientes de e-Learning Necesidad de evaluación y cambio de los procesos educativos Definición de los procesos e infraestructura Métodos de evaluación y su aplicación Conclusiones Contenido

Producción docente Administración y Gestión: Programación, Distribución y Control Infraestructura informática de base Aplicaciones informáticas de apoyo Capacitación a docentes (métodos y tecnología) Métodos de evaluación y su aplicación Procesos e Infraestructura

Un modelo mixto: Alumnos Profesores, Tutores Infrestructura de Informática y Comunicaciones Actividades Materiales VIRTUAL PRESENCIAL Actividades Materiales Centro e-Learning Centro e-Learning OTRAS UNIVERSIDADES Procesos e Infraestructura

Infraestructura Informática Básica – Laboratorios de PCs, Salas de Clase TEL, Salas de Estudio y Bibliotecas hardware y software actualización, mantención, administración – Redes Internas y Externas Redes de área local y extendida de alta velocidad Servidores de aplicaciones Redes inalámbricas (Wi-Fi) para portátiles Web-Intranets, Web-Internet Vídeo-Conferencias Seguridad

Aplicaciones Informáticas – Portales Web – Servicios integrados de administración y docencia – Organizadores Personalizados – Software educativo multimedia – Courseware: Web de cursos, Tests en línea, Seguimiento del alumno – Sistema de Encuestas en Línea – Servicios básicos para Alumnos y Profesores Cuentas en servidores, Correo-e, Foros, Chat, Aplicaciones Acceso libre a Intranets e Internet,... Help-desk central/distribuido; capacitación básica Servicios administrativos (inscripción, registro,...)

Sitio Web Institucional El Campus Virtual UC CITEDUC Quinto Campus UC

Producción de Software Multimedial Educativo Desde 1988, un equipo interdiscipinario de desarrollo, ha elaborado más de 350 productos de software multimedia educativo. Quinto Campus UC

Courseware: Escritorio Virtual Plataforma de Sitios Web de Cursos, estándar para todos los cursos PUC (2.000 / semestre) Quinto Campus UC

Apuntes, Guías de estudio, Software educativo, Actividades, Vínculos de interés, Test Auto/evaluación. Fichero de Noticias, Correo-Electrónico, Foro de Discusión, Buzón de Tareas. Programa del curso, Publicación de notas, Lista oficial de alumnos, Agenda/Calendario, Control de Asistencia Web. Publicación de materiales: Comunicaciones: Administración: Sitio Web del Curso Sitio Web del Curso

QuintoCampus UC Portal Personalizado y Configurable QuintoCampus UC Portal Personalizado y Configurable

Capacitación y Motivación – Capacitación Tecnológica “Computer-literacy” para los alumnos y profesores – Motivación y Capacitación Educacional para profesores: Plan de desarrollo docente e innovación curricular para mejorar los procesos de “enseñanza / aprendizaje”, apoyados en las tecnologías – Redes y Alianzas para la investigación de los nuevos paradigmas de E/A y ambientes TEL

Visión y motivación para la introducción de los ambientes de e-Learning Necesidad de evaluación y cambio de los procesos educativos Definición de la infraestructura básica Métodos de evaluación y su aplicación Conclusiones Contenido

- Medir el grado de satisfacción de los alumnos y profesores con los nuevos métodos y tecnologías - Registrar los niveles de actividad - Evaluar y dar retro-alimentación a la gestión docente Evaluación del Impacto en la Docencia Calidad de la Enseñanza y Aprendizaje Métodos del docente y del estudiante (Nivel 4) Interacción y acceso a la información (Nivel 3) Administración del curso (Nivel 2) Infraestructura de Apoyo (Nivel 1) Encuestas satisfacción Monitoreo y Registro

Data WareHouse Encuesta Eval. Docente Encuesta Infraestr. Calificaciones Historial Estudiante Informe Profesor Encuesta Amb. TEL Fuentes de Datos para la Evaluación Registro Web

(a) Estudios exploratorios en la UC para medir el grado de satisfacción, de los alumnos y profesores, con los nuevos métodos y tecnologías (desde 1988). (b) Trabajo con CMU, TEC/Monterrey y Grupo RELATED para el desarrollo y aplicación de nuevas herramientas de medición del impacto en el aprendizaje. (c) Investigación de tecnologías de Data Ware- Housing y Data Mining para el análisis de datos de monitoreo, evaluaciones y encuestas. Evaluación de la Docencia en la UC

(1) Calidad de la docencia TEL – apreciación alumno (2) Calidad de la docencia – apreciación profesor (3) Cantidad y calidad materiales docentes, pregrado (4) Medición y eval de las activs docentes - profs (5) Medición y eval de las activs docentes - alumnos (6) Apoyo a las actividades docentes del profesor (7) Cantidad de profs. capacitados y activos en TEL (8) Número de cursos y programas en TEL (9) Número de alumnos en cursos TEL (10) Activs de difusión, extensión e intercambio TEL Definición de Indicadores de Impacto (UC)

(1) Calidad de la Docencia TEL - Alumno Herramienta: Encuesta de satisfacción alumno l Indicador: Grado de satisfacción del alumno con el ambiente TEL l Valor inicial: (1/5) l Año 1: (2/5) l Año 2: (3/5) l Año 3: (4/5) Indicadores de Impacto (UC)

Quinto Campus UC Evaluación del Impacto en la Docencia Es fácil encontrar la información en el Sitio Web

Quinto Campus UC Evaluación del Impacto en la Docencia El Sitio Web motiva a estudiar

Quinto Campus UC Evaluación del Impacto en la Docencia El Sitio Web es un apoyo para el aprendizaje

Quinto Campus UC Evaluación del Impacto en la Docencia Es útil tener toda la información en un mismo lugar

Quinto Campus UC Evaluación del Impacto en la Docencia El Sitio Web es un buen complemento a la Clase Presencial

ENCUESTA SEMESTRAL A ALUMNOS Evaluación del Impacto en la Docencia

(2) Calidad de la Docencia - Profesor Herramienta: Encuesta de satisfacción profesor l Indicador: Grado de satisfacción con trabajo de estudiantes en ambiente TEL l Valor inicial: (1/5) l Año 1: (-) l Año 2: (2/5) l Año 3: (3/5) Indicadores de Impacto (UC)

Calidad de la Docencia - Profesor Diseño de Informe de Auto Evaluación del Profesor (2003) - Metodología que utilizó en el curso - Recursos que utilizó en el curso - Actividades que desarrollaron los estudiantes - Metodología de evaluación - Distribución de tiempos en trabajo del curso - Apreciación sobre trabajo de los alumnos - Apreciación sobre el trabajo de ayudantes Aplicación en: 2004 y 2005 Indicadores de Impacto (UC)

Calidad de la Docencia – Profesor (Prototipo experimental 2003) Indicadores de Impacto (UC)

(3) Cantidad y calidad de materiales docentes en TEL Herramienta: Medición de cantidad de cursos TEL y su uso por parte de los alumnos l Indicador: Cantidad de cursos activos en TEL l Valor inicial: (150) l Año 1: (500) l Año 2: (750) l Año 3: (1000) Indicadores de Impacto (UC)

QuintoCampus UC Plataforma WEB “Escritorio Virtual” QuintoCampus UC Plataforma WEB “Escritorio Virtual” Cantidad de cursos activos sobre la Plataforma de Sitios Web de Cursos

Cantidad de cursos activos por UA Quinto Campus UC

Cantidad de cursos activos por UA Quinto Campus UC

(4) Medición y eval actividades docentes Herramienta: Monitoreo de actividades del profesor en el ambiente TEL l Indicador: Número de métricas tales como: archivos publicados, uso de foros de discusión, guias, pautas, etc. l Valor inicial: (0) l Año 1: (2) l Año 2: (4) l Año 3: (6) Indicadores de Impacto (UC)

Fecha de Última actualización de los Cursos en Web Indicadores de Impacto (UC)

Medición de actividad del profesor en todas las secciones del web de Curso: Material del CursoInformación Administrativa Comunicación - Material de Clases - Actividades - Guías de Estudio -Material Complementario - Programa de Curso - Calificaciones (Notas) - Lista de Curso - Calendario - Correo - Foro de Discusión - Noticias - Entrega de Tareas (Buzón) Indicadores de Impacto (UC)

Medición de actividades docentes (auto-evaluación) Indicadores de Impacto (UC)

(5) Medición y eval activs TEL - alumnos Herramienta: Monitoreo de actividades de alumnos en el ambiente TEL l Indicador: Número de métricas tales como: cantidad de accesos a materiales y actividades, revisión de noticias, uso de correo-e, etc. l Valor inicial: (0) l Año 1: (2) l Año 2: (4) l Año 3: (6) Indicadores de Impacto (UC)

Quinto Campus UC Evaluación del Impacto en la Docencia Registro de la frecuencia de acceso de los alumnos

Quinto Campus UC Evaluación del Impacto en la Docencia Registro de accesos a secciones del Sitio Web

Registro de Visitas/Curso de Alumnos por U. Académ Indicadores de Impacto (UC)

(6) Apoyo a activs docentes del profesor Herramienta: Encuesta de satisfacción del profesor con plataforma TEL l Indicador: Grado de satisfacción del profesor con ambiente TEL y apoyo a sus cursos l Valor inicial: (1/5) l Año 1: (2/5) l Año 2: (3/5) l Año 3: (4/5) Indicadores de Impacto (UC)

Apoyo a activs docentes del profesor Instrumentos l Encuesta del grado de satisfacción profesor l Encuesta de autoevaluación del profesor (fase piloto ) AñoNº Cantidad de Profesores que han participado (Satisfacción) Indicadores de Impacto (UC)

Semestres que ha usado Sitio Web de Curso Encuesta del Profesor

Se sintió cómodo usando el sitio Web como apoyo a su labor docente Encuesta del Profesor

El sitio Web es un complemento importante a la clase presencial Encuesta del Profesor

El uso del sitio ha facilitado su labor pedagógica Encuesta del Profesor

(7) Cantidad de profs capacitados y activos en TEL Herramienta: Medición de cantidad de profesores capacitados y que usan ambiente TEL Indicador: Cantidad de profesores capacitados y que usan ambiente TEL l Valor inicial: (5) l Año 1: (25) l Año 2: (100) l Año 3: (200) Indicadores de Impacto (UC)

CAPACITACIÓN a PROFESORES 2000Capacitación a 25 profesores PUC área humanista 2001Capacitación a 75 profesores PUC 2002Capacitación a 120 profesores PUC 2003Talleres - Seminarios y Programa Ayudantes: 265 profs. Organizado por Dirección General de Informática Financiado por Dirección General de Pregrado - VRA Indicadores de Impacto (UC)

Cantidad de profesores activos sobre la Plataforma de Sitios Web de Cursos

Visión y Motivación para los Ambientes de e- Learning en una Universidad Tradicional Necesidad de Evaluación y Cambio de los Procesos Educativos Definición de los Procesos e Infraestructura Métodos de Evaluación y su Aplicación Conclusiones Contenido

Conclusiones Y Factores de Éxito - Estrategia Institucional y Reconocimiento - Énfasis en lo metodológico - Centrado en los estudiantes (aprendizaje) - Integración de esfuerzos y recursos Y Evaluación de los efectos e impacto para retro-alimentar la gestión de la docencia Y Fomento de la investigación en red de los ambientes TEL

Anexos

(III) Evaluación del Impacto en la Enseñanza y Aprendizaje Proyecto Quinto Campus Proyecto Quinto Campus Estudios exploratorios en la PUC desde 1998: encuestas para medir satisfacción de alum- nos y profesores con los cursos sobre Web. Encuesta 1/2001: 608 alumnos en 19 cursos de 13 facultades.

Composición de la muestra de evaluación del 1/2001 8% 13% 17% 2% 7% 8% 17% 4% 3% 1% 7% 2% 11% Derecho Economía Educación Filosofía Historia Sociología Psicología T. Social Química Música Ingeniería Enfermería Agronomía Quinto Campus Evaluación del Impacto en la E/A Quinto Campus Evaluación del Impacto en la E/A

¿El sitio web del curso motiva a estudiar? 24% 49% 23% 4% Muy de acuerdo De acuerdo En desacuerdo Muy en desacuerdo Quinto Campus Evaluación del Impacto en la E/A Quinto Campus Evaluación del Impacto en la E/A Resultado Evaluación 1/2001

Muy de acuerdo De acuerdo En desacuerdo Muy en desacuerdo ¿Es el sitio web del curso un complemento importante de la clase presencial? 38% 40% 19% 3% Quinto Campus Evaluación del Impacto en la E/A Quinto Campus Evaluación del Impacto en la E/A Resultado Evaluación 1/2001

Muy de acuerdo De acuerdo En desacuerdo Muy en desacuerdo ¿Acceder a la información del sitio me ayudó a obtener mejores resultados en mi aprendizaje? 16% 53% 27% 4% Quinto Campus Evaluación del Impacto en la E/A Quinto Campus Evaluación del Impacto en la E/A Resultado Evaluación 1/2001

Estudios exploratorios desde 1998 con encuestas para medir satisfacción de alumnos: 50 aseveraciones Escala Lickert de 4 opciones Alpha Cronbach = Encuesta 1/2001: 608 alumnos en 19 cursos de 13 facultades. Evaluación del Impacto en la Docencia Quinto Campus

Cantidad de alumnos encuestados cada semestre Evaluación del Impacto en la Docencia