Método y Modelo para el Apoyo Computacional a la Evaluación en CSCL Directores: Dr. Yannis Dimitriadis Dr. Pablo de la Fuente Redondo UNIVERSIDAD DE VALLADOLID.

Presentación del tema: "Método y Modelo para el Apoyo Computacional a la Evaluación en CSCL Directores: Dr. Yannis Dimitriadis Dr. Pablo de la Fuente Redondo UNIVERSIDAD DE VALLADOLID."— Transcripción de la presentación:

1 Método y Modelo para el Apoyo Computacional a la Evaluación en CSCL Directores: Dr. Yannis Dimitriadis Dr. Pablo de la Fuente Redondo UNIVERSIDAD DE VALLADOLID DEPARTAMENTO DE INFORMÁTICA Grupo EMIC Tesis Doctoral Alejandra Martínez Monés Mayo 2003

2 2 Índice 1.Introducción 2.Apoyo computacional a la evaluación 3.Método mixto para la evaluación en CSCL 4.Representación de la acción colaborativa 5.Trabajo experimental 6.Conclusiones y líneas abiertas

3 3 Índice 1.Introducción  Motivación –Objetivos –Metodología 2.Apoyo computacional a la evaluación 3.Método mixto para la evaluación en CSCL 4.Representación de la acción colaborativa 5.Trabajo experimental 6.Conclusiones

4 4 Evaluación formativa en CSCL  Complejidad del dominio CSCL (Computer Supported Collaborative Learning)  Evaluación formativa –Heramienta estratégica Investigación Práctica educativa –No suficientemente tratada en CSCL –Interés incipiente 1.Introducción / Motivación

5 5 Forma de investigación con fines prácticos (Gimeno Sacristán & Pérez Gómez, 1985) CSCL EVALUACIÓN FORMATIVA – Situaciones reales – Acción – Metáfora participativa – Paradigma interpretativo – Métodos cualitativos Elección de una perspectiva teórica Paradigma evaluación – Métodos – Aspectos / Variables Teorías sociales del aprendizaje (Koschmann, 1996) – Interacción – Contexto APRENDIZAJE SITUADO Evaluación formativa en CSCL

6 6 Apoyo computacional a la evaluación  Oportunidad –Nueva fuente de datos (Littleton, 1999) –Configurar y estudiar nuevas situaciones (Dillenbourg,1999)  Propuestas actuales –Prototipos experimentales –Aspectos cognitivos –No integrados en evaluación cualitativa –Poco reutilizables –Análisis de redes sociales 1. Introducción / Motivación

7 7 DELFOS  Elementos (Osuna, 1999) –Modelo de aprendizaje constructivista –Arquitectura en capas –Método de diseño participativo  Estudio de necesidades (Martínez, 2000) 1. Introducción / Motivación –Adaptar la evaluación a las necesidades del CSCL –Soluciones eficientes para recogida y análisis de datos –Modelar y evaluar interacciones

8 8 Revisar propuestas y proponer soluciones Método de evaluación Modelo de representación de la interacción 2. Describir un método de evaluación formativa que integre herramientas automáticas en un marco que responda a las demandas del aprendizaje situado 3. Describir un modelo de representación de la interacción generalizable e independiente de la perspectiva de análisis 1. Introducción / Objetivos Evaluación Formativa en CSCL Aprendizaje Situado Métodos cualitativos Herramientas Aspectos participativos DELFOS Objetivos 1.Revisar propuestas relativas al apoyo a la evaluación formativa en CSCL y proponer soluciones –Enfoques de evaluación –Modelado computacional de la interacción –Herramientas

9 9 Metodología  Proceso cíclico  Estudio teórico –Definición del problema –Revisión crítica de propuestas existentes –Propuesta de soluciones  Aplicación a la práctica real –caso AO – UVA  Validación con casos de estudio adicionales –caso IAG-UOC –Puzle Colaborativo Refinamiento Objetivos experimentales 1. Introducción / Metodología

10 10 Índice 1.Introducción 2.Apoyo computacional a la evaluación 3.Representación de la acción colaborativa 4.Método mixto para la evaluación en CSCL 5.Trabajo experimental 6.Conclusiones

11 11 Objetivos Revisar Propuestas y proponer soluciones Método de evaluación Modelo de representación de la interacción Evaluación Formativa en CSCL Aprendizaje Situado Métodos cualitativos Herramientas Aspectos participativos DELFOS Sistematización - Sistemas de apoyo a la evaluación

12 12  Modelado de los sistemas de apoyo a la evaluación –Ciclo de gestión de la colaboración extendido  Definición del espacio de diseño  Identificación de criterios de calidad  Revisión de propuestas existentes –CSCL, Interacción Persona-Computador, Ingeniería de Software  Propuesta de soluciones al problema del apoyo computacional a la evaluación Tareas realizadas 2. Apoyo computacional a la evaluación

13 13 Localización del procesamiento Profesores / Participantes Sistema Ciclo de gestión de la colaboración extendido 2. Apoyo computacional a la evaluación Herr. metacognitivas Herr. correctoras Herr. ''espejo'‘ y de conciencia de grupo Herramientas Sistemas orientados al andamiaje (Jermann, Soller, Mühlenbrock, 2001 ) Fases Herramientas de apoyo al análisis de la interacción Herr. de reproducción y sincronización Herr. de apoyo a la evaluación ? Herramientas datos sobre la Análisis de datos Correcciones formativas Recogida de interacción Construcción del modelo de interacción Sistemas orientados a la evaluación (Jermann, Soller, Mühlenbrock, Martínez, 2003) Fases

14 14 Definición del espacio de diseño 2. Apoyo computacional a la evaluación

15 15 Criterios de valoración  Externos –Transparencia –Eficiencia –Escalabilidad –Independencia del dominio de aprendizaje –Configurabilidad  Internos –Nivel adecuado de abstracción –Interoperabilidad –Modularidad 2. Apoyo computacional a la evaluación

16 16 Fuente de datos Instrum Recogida de datos TransEficEscIndepConfAbsMod Diálogo Precodificado  - - Diálogo Postcodificado  -- - Acción (estructurado) - - Acción (no estructurado)  --- Tarea ---  - - Caja blanca ----  Caja negra ----   ~ ~ Individual --  --- Interactivo -cognitivo --  ---- Interactivo– social -- ---- Reproducción -  --  - Proceso -  ---- Sociogramas - ---- Análisis Presentac. Revisión del espacio de diseño 2. Apoyo computacional a la evaluación Análisis de redes sociales (SNA) Representación Acción - Genérica - Nivel abstracción - Interoperable Métodos cualitativos (recogida y análisis de datos)

17 17  Aprendizaje situado y SNA  Red Social –Conjunto actores + relaciones entre ellos  Representación –Matriz de adyacencia / Sociograma  Medidas: –Globales: Densidad (  ), actividad global de la red Centralización (C D ), dependencia global de un actor –Individuales: Centralidad (C D (n i )), actividad del actor (n i ) Análisis de Redes Sociales (SNA) 2. Apoyo computacional a la evaluación

18 18  Atributos de imagen  Escalamiento Multidimensional (MDS) SNA Técnicas de visualización 2. Apoyo computacional a la evaluación  = 24,45% C D = 63,6% C D (x00) = 81,9 % C D (x21) = 9,1 % C D (x32) = 9,1 %

19 19 SNA Discusión  Otras experiencias (Wortham, et al., 1999; Nurmela et al. 1999; Haythornthwaite, 1999; Lipponen et al., 2001; Cho et al., 2002) –Confirman el interés del enfoque –Coinciden en el tipo de técnicas  Cuestiones no resueltas –Integración de diferentes fuentes de datos –Acercamiento de las técnicas a personas no expertas –Complementar SNA con otras formas de análisis 2. Apoyo computacional a la evaluación

20 20 Índice 1.Introducción 2.Apoyo computacional a la evaluación 3.Método mixto para la evaluación en CSCL 4.Representación de la acción colaborativa 5.Trabajo experimental 6.Conclusiones

21 21 Objetivos Evaluación Formativa en CSCL Aprendizaje Situado Métodos cualitativos Herramientas Aspectos participativos DELFOS Propuestas evaluación Revisar aproximaciones y proponer soluciones Método de evaluación Modelo de representación de la interacción Método mixto de evaluación de aspectos participativos

22 22 Método Mixto Evaluación  Integrar contexto  Estudio de situaciones reales  Visión de los participantes  Nuevas formas de interacción  Sistemas de visualización  Aspectos participativos  Procesos eficientes y escalables 3. Método mixto para la evaluación en CSCL Requisitos – Fuentes etnográficas – Análisis cualitativo – Datos registrados automáticamente – Análisis cuantitativo – Herramientas – Análisis de Redes Sociales

23 23 Grupos discusión Cuestionarios Observa- ciones Datos automat. Fases Fase final Durante la experiencia Prepara- ción Modos de análisis SNA Eventos autom Socio- metrías Socio- metrías Interacc. cara a cara Análisis Cualitat. Esquema de categorías Análisis Cuantit. Fuentes de datos 3. Método mixto para la evaluación en CSCL Esquema general de evaluación Después de hitos significativos Críticas al proyecto Final Conceptos previos (individual) Inicial Después de hitos Trabajo diario Final Conclusiones.

24 24 Observaciones SAMSA Profesor / evaluador Parámetros de configuración Fichero DL (formato UCINET) Herramienta de colaboración QUEST obs2xml Participantes Respuestas cuestionarios Interacciones a través del ordenador el2xml Registro de eventos Mapas de interacción NUD*IST Nuevas categorías Herr. educativa Herr. y módulo de evaluación Fichero PAQUETE ESTADÍSTICO Categorías 3. Método mixto para la evaluación en CSCL Índices estadísticos Apoyo computacional Índices SNA y sociogramas Respuestas a sociometrías Registro de eventos Mapas de interacción Parámetros de configuración Respuestas cuestionarios Definición de cuestionarios Observaciones Nuevas categorías Respuestas textuales (RTF) Respuestas numéricas Respuestas a sociometrías Respuestas numéricas Respuestas textuales (RTF) Respuestas cuestionarios Definición de cuestionarios Acciones

25 25 3. Método mixto para la evaluación en CSCL Discusión  Aportaciones originales –No restringido a entornos a distancia –Estudio de aspectos participativos –Herramientas de análisis de interacciones  Validación a través del trabajo experimental

26 26 Índice 1.Introducción 2.Apoyo computacional a la evaluación 3.Método mixto para la evaluación en CSCL 4.Representación de la acción colaborativa 5.Trabajo experimental 6.Conclusiones y líneas abiertas

27 27 Objetivos Evaluación Formativa en CSCL Aprendizaje Situado Métodos cualitativos Herramientas Aspectos participativos DELFOS Propuestas de modelado de de la acción Revisar aproximaciones y proponer soluciones Método de evaluación Modelo de representación de la interacción Método mixto de evaluación de aspectos participativos Modelo de la acción colaborativa en XML

28 28 3. Representación de la acción colaborativa Acción vs interacción  Propuesta de definición de interacción: –Supera problema del silencio –Síncrona / asíncrona; potencial / efectiva –Acción en la base de toda interacción.  Requisitos representación: –Representación genérica, flexible, e interoperable –Modelado del contexto Acción que afecta, o puede afectar, al proceso de colaboración. Una acción es interacción si puede ser percibida por al menos un miembro del grupo o comunidad distinto del emisor Acción que afecta, o puede afectar, al proceso de colaboración. Una acción es interacción si puede ser percibida por al menos un miembro del grupo o comunidad distinto del emisor

29 29 3. Representación de la acción colaborativa Propuestas  Análisis de la colaboración basado en la acción (Mühlenbrock, 2000) –Enfoque inductivo (abajo-arriba) –Flexible –No genérica: sólo acciones sobre interfaces estructuradas  Ontologías CSCL (Inaba et al., 2001), (Barros et al., 2002) –Enfoque deductivo (arriba-abajo) –Genérica –No flexible: influido por la perspectiva teórica

30 30 Acciones de los participantes Contexto Modelo Acción Modelo Acción DELFOS (Situación, Actividad, Sesión) DELFOS (Situación, Actividad, Sesión) Tipos genéricos de acción en CSCL Tipos genéricos de acción en CSCL Representación:  Interoperabilidad – XML  Flexibilidad – DTD (Definición de Tipo de Documento)  Funciones genéricas Características de la propuesta 3. Representación de la acción colaborativa

31 31 3. Representación de la acción colaborativa Contexto Notación: Bosak et al., 2000

32 32 3. Representación de la acción colaborativa Tipos de acción

33 33 3. Representación de la acción colaborativa Discusión  Compromiso flexibilidad vs. estructuración  Ventajas y limitaciones de XML –Lenguaje estándar –Mayores posibilidades de aplicación de la propuesta –Disponibilidad tecnológica –Sólo nivel sintáctico interpretación depende de cada desarrollador o usuario mayor flexibilidad (potencial ventaja)  Validación mediante trabajo experimental

34 34 Índice 1.Introducción 2.Apoyo computacional a la evaluación 3.Método mixto para la evaluación en CSCL 4.Representación de la acción colaborativa 5.Trabajo experimental 6.Conclusiones y líneas abiertas

35 35 Planteamiento general 5. Trabajo experimental AO-UVAIAG-UOCPuzle ExperienciaReal Experimental Nº alumnos>100>1302-4 Int. tiempoAsíncrona Síncrona Int.espacioSemi-presencialA distanciaPresencial Instrument.Caja negra Caja blanca EscenarioTarea abierta Tarea cerrada Objetivo  Aplicación y refinamiento de propuestas  Caso externo  Evaluación parcial  SNA  Caja blanca  SNA en entorno restringido

36 36 Planteamiento general 5. Trabajo experimental AO-UVAIAG-UOCPuzle ExperienciaReal Experimental Nº alumnos>100>1302-4 Int. tiempoAsíncrona Síncrona Int.espacioSemi-presencialA distanciaPresencial Instrument.Caja negra Caja blanca EscenarioTarea abierta Tarea cerrada Objetivo  Aplicación y refinamiento de propuestas  Caso externo  Evaluación parcial  SNA  Caja blanca  SNA en entorno restringido

37 37 AO-UVAIAG-UOCPuzle ExperienciaReal Experimental Nº alumnos>100>1302-4 Int. tiempoAsíncrona Síncrona Int.espacioSemi-presencialA distanciaPresencial Instrument.Caja negra Caja blanca EscenarioTarea abierta Tarea cerrada Objetivo  Aplicación y refinamiento de propuestas  Caso externo  Evaluación parcial  SNA  Caja blanca  SNA en entorno restringido Planteamiento general 5. Trabajo experimental

38 38 Planteamiento general 5. Trabajo experimental AO-UVAIAG-UOCPuzle ExperienciaReal Experimental Nº alumnos>100>1302-4 Int. tiempoAsíncrona Síncrona Int.espacioSemi-presenc.A distanciaPresencial Instrument.Caja negra Caja blanca EscenarioTarea abierta Tarea cerrada Objetivo  Aplicación y refinamiento de propuestas  Caso externo  Evaluación a posteriori  Parcial  Caja blanca  SNA en entorno restringido

39 39 AO – UVA Resultados  Diseño educativo: –Curso  Proyecto. –5 “clientes” o casos de estudio –Niveles de grupo: Parejas – colaboran todo el curso Clientes – parejas asignadas a uno de los 5 casos de estudio –Niveles de colaboración a lo largo del curso: 3 subproyectos – nivel de parejas Proyecto final – nivel de clientes –Herramienta CSCL: BSCW (Basic Support for Cooperative Work) (Appelt, 1999)  Objetivo de evaluación: Estudiar cómo evolucionan las ideas y actitudes ante la colaboración de los alumnos, y cómo los recursos utilizados influyen en esta evolución. 5. Trabajo experimental

40 40 Grupos discusión Cuestionarios Observa- ciones Datos automat. Fases Fase final Durante la experiencia Prepara- ción Modos de análisis SNA Eventos BSCW Socio- metrías Socio- metrías Interacc. cara a cara Análisis Cualitat. Esquema de categorías Conclusiones. Análisis Cuantit. Fuentes de datos 5. Trabajo experimental AO – UVA Diseño de evaluación Después de subpr. Críticas al proyecto Final Conceptos previos (individual) Inicial Después subpr. Trabajo diario Final Colaboración como compartición de información

41 41 AO – UVA Resultados  Análisis cuantitativo –Valoración ambiente en clase (encuesta Inicial y Final) –Mejora de la percepción del ambiente en clase AmbienteInicialFinal Muy competitivo11,7%6,8% Competitivo30,6%18,2% Indiferente10,6%9,1% Colab. sólo con amigos30,6%40,9% Colaboración general16,5%25,0% 5. Trabajo experimental

42 42  Redes de relaciones indirectas a través de BSCW AO – UVA Resultados Subproyecto 2Proyecto Final  =17,54%  = 35,48% C D =87,03%C D = 68,21%

43 43 AO – UVA Resultados  Análisis cualitativo –Compartir Información – BSCW – negativo: “Claro, si compartiéramos todo todos, todos haríamos el mismo trabajo, todos tendríamos la misma nota” “Como nunca hemos encontrado... [nada interesante]” “En mi caso ha sido fundamental no disponer de Internet en casa” –Compartir Información – BSCW – positivo: “Utilizamos BSCW de manera que la persona encargada de ponerlo todo junto lo pudiera hacer en casa, y entonces el día siguiente quedábamos [...]” “BSCW: es un método muy útil para compartir información, al que siempre puedes volver en el momento que convenga. Por mi parte ha sido más útil para la elaboración del informe final” 5. Trabajo experimental

44 44 AO – UVA Resultados  Conclusiones –Resistencias culturales y prácticas para colaborar –El método educativo “obligó’’ a desarrollar mejores prácticas colaborativas –Mejora de la percepción del ambiente de la clase  Correcciones formativas –Aumentar tiempo de trabajo en grupo grande  Validación de propuestas –Relevancia y complementariedad de las fuentes de datos y métodos de análisis 5. Trabajo experimental

45 45 Discusión general  Modelo Capaz de representar los diferentes tipos de acción considerados Nivel apropiado para el análisis computacional (SAMSA)  Método Relevancia de las fuentes de datos y modos de análisis Necesidad de participación de profesores y alumnos en el proceso Opinión positiva de profesores externos Método mixto vs. cuatitativo puro Eficiencia, Complementariedad, Triangulación  Más complejo  Desarrollo de guías para el diseño de experiencias de evaluación 5. Trabajo experimental

46 46  Herramientas: –Aumento general de la eficiencia –SAMSA: apoyo al análisis de interacciones –Quest y Nudist: gestión de los procesos de evaluación cualitativa  SNA Complementariedad de índices y sociogramas Flexibilidad –Posibilidades de uso de SNA en andamiaje Discusión general TransEficEscIndepConfAbsModInter 5. Trabajo experimental

47 47 5. Trabajo experimental Discusión general  Instrumentación de aplicaciones –Patrones de diseño Filtros (caja negra) Envolturas (caja blanca) –Componentes software y patrones  Método y dimensión espacio-temporal –Adaptable a situaciones presenciales, a distancia y semi- presenciales –Adaptable al estudio de interacción síncrona y asíncrona  Método y escenario de colaboración –Necesidad de un mínimo de complejidad en las posibilidades de interacción social –Tamaño mínimo de grupo: 3-4 personas

48 48 Contribuciones Objetivos Evaluación Formativa en CSCL Aprendizaje Situado Métodos cualitativos Herramientas Aspectos participativos DELFOS Sistematización - Herramientas - Concept. acción - Aprox. Evaluac. Método mixto eval. de aspectos participativos Modelo de acción colaborativa En XML Caso AO – UVA Caso IAG- UOC Puzle Colaborativo Revisar aproximaciones y proponer soluciones Método de evaluación Representación de la interacción

49 49 Índice 1.Introducción 2.Apoyo computacional a la evaluación 3.Método mixto para la evaluación en CSCL 4.Representación de la acción colaborativa 5.Trabajo experimental 6.Conclusiones y líneas abiertas

50 50 Conclusiones  Objetivo 1: Revisar aproximaciones a la evaluación y proponer soluciones  Contribuciones (I) –Evaluación educativa: Aprendizaje situado como síntesis de otros enfoques al estudio del aprendizaje –Paradigma interpretativo –Aspectos participativos del aprendizaje –Acción como unidad de análisis –Necesidad de métodos cualitativos de análisis 6. Conclusiones y líneas abiertas

51 51 Conclusiones  Objetivo 1: Revisar aproximaciones a la evaluación y proponer soluciones  Contribuciones (II) 2.Modelado computacional de la acción colaborativa Criterios operativos para la relación entre acción e interacción Aproximación inductiva-deductiva al modelo de la acción 3.Revisión de los sistemas de apoyo al análisis de la interacción Ciclo de gestión de la colaboración extendido Descripción del espacio de diseño con dimensiones originales Revisión sistemática de las propuestas existentes 6. Conclusiones y líneas abiertas

52 52 Conclusiones  Objetivo 2: Describir un método de evaluación formativa que integre herramientas con las demandas del aprendizaje situado  Contribuciones: –Propuesta y descripción de un método mixto para la evaluación de aspectos participativos del aprendizaje en CSCL –Identificación y uso de medidas y técnicas de SNA –Desarrollo de herramientas de apoyo a la evaluación –Refinamiento de DELFOS Mejora del método de evaluación formativa para su uso en el proceso de diseño participativo –Validación a través de diferentes experiencias de evaluación 6. Conclusiones y líneas abiertas

53 53 Conclusiones  Objetivo 3: Describir un modelo de representación de la interacción colaborativa para el apoyo al análisis  Contribuciones: –Modelo de la acción: contexto y tipos genéricos de acción –Representación del modelo de la acción en XML –Refinamiento de DELFOS Modelo de la acción colaborativa Propuestas más eficientes para la recogida y análisis de datos –Validación mediante las experiencias de evaluación 6. Conclusiones y líneas abiertas

54 54 Conclusiones  Objetivo 4: Validación experimental de las propuestas  Contribuciones: –Evaluación AO-UVA, IAG-UOC, Puzle –Refinamiento de método y modelo –Identificación de líneas de trabajo futuro 6. Conclusiones y líneas abiertas

55 55 Líneas abiertas  Modelo –Refinar el modelo mediante la aplicación a nuevos entornos –Extender la representación con lenguajes que proporcionen semántica –Aplicación del modelo en el diseño de componentes software para CSCL 6. Conclusiones y líneas abiertas

56 56 Líneas abiertas  Método –Refinamiento mediante aplicación a nuevas experiencias –Integración de otras perspectivas de evaluación Construcción de conocimiento –Análisis de redes sociales Exploración de medidas y técnicas adicionales Aplicación a sistemas orientados al andamiaje –Aumento de eficiencia y facilidad de uso Mayor automatización del análisis de redes (Villacorta, 03) Explotación de datos representados en XML con otras herramientas (Ibáñez, 03) –Reflexión sobre las contribuciones de las ideas planteadas a la Ingeniería del Software en general –Contraste con otras aproximaciones metodológicas: investigación-acción 6. Conclusiones y líneas abiertas

57 57 Publicaciones  15 comunicaciones en Congresos y Workshops especializados, un capítulo de libro, y un artículo de revista más otro en proceso de revisión.  Ciclo de gestión de la colaboración extendido –Capítulo en “Computers and Education: Towards a lifelong learning society”, Kluwer (2003) –IJAIED (enviado)  Modelo –CSCL 03  Método –Aplicación del método al caso AO – CSCL 02 –Métodos Investigación en Ing. Sw. – MIFISIS 02 –Visión global: Computers & Education (2003) 6. Conclusiones

58 Método y Modelo para el Apoyo Computacional a la Evaluación en CSCL Directores: Dr. Yannis Dimitriadis Dr. Pablo de la Fuente Redondo UNIVERSIDAD DE VALLADOLID DEPARTAMENTO DE INFORMÁTICA Grupo EMIC Tesis Doctoral Alejandra Martínez Monés Mayo 2003