Evaluación y Tecnología: Un matrimonio de conveniencia Gregorio Rodríguez Gómez (UCA) Eduardo García Jiménez (US) Grupo EVALfor

Evaluar utilizando la Tecnología Estructura de la conferencia Evaluar utilizando la Tecnología 2. ¿Innovación? ¿Modernización? 3. Tareas de evaluación sofisticadas y evaluación 2.0 4. El reto de la retroinformación 5. Prospectiva: ¿qué deberíamos exigir a la Tecnología?

1. Evaluar utilizando la Tecnología Tecnologías que aumentan nuestra fuerza o resistencia Tecnologías que amplían nuestros sentidos TECNOLOGÍAS INTELECTUALES Amplían/apoyan nuestra capacidad mental Tecnologías que modifican la naturaleza Carr, N. (2011) . Superficiales. ¿Qué está haciendo Internet con nuestras mentes?. Madrid: Taurus.

1. Evaluar utilizando la Tecnología EVALUACIÓN TECNOLOGÍA

1. Evaluar utilizando la Tecnología

1. Evaluar utilizando la Tecnología Evaluación de competencias en contextos de aprendizaje mixto (blended-learning) Ref. EA2007-0099 Evaluación de competencias con Herramientas de Interacción Dialógica Asíncrona (Foros, blogs y wikis) Ref. EA2008-0237 Reingeniería de la e-Evaluación, tecnologías y desarrollo de competencias en profesores y estudiantes universitarios – Ref. Proyecto de Excelencia P08-SEJ-03502 INnovación en la EVALuación de COmpetencias: Diseño y desarrollo de procedimientos e instrumentos para la evaluación de competencias en entornos de aprendizaje mixtos/virtuales con la participación de los estudiantes en los títulos de grado Ref. EA2010-0052

2. ¿Innovación? ¿Modernización?

2. ¿Innovación? ¿Modernización?

Delimitando la innovación Experiencia + innovación = creación de valor 2. ¿Innovación? ¿Modernización? Delimitando la innovación Conceptualización Experiencia + innovación = creación de valor José Antonio Pérez-Nievas Heredero. Presidente de Iberfomento   Capacidad innovadora de una Universidad INNOVACIÓN = Entorno x (Creatividad x Riesgo Asumido) Bajo control de la organización Fuente: Club de excelencia en gestión

2. ¿Innovación? ¿Modernización?

2. ¿Innovación? ¿Modernización? Retos

3. Tareas de evaluación sofisticadas y evaluación 2.0 La  evaluación en un entorno virtual se ha mantenido fiel a su origen: Las prácticas de evaluación al uso en la enseñanza presencial. La evaluación basada en el uso de ordenadores. (Computer Based Assessment; Computer Based Assessment; PLATO)

3. Tareas de evaluación sofisticadas y evaluación 2.0 El cambio en los fundamentos teóricos (TRI a TCT) tampoco ha modificado en esencia las tareas de evaluación. Los TAIs (CAT) continúan la tradición de la taxonomía de Bloom al construir las tareas de evaluación. TAIs en Educación Secundaria, CC. Sociales y Jurídicas, elaborados a partir de MICROCAT (García, Gil y Rodríguez, 1999); SIETTE (Guzman y Conejo, 2002)

3. Tareas de evaluación sofisticadas y evaluación 2.0 La aparición de Internet no ha cambiado sustancialmente el tipo de tareas de evaluación planteadas al estudiante. QUIZIT, WebCT ahora Blackboard,  ASSYST. Moodle o PILOT permite que los estudiantes respondan a preguntas y reciban retroinformación desde cualquier dispositivo conectado a Internet en cualquier momento.   

3. Tareas de evaluación sofisticadas y evaluación 2.0 Los estudiantes contestan oralmente a una pregunta, completan matrices de información, emparejen preguntas y respuestas, arrastran y sueltan objetos, ponen etiquetas, etc.. Feedback automatizado y cerrado: “a la respuesta errónea A le corresponde el feedback A’ “ La evaluación han modernizado la forma de preguntar y dar retroinformación a los estudiantes pero no el enfoque de las preguntas ni de la retroalimentación.  

3. Tareas de evaluación sofisticadas y evaluación 2.0 Bennett (1998) una nueva generación de evaluación: Habría que cambiar la naturaleza de las tareas y de las preguntas. El cambio generacional debería ser capaz de integrar las tareas de evaluación y el aprendizaje: Con tutores inteligentes, micromundos y simulaciones. Contenido altamente dinámico y adaptable considerando los intereses particulares, las fortalezas y debilidades de los estudiantes.    ¡¡ PERO LAS INNOVACIONES SIGUEN SIENDO ESCASAS !!

3. Tareas de evaluación sofisticadas y evaluación 2.0 El avance de las TICs como respuesta… Automatización del proceso de evaluación: Lei He (2006): evalúa los resultados de los estudiantes y las actividades de enseñanza de los profesores en la vida real, pero sigue apoyándose en la taxonomía de Bloom. e-Examiner (Guelt, 2007). permite generar automáticamente pruebas proporcionando retroinformación automática al estudiante, pero sigue utilizando preguntas semicerradas y de texto libre (hasta 20 palabras).

3. Tareas de evaluación sofisticadas y evaluación 2.0 Tareas sofisticadas ¿una alternativa?: material de estímulo rico en medios (gráficos, sonido, vídeo o animación). requiere al estudiante que interactúe en una variedad de formas con dicho material. Cada tarea debe hacer referencia a varios temas o tópicos centrales en el aprendizaje del estudiante. Tripartite Interactive Assessment Development System (TRIADs). pruebas ricas en medios que permiten al estudiante interactuar con las diferentes  informaciones presentes en un ítem (textos, imágenes, sonidos) pero finalmente se trata de elegir una respuesta entre varias opciones o para completarla. Retroalimentación inmediata y de una única fuente: el profesor.

3. Tareas de evaluación sofisticadas y evaluación 2.0 Tripartite Interactive Assessment Development system (TRIADs) Mackenzie, 1999

3. Tareas de evaluación sofisticadas y evaluación 2.0 Tripartite Interactive Assessment Development system (TRIADs) Mackenzie, 1999

3. Tareas de evaluación sofisticadas y evaluación 2.0 Integración de evaluaciones (University of Technology, Sidney): Tareas integradoras: los estudiantes reúnen y reprocesan los diferentes trabajos que han llevado a cabo a lo largo de un curso, después reflexionan sobre ellos y los analizan, de ese modo modifica tanto su interpretación de las exigencias de cada tarea como su valoración del alcance de las mismas. Examen completo: Se da al estudiante un caso de estudio dos semanas antes del examen; pueden crearse grupos de estudio para analizarlo. En el examen de conjunto se incluyen diferentes pruebas a través de distintas materias, que se apoyan en preguntas cortas o de elección múltiple, y requieren conocimiento aplicado. Maastricht University (Segers, 1997).

3. Tareas de evaluación sofisticadas y evaluación 2.0 Assessment 2.0 (Elliot, 2008): Desarrollo de tareas de evaluación en un entorno Web 2.0: Apoyada en applets, simulaciones u hojas de cálculo con macros, reorientación de objetos dentro de una imagen o un gráfico, empleo de imágenes de video o 3D. Acontecida de forma natural: ya existente no generada ad hoc para realizar la evaluación. Multimedia: existente en formato texto, audio o video. Digital: correo electrónico, mensajería instantánea, blogs, wiki y grabaciones en audio y video. Distribuida: como la que puede obtenerse a través de varias fuentes, tales como sitios web, blogs, inbox, iPod.

3. Tareas de evaluación sofisticadas y evaluación 2.0 Assessment 2.0 (Elliot, 2008): Auténtica. Personalizada. Negociada. Socialmente construida. Reconoce las habilidades previas. Orientada a problemas. Elaboradas de forma colaborativa. Autoevaluación y evaluación entre iguales.

3. Tareas de evaluación sofisticadas y evaluación 2.0 Assessment 2.0 (Elliot, 2008): Inconvenientes Tecnología sofisticada para desarrollar una evaluación que también es sofisticada y que tiene aplicaciones igualmente sofisticadas. Se necesita que los profesores tengan las habilidades necesarias para construir una evaluación 2.0 y puedan dedicar el tiempo que se necesita, detrayéndolo de otras actividades como por ejemplo la investigación. ¿Es necesaria tanta sofisticación? ¿Es un problema tecnológico o de enfoque de la evaluación?

3. Tareas de evaluación sofisticadas y evaluación 2.0 ¿SE REQUIEREN TAREAS TAN SOFISTICADAS? LA INNOVACIÓN EN LAS TAREAS DE EVALUACIÓN, ¿ES UN PROBLEMA TECNOLÓGICO O UN PROBLEMA DE ENFOQUE?

4. El reto de la retroinformación La retroinformación al uso en la enseñanza virtual no es muy diferente a la que se lleva a cabo en la enseñanza presencial, como parte de una evaluación de tipo formativa. La investigación sobre retroinformación se ha centrado fundamentalmente en hacer más eficaz la labor del profesor que sigue a la evaluación de los estudiantes.

4. El reto de la retroinformación Shute (2007: 30-33) ha sistematizado los resultados de las investigaciones sobre retroalimentación en cuatro categorías: “lo que puede hacerse”, “lo que puede evitarse”, “oportunidad de la retroinformación” y “características de los estudiantes”.

4. El reto de la retroinformación En el caso particular de la enseñanza asistida por ordenador, la investigación sobre retroinformación se ha apoyado igualmente en el concepto de evaluación formativa tratando de identificar el mejor modo de que el profesor apoye el aprendizaje del estudiante, una vez realizada la evaluación. Mason y Bruning (2001), un esquema para la toma de decisiones sobre el tipo de retroinformación más adecuado en una enseñanza asistida por ordenador.

4. El reto de la retroinformación

4. El reto de la retroinformación El profesor como la única fuente de retroinformación; tiene el monopolio de la retroinformación. Se priva a otros agentes –los compañeros de clase y el propio estudiante, entre otros- de participar en ese proceso. Buena parte del potencial de Internet, y especialmente de la Web 2.0, quedarían desaprovechados. La evaluación formativa es una una rémora en el avance de la evaluación al desviar el foco de atención hacia el profesor y la enseñanza.

4. El reto de la retroinformación Este tipo de retroinformación centrada en la enseñanza y monopolizada por el profesor tiene además otro consecuencia fundamental: su utilidad es una función de la capacidad del estudiante para: a) decodificar el mensaje (feedback) del profesor; b) internalizar dicho mensaje; y, c) utilizarlo para confirmar su respuesta, hacer cambios en ella o simplemente reemplazarla.

4. El reto de la retroinformación Nicol y Macfarlane-Dick (2006), modelo de aprendizaje autorregulado, 7 principios básicos para una buena retroinformación: Clarificar qué se entiende por un trabajo bien hecho. Facilitar la reflexión y la autoevaluación en el aprendizaje. Proporcionar información significativa en la retroinformación que ayude a los estudiantes a autocorregirse. Promover el diálogo profesor-estudiantes y compañeros. Estimular la autoestima y la motivación positiva. Crear las oportunidades para que se pueda actuar sobre la retroinformación. Utilizar la retroinformación de los estudiantes para mejorar la enseñanza.

4. El reto de la retroinformación Algunas experiencias del JISC ¿frustrantes? Open University, en su curso a distancia “Explorar la ciencia”, basando en iMACs: Diferentes tipos de preguntas abiertas o cerradas, texto libre (hasta 20 palabras). Retroinformación diferenciada en función de cada uno de los intentos que realiza el estudiante para responder de forma correcta a una pregunta (a más intentos más retroinformación). Si es necesario remiten al estudiante a los materiales fundamentales del curso Se puntúan las respuestas correctas en función del número de intentos necesarios para lograrlas.

4. El reto de la retroinformación Algunas experiencias del JISC ¿frustrantes? Open University, en su curso a distancia “Explorar la ciencia” A medio camino entre la retroinformación proporcionada en los modelos de evaluación apoyados en el uso del ordenador y la autorregulación del aprendizaje. Evaluación que prima –ciertamente ya no es un monopolio- el papel de una retroinformación externa en detrimento de la interna o de la que puedan proporcionar los propios compañeros.

4. El reto de la retroinformación Algunas experiencias del JISC ¿frustrantes? Universidad de Leicester en un Máster sobre Psicología Ocupacional. Tecnología en la que se apoyó la retroinformación: archivos de audio (podcasts) grabados por el profesor/ tutor distribuidos vía correo electrónico/ Blackboard y descargados a través de un sistema de redifusión (RSS) en MP3 en su teléfono móvil, ipad u ordenador. Estudiantes: rompen su aislamiento (humanizan), pueden recibir la retroinformación en cualquier momento y lugar. Profesores: adecuada y eficiente, especialmente en aquellos casos en los precisan dar al estudiante una retroinformación detallada como en los trabajos finales de máster

4. El reto de la retroinformación Algunas experiencias del JISC ¿frustrantes? Universidad de Leicester en un Máster sobre Psicología Ocupacional. El enfoque sigue considerando al profesor como fuente única de dicha retroinformación y, desde luego, esta lejos de favorecer procesos de autorregulación del aprendizaje del estudiante.

4. El reto de la retroinformación ¿Podemos esperar algo más? Grupo Evalfor en diferentes enseñanzas universitarias, ámbito de las Ciencias de la Salud: Estudiantes de Enfermería han llevado un proceso de evaluación que comporta autoevaluación, evaluación entre compañeros y evaluación del profesor. En una metodología de enseñanza por pequeños grupos, los estudiantes tenían que elaborar un genograma y subirlo a un entorno de aprendizaje virtual Moodle. Posteriormente, los estudiantes de cada grupo tenían acceso a los genogramas elaborados por los demás grupos, los evaluaban utilizando una rúbrica común elaborada ad hoc y podían proporcionar retroinformación a sus compañeros.

4. El reto de la retroinformación ¿Podemos esperar algo más? Grupo Evalfor en diferentes enseñanzas universitarias, ámbito de las Ciencias de la Salud: Limitaciones/Posibilidades: Una mayor formación específica sobre evaluación del aprendizaje. Proceso dialógico: Criterios de evaluación y estándares de ejecución son objeto de revisión por profesores y alumnos. Un entrenamiento en directrices que articulan la retroinformación hubieran contribuido a un mayor aprovechamiento de esta última por parte de los estudiantes acrecentando su capacidad para autorregular el aprendizaje. Proceso dialógico: Ejemplificar y compartir modelos de retroinformación. En el futuro, sería necesario profundizar en la relación entre dicha formación y entrenamiento y la mejora de los procesos de autorregulación.

5. Prospectiva: ¿qué deberíamos exigir a la Tecnología Evaluación 2020 La evaluación tiene más efecto cuando … 1. La evaluación se utiliza para involucrar a los estudiantes en un aprendizaje productivo La tecnología tendrá más efecto cuando … Permita que los estudiantes se involucren en un aprendizaje productivo a través de la evaluación Grado de desarrollo ALGO: Las redes sociales permiten involucrar a los estudiantes en la evaluación, aunque actualmente no están muy preparadas para ello POCO ALTO. Las tecnologías Web 2.0 permiten que los estudiantes produzcan resultados que son evaluables. No obstante, las herramientas que se utilizan para ello aún no tienen herramientas de soporte a la evaluación por parte del profesor.

La evaluación tiene más efecto cuando … 2.   La retroalimentación se utiliza para mejorar de forma activa el aprendizaje del estudiante La tecnología tendrá más efecto cuando … Permite la autorregulación del aprendizaje, incorporando la retroalimentación de profesores y compañeros Grado de desarrollo BASTANTE: Los sistemas de mensajería electrónica (e-mail) y las redes sociales habilitan la retroalimentación, aunque está aun por determinar en qué momentos es más adecuado que dicha retroalimentación se produzca BASTANTE: Sistemas de preguntas/respuestas con guía para los alumnos. Disponibles en LMSs. ALTO: Las herramientas on-line permiten dar realimentación de profesores y compañeros en diferentes modos, anónima o con identificación, para cualquier tipo de entrega e incluso para contribuciones en medios asíncronos como los foros.

La evaluación tiene más efecto cuando … 3.   Estudiantes y profesores se conviertan en socios responsables en el aprendizaje y la evaluación La tecnología tendrá más efecto cuando … Hace posible la colaboración del estudiante, sus compañeros y profesores en el diseño y desarrollo integral de la  evaluación y del aprendizaje Grado de desarrollo POCO: la co-responsabilización en la evaluación poco o nada tienen que ver con la tecnología. Aunque hay ayudas tecnológicas que han demostrado su utilidad en el aprendizaje colaborativo (v.g. herramientas de CSCL - Computer-Supported Collaborative Learning), en escasa medida lo han hecho para fomentar la co-responsabilización en la evaluación. ALGO: Herramientas como wikis fomentan esta co-dependencia. BAJO: Los sistemas actuales mantienen una diferencia entre el profesor y los estudiantes en cuanto al diseño de la evaluación. No ha soporte explícito a este aspecto.

La evaluación tiene más efecto cuando … 4.   Los estudiantes se inician en las prácticas de evaluación y las culturas de la enseñanza superior La tecnología tendrá más efecto cuando … Hace posible el entrenamiento progresivo en la evaluación Grado de desarrollo BASTANTE: Las herramientas para implementar prácticas e instrumentos de evaluación (e.g. LAMS) permiten definirlos cada vez más complejos, en función del nivel del estudiante . ALGO: Técnicas de revisión entre iguales soportadas por esquemas como por ejemplo e-portfolios hacen posible la revisión mutua con rúbricas. BAJO: Aunque en ciertos tipos de evaluación se permite el entrenamiento progresivo como en los tests, en general la tecnología no soporta explícitamente versionado y ayuda automática para el estudiante.

La evaluación tiene más efecto cuando … 5.   La evaluación para el aprendizaje está en el centro del diseño de las asignaturas y el programa educativo La tecnología tendrá más efecto cuando … La interfaz esté diseñada de modo que permite que la evaluación del aprendizaje sea el centro de la planificación de las asignaturas y del título Grado de desarrollo POCO: Las herramientas usuales de planificación docente están más centradas en la estimación del esfuerzo del estudiante que en el proceso de evaluación, que suele ocupar un papel secundario. POCO/NADA: A nivel institucional (en mi experiencia) todavía se focaliza los aspectos meramente operativos, y no de efectividad del aprendizaje. MEDIO: Las herramientas tecnológicas están organizadas en torno a los contenidos y los medios de interacción, pero no a la evaluación, aunque se pueden utilizar de modo que se soporte.

La evaluación tiene más efecto cuando … 6.   La evaluación para el aprendizaje es esencial para el desarrollo institucional y del profesorado La tecnología tendrá más efecto cuando … Exista una estrategia institucional que permite que la tecnología desarrolle la evaluación del aprendizaje, contribuyendo de ese modo al logro de los objetivos de la institución. Grado de desarrollo POCO: las mismas razones que en la pregunta anterior POCO/NADA: . A nivel institucional (en mi experiencia) todavía se focaliza los aspectos meramente operativos, y no de efectividad del aprendizaje. BAJO: Los LMS utilizados en la mayoría de las instituciones educativas no fomentan un desarrollo específico y sistemático para el desarrollo de la evaluación para el aprendizaje.

La evaluación tiene más efecto cuando … 7.   La evaluación proporciona una representación completa y certera del rendimiento del estudiante. La tecnología tendrá más efecto cuando … Permite el seguimiento del aprendizaje y es capaz de reflejar las competencias que el alumno ha desarrollado al finalizar sus estudios. Grado de desarrollo POCO: Las herramientas actuales permiten hacer analíticas (v.g. learning analytics) de la actividad real del estudiante o bien recoger evidencias normalmente documentales (v.g. e-portfolios) de la misma, pero usualmente desde una perspectiva puntual (i.e. una tarea, curso, una asignatura) y, sobre todo en el caso de la analítica, pocas veces global e integrada (i.e. un plan de estudios). POCO: La tendencia es a incluir más objetivos a conseguir por el estudiante, pero el seguimiento de estos objetivos es muy deficiente (me refiero a habilidad para trabajar en equipo, necesidad de aprendizaje a lo largo de la vida) MEDIO Existen medios para hacer el seguimiento, pero son demasiado costosos y no se explotan completamente las posibilidades de la adaptatividad para soportar el trabajo del profesor.

EVALUACIÓN TECNOLOGÍA

Let us envisage new forms of e-assessment and then build and evaluate them. Imaginemos nuevas formas de e-evaluación y después construyámoslas y evaluémoslas. (Whitelock, 2009)

¡¡Muchas gracias!!