Taller de Calidad de Materiales Educativos Digitales Prof. Ana M. Fernández-Pampillón Cesteros UNIVERSIDAD COMPLUTENSE DE MADRID AENOR

Objetivos - Formativos Qué es un MED (¿y un OA?) Qué es calidad de un MED Cómo se mide la calidad de un MED Cómo se puede mejorar la calidad de un MED

Objetivos - Investigación Evaluar el modelo de calidad (Modelo y rúbrica) respecto: Usabilidad (¿fácil de entender y aplicar?) Eficacia (¿ayuda a mejorar la calidad de los MED?) Fiabilidad (¿los resultados de evaluación son objetivos?) Obtener un conjunto de MED evaluados –colección de muestra-

Esquema de trabajo Parte 1. Evaluación (pre-uso) de un MED de ejemplo (3 horas) 1.1. Explicar brevemente modelo de calidad (30 - 40’) – usar guía y ejemplos 1.2. Evaluar MED ejemplo (30-40’) Rúbrica Plantilla de evaluación (puntuación) DESCANSO (15’) 1.3. Discusión y preguntas. Acciones de Mejora. Consenso? (45’) Parte 2. Evaluación de un MED propio (45’- 55’) – se puede hacer una evaluación por pares o autoevaluación (20-30’). Discusión y preguntas (10-15’). Obtener Informe: Puntuación y Acciones de Mejora (15-20’) Parte 3. Mejora del MED propio/ejemplo para obtener más puntuación en la evaluación de la calidad (1 hora). Posible reevaluación por pares (20-30’)

Parte 1. Evaluación (pre-uso) de un MED de ejemplo

1.1. Explicar brevemente Modelo de calidad (30 - 40’) ¿Qué se entiende por calidad de un MED? ¿Para qué evaluar la calidad de un MED? ¿Cómo evaluar la calidad de un MED? La evaluación de la calidad de l os objetos de aprendizaje: (1) ayuda a los autores a crear mejores materiales didácticos en formato digital si se aplica durante la creación de los mismos de forma que vaya guiando la toma de decisiones y acciones a la obtención de las mejores puntuaciones en la evaluac ión de calidad ; y , (2), sirve para valorar la dedicación q ue requiere la producción de OA de . Además, (3) las evaluaciones obtenidas con COdA ayudan a los profesores estudiantes a localizar en los repositorio s - o contenedor es de objetos de aprendizaje los más adecuados a sus necesidades didácticas y técnicas .

¿Qué es un MED (y un OA)? Los Materiales Educativos Digitales (MED) son recursos en formato digital utilizados en los procesos de enseñanza y aprendizaje. Incluye cualquier material digital que un profesor o alumno utiliza para cursar una asignatura: programa, calendario, guía docente, apunte, actividad, tutorial etc. Las posibilidades de generar distintos tipos de MED es muy amplia: una imagen suelta, el programa de la asignatura, una presentación, una página con texto, una simulación interactiva o incluso un curso completo. Los MED se crean para ser utilizados en los campus virtuales -aprendizaje en línea o e-learning-, en las aulas informatizas, laboratorios, etc –aprendizaje presencial- o en aulas presenciales conectadas al campus virtual –aprendizaje mixto o b-learning.

(¿y un OA?) Cuando los MED se diseñan con el objetivo de que sean escalables, reutilizables, interoperables y accesibles se llaman Objetos de Aprendizaje (OA). El concepto de OA proviene de la informática, concretamente de la Programación Orientada a Objetos. La ventaja de los OA es que pueden fácilmente actualizarse, compartirse, documentarse, trasladarse, almacenarse, clasificarse y recuperarse. Esto se traduce en una reducción de los costes porque: 1) se pueden reutilizar en nuevos contextos disciplinarios, contextos informáticos y, además, pueden constituir la base de nuevos objetos de aprendizaje. También, 2) permiten reducir el esfuerzo de localización de los recursos y, en consecuencia, ayudan a mejorar significativamente el proceso de preparación de las actividades y la calidad de los contenidos didácticos. El modelo de calidad de MED incorpora los criterios de escalabilidad, reusabilidad, interoperabilidad y accesibilidad de los OA como criterios de calidad del MED. Por esta razón no se distingue entre OA y MED. Se consideran los OA como MED de calidad. Estructuralmente los OA se organizan en dos partes: metadatos y contenido. Los metadatos describen el OA (títulos, autor, instrucciones de uso, etc). El contenido está formado por uno o varios archivos e, incluso, por otros OA. Los OA se almacenan de forma clasificada en los Repositorios de OA. Pueden exportarse e importarse utilizando paquetes de contenido (archivos comprimidos) estándares: IMS-CP, SCORM, IMS-CC.

¿Qué se entiende por calidad de un MED? Un MED es de calidad si es eficaz didáctica y tecnológicamente. Es eficaz didácticamente si contribuye a mejorar la enseñanza y el aprendizaje y, por lo tanto, su uso mejora los resultados académicos. La eficacia tecnológica se refiere a su calidad como producto informático: robusto, interoperable, usable, escalable.

¿Para qué evaluar la calidad de un MED? La evaluación de la calidad de los MED: ayuda a los autores a crear mejores materiales didácticos en formato digital si se aplica durante la creación de los mismos de forma que vaya guiando la toma de decisiones y acciones a la obtención de las mejores puntuaciones en la evaluación de calidad; sirve para valorar la dedicación que requiere la producción de OA de calidad. Además, las evaluaciones obtenidas con COdA ayudan a los profesores y estudiantes a localizar en los repositorios -o contenedores- de objetos de aprendizaje los más adecuados a sus necesidades didácticas y técnicas

¿Cómo se mide la calidad? Criterios de calidad ponderables (basados en indicios de calidad) Evaluación pre-uso Opinión de los usuarios Evaluación post-uso ---------------------------------------------------------------- En este taller usaremos sólo los criterios de calidad, es decir, una evaluación pre-uso

Criterios de calidad 10 criterios puntuables del 1 al 5 o bien No Aplicable (no puntuable) 5 didácticos y 5 tecnológicos Objetivos y coherencia didáctica Calidad de los contenidos Capacidad de generar reflexión, crítica e innovación Interactividad y adaptabilidad Motivación Formato y Diseño Usabilidad Accesibilidad Reusabilidad Interoperabilidad

Criterios de calidad Cada criterio, a su vez, se desglosa en: 1. Breve descripción 2. Subcriterios de cuyo cumplimiento depende la puntuación total obtenida en el mismo. De esta manera se obtiene una evaluación precisa que trata de no dejar ningún apartado abierto a la interpretación del evaluador.

Ejemplo: 1er. Criterio de calidad 1. Objetivos y coherencia didáctica Este criterio valora si se han definido y son coherentes los objetivos didácticos (qué se aprende con el MED), los destinatarios (a quién va dirigido), las destrezas a desarrollar (qué habilidad va a mejorar el alumno) y sugerencias de explotación didáctica (instrucciones de uso) para el profesor y/o para el alumno. En concreto, se debe valorar si: 1.1. El MED tiene una ficha de metadatos donde se especifican con claridad los objetivos didácticos, las destrezas a desarrollar, el tipo/nivel/necesidad los destinatarios y sugerencias sobre su posible explotación didáctica (instrucciones) para el profesor y/o para el estudiante. 1.2. Existe coherencia entre los objetivos, destrezas y destinatarios. 1.3. La explotación didáctica se puede llevar a cabo teniendo en cuenta los objetivos, destrezas y destinatarios que se han definidos. La explotación didáctica puede no ser necesario que aparezca. 1.4. Existe coherencia entre los objetivos, destinatarios, destrezas y explotación didáctica y los contenidos del MED. DESCRIPCIÓN SUBCRITERIOS

Criterios de Calidad - Rúbrica Para facilitar la aplicación del modelo de calidad se ha desarrollado una rúbrica. La rúbrica ayuda a puntuar de forma más objetiva cada criterio

Rúbrica

Rúbrica La rúbrica de calidad de MED añade, además, una tabla que ayuda a verificar los criterios de accesibilidad (criterio 8)

Rúbrica II

Plantilla de evaluación Finalmente, las puntuaciones se registran en una plantilla de evaluación.

Plantilla de evaluación

Plantilla de evaluación Existe un campo “Notas” en cada criterio por si se considera necesario: (1) justificar la puntuación (2) proporcionar sugerencias de mejora

1.2. Evaluar un MED ejemplo (20 - 35’) Se necesita: Rúbrica (básico) Herramienta COdA (para ampliar) Ejercicio ejemplo Plantilla evaluación Disponibles como “Recursos” del Objeto Digital 2295 del repositorio: http://aenor-71-36-12.fdi.ucm.es - Acceso directo al Objeto Digital 2295: http://aenor-71-36-12.fdi.ucm.es:10000/Repositorio/view/cm_view_virtual_object.php?idov=2295&idpadre=3&seleccion=

EVALUACIÓN 30 – 40 minutos

DESCANSO 15 minutos

1.3. Discusión y preguntas. Acciones de Mejora. Consenso? (45’) ¿algún criterio/subcriterio no está claro? ¿alguna sugerencia al modelo? ¿cambio en criterios/subcriterios?, ¿faltaría algún otro criterio? ¿Se ha conseguido consenso en las evaluaciones? ¿se puede conseguir? (se puede trabajar en 5 ó 10’ por parejas) -------------------------------------- Acciones de mejora listar individualmente en un documento (al menos 3 acciones) Puesta en común. Tabla final de acciones de mejora (se utilizará en parte 2)

Partes 2 y 3 Parte 2. Evaluación de un MED propio (45’- 55’) – se puede hacer una evaluación por pares o autoevaluación (20-30’). Discusión y preguntas (10-15’). Obtener Informe: Puntuación y Acciones de Mejora (15-20’) Parte 3. Mejora del MED propio/ejemplo para obtener más puntuación en la evaluación de la calidad (1 hora). Posible reevaluación por pares (20-30’)

MEJORA del MED Puntos de mejora (partir del informe de acciones de mejora obtenido en Parte 1) Notas Parte 3 (sin publicar) Adobe Acrobat Pro para mejorar la accesibilidad e interoperabilidad https://www.ucm.es/info/webfilol/tmp/Tallerdecalidad/ejerciciodemejora.zip Reload ó Sakai para crear IMS-CP ó SCORM Repositorio de MED Filología. Observar. http://mediaserver.filol.ucm.es/materiales

FIN DEL TALLER ---------------- Correo contacto: apampi@ucm.es