Evaluación del aprendizaje en Ciencias Médicas Dra. Rosa Lidia Machado Cuétara Conferencia 1 Especialista de I Grado en Anatomía Humana. Profesora Asistente. Facultad de Estomatología. Instituto Superior de Ciencias Médicas de la Habana.

Objetivos 1- Ser capaces de confeccionar instrumentos evaluativos válidos y confiables. 2- Poder definir el contenido de una evaluación al decidir la aplicación de un examen tipo Test 3- Ser capaces de construir tablas de Especificación para elaborar exámenes tipo Test. 4- Entrenar a los docentes en la confección de preguntas tipo Test 1- Ser capaces de confeccionar instrumentos evaluativos válidos y confiables.

Criterios de validez y confiabilidad 1.Definir qué debe ser evaluado 2.Seleccionar métodos y procedimientos a emplear 3.Cómo calificar un examen 4.Establecer el patrón de Aprobado y Desaprobado

1- Definir qué debe ser evaluado (Constituye la base de la validez del instrumento evaluativo) El evaluador tendrá en cuenta: a) Objetivos o propósitos del instrumento : - Decisión diagnóstica - Concurso o examen de premio - Conocer el nivel de conocimiento alcanzado b) Sobre el contenido a evaluar: - Identificar los problemas que los educandos deben ser capaces de enfrentar

2- Seleccionar métodos y procedimientos a emplear Emplear con preferencia aquellas situaciones simuladas lo mas cercanas posibles ala realidad. Seleccionar aquellos métodos y procedimientos que evalúen resultados en dependencia de objetivos, FOD y entrenamiento previo a su aplicación con la que los educandos estén acostumbrados a enfrentarse..

3- Cómo calificar un examen * Listas de comprobación: Recogen detalladamente las tareas objeto de evaluación. En algunos casos se verifica si fueron realizadas o no y en otros la secuencia y calidad con que se realizó * Escalas de calificación: Establecen para un conjunto de acciones los diferentes grados de calificación, muy útiles para evaluar actitudes y el grado de conocimiento de forma justa y equitativa. * Clave de respuestas

Escala de calificación ( ejemplo) NotaCriterios: ¿Cómo identifica una estructura en las piezas anatómicas? 5 Tiene seguridad, se orienta en la pieza por sus relaciones y explora directamente la zona sin dañar otras estructuras. 4 Redescubre la zona y reconoce algunas estructuras vecinas pero sin seguridad, no aportando todos los detalles no fundamentales 3 Se evidencia inseguridad, necesita un tiempo mayor de lo necesario, solo reconoce alguna estructura vecina sin especificación aunque señale finalmente la estructura 2 No se ubica correctamente, confunde las estructuras o se decide por una incorrecta.

Escala de calificación (ejemplo) Nota:1 Criterios: “Actitud, comportamiento y modo de vestir” 5 El educando muestra respeto, sentido profesional, madurez, cortesía y porte y aspecto 4 Mantiene conducta apropiada pero no es excepcional ni ejemplo al resto de los educandos 3 Aunque mantiene cierta corrección en conducta y modo de vestir pero le faltan hábitos de educación formal, sentido de cortesía y respeto 2 No alcanza el nivel de función social adecuado. No es ejemplo al resto del colectivo. Tiene que superar deficiencias inaceptables de lenguaje y comportamiento, etc.

Clave de Calificación de Respuestas Recoge las opciones o patrones de respuestas aceptadas como válidas para cada pregunta. Un requisito obligatorio es su confección antes de la aplicación del examen. Tiene que corresponderse con la escala de calificación empleada y teniendo en cuenta el entrenamiento previo del alumno en relación al tipo de examen a aplicar. Se acompaña de la tabla de decisiones para nota final.

Tabla de decisiones Nota Criterios 5 (Excelente ) Cuando responde el problema sin omisiones, imprecisiones ni errores 4 (Bien ) Cuando responde el problema con omisiones o imprecisiones no esenciales, pero sin errores 3 (Regular ) Cuando responde el problema con omisiones o imprecisiones esenciales no significativos 2 (Mal ) Cuando no responde el problema o comete algún error importante que puede provocar acciones erróneas o iatrogénicas

4- Establecer el patrón de Aprobado y Desaprobado El establecimiento de normas o patrones de calificación es un proceso complejo a desarrollar por el colectivo, con el fin de definir los elementos que determinan: a) La calificación de aprobado en un examen b) Los elementos que caracterizan la escala de calificación utilizada

Características generales del instrumento evaluativo Contenidos directamente relacionados con los objetivos. Debe ser realista y práctico Válido y confiable Objetivo y factible de realizar Completo, pero lo mas breve posible Preciso y claro en su redacción

Tipos de Exámenes 1- Exámenes de Desarrollo: El alumno aporta su propia respuesta y desarrolla el lenguaje oral 2- Respuesta estructurada o Test objetivos El alumno selecciona la respuesta que cree correcta 3- Mixtos: Combina ambos

Tabla de Especificaciones  Es la estructura mas utilizada para realizar la selección de preguntas o problemas del instrumento evaluativo  Se trata de una tabla de doble entrada, donde en uno de sus márgenes se ubica un listado de los contenidos mas importantes y en el otro los procesos a evaluar. La ponderación dada a cada celda debe sumar 100%

Tabla de Especificaciones  La tabla debe desplazarse hacia el nivel productivo y creativo  Su real importancia radica en que podemos equilibrar los contenidos a evaluar sin que se nos escape ningún tema de importancia y nos planificamos cómo lo vamos a explorar, a qué profundidad y qué tipo de preguntas confeccionar para medir los objetivos.

Tabla de Especificaciones (ejemplo) 20 X V X IV 20 X III 20 X II 20 X I %SoluciónAplicaciónComprensiónMemorizaciónSN DE NIVELESTe- mas ASIMILACIÓN

Preguntas de ensayo. Ventajas: Son muy útiles para medir la capacidad del alumno para relacionar, seleccionar y organizar la materia y su habilidad para expresar las ideas con claridad y precisión Dificultad: Reduce cantidad de materia a evaluar e influye la subjetividad del evaluador al calificar, además necesita mayor tiempo de solución para el alumno La clave es menos objetiva.

Indicaciones para redactar preguntas de ensayo: * Tenga presente tipo de proceso mental que desee examinar. * Utilice materiales novedosos para obligar al alumno a hacer algo mas que repetir. * Comience las preguntas con palabras como: “Compare”“Ejemplifique”“Critique” “Explique cómo” “Justifique” ( nunca con palabras como: “Qu锓Quién”“Cuándo” ) * Pregunte sin ambigüedad; claro y directo.

* No emplear muchas preguntas o muy extensas Indicaciones para redactar preguntas de ensayo (continuación) * Redacte un conjunto de orientaciones en enunciados que abarquen: a- Plan a seguir para responder b- Respuesta esperada en prosa o esquema c- Tiempo disponible para el examen Establezca una gama de complejidad cuando utilice varias preguntas

Ensayo respuesta corta: a)Cada Item debe tratar un contenido importante (no trivialidades). b) Lenguaje preciso evitando preposiciones indefinidas o abiertas. c) Si se requiere respuesta numérica, especificar número. d) Cuando se trata de completar espacios en blanco, estos deben estar al final de la oración, ser palabras claves y dejar completa la frase sobre lo que se pide.

Ensayo respuesta corta: (continuación) e) No deben extraerse oraciones del texto o hacer énfasis solo en la memoria literal. f ) No debe hacer una pregunta y de ella degradar el resto, pues si el alumno no domina ese contenido puede que si domine otros y no refleje realmente su nivel de conocimiento

Test objetivos Son preferidos por muchos por su rapidez y objetividad al calificarlos Es difícil conocer a través de él grado de profundidad del alumno sobre la materia, por lo que requiere una cuidadosa elaboración. Consume menos tiempo de respuesta al educando y se aplica a una muestra amplia No desarrolla la expresión oral pero si la escrita.

Test objetivos Para planificar un instrumento tipo test objetivo debemos construir una tabla de distribución por tipo de pregunta y el temario debe tener un % de cada tipo como se sugiere a continuación: 40% Selección múltiple Complemento Simple 20% “ “ “ “ Complemento Agrupado 10% V o F 20% Parear o crucigrama 10% Respuesta corta.

Test objetivos Si todas las temáticas tienen igual peso puede distribuirse igual cantidad de preguntas por temas. ( Esto no es una camisa de fuerza ), pero nos ayuda a ser equitativos y no olvidar temas de importancia. Ejemplo: Trabajo de control: ( 5 preguntas ) TemaRepr.TipoAplic.TipoId/solTipoTotal Resp. 1 SMCA 1 Dig. 1 V o F 1 SMCS 2 CV 1 Parear 1 Rta Corta 2

Selección Múltiple Se utiliza para evaluar conocimientos del vocabulario, comprensión y aplicación de principios o habilidades. Están compuestas por una guía o núcleo (Tallo del problema) y por una lista de posibles respuestas o alternativas Deben ofrecerse 4 o 5 alternativas por Items ( evitando el azar) * Debe haber una sola respuesta correcta

Tipos de preguntas de Selección Múltiple Complemento Agrupado: Ofrece un grupo de aseveraciones y se ofrecen alternativas con combinaciones de posibles reales respuestas agrupadas. Solo una alternativa es correcta Complemento Simple: Existe solo una posible alternativa correcta a seleccionar.

Selección múltiple complemento simple ( ejemplo) Marque con una X la alternativa correcta: ___ En el piso del IV Ventrículo se sitúa la tela coroidea ___ El Colículo facial es un detalle del Mesencéfalo. _X_ El Trígono del Hipogloso se sitúa en el ángulo inferior de la Fosa Romboidea ___ La Corona radiada se sitúa por debajo de la Cápsula interna

Selección múltiple complemento agrupado ( ejemplo) Lea atentamente las siguientes aseveraciones y seleccione debajo la alternativa correcta: a)El ganglio espinal pertenece al SNC. b)La neurona motora del SNA se sitúa en el asta anterior c)La arteria Meníngea media forma parte del Polígono Arterial del Cerebro d)El haz Espinocerebelar anterior viaja por el Pedúnculo Cerebelar superior e)El Núcleo motor somático del VII se sitúa en protuberancia Las respuestas correctas son: 1) ___ (a, c, d) 2) ___ (b, c, e) 3) _X_ (b, d, e) 4)___ (c, d, e)

Verdadero o Falso (V o F) Están compuestas por un conjunto de afirmaciones que deben cumplir los siguientes requisitos: - Contener solo una idea ( sin trampas) - Eliminar adverbios como: “todo" “siempre" “ninguno" “nunca" “usualmente" “alguna vez“ “a veces” - Deben haber proporción de V y F - No emplear palabras textuales de los libros.

Verdadero o Falso (V o F) (continuación) No introducir un elemento falso puntual en una aseveración que es correcta por su esencia * Evitar frases en paréntesis * Redacción con lenguaje claro y preciso * No utilizar preposiciones negativas (ejemplo; “los diabéticos no deben dejar descuidar su dieta”)

Parear Cada columna debe estar encabezada por una adecuada descripción de su contenido mas de una vez Las preguntas de una serie o columna deben ser homogéneas (5 o 10 items) * El número de respuestas debe ser mayor al de problemas ( Si es posible el doble) * Las alternativas deben tener orden lógico El examinado debe elegir su respuesta en la columna de menor carga de lectura En las instrucciones se especificará si existen opciones de respuestas a utilizar

Crucigramas Se dispone de opciones verticales y horizontales que encajan perfectamente con respuestas que solo admiten una palabra correcta. Es una tendencia actual, utilizada frecuentemente en software educativos. Es útil para desarrollar habilidades en los estudiantes Como limitante para su aplicación tenemos lo limitado de la respuesta a pedir.

Reorganizar Es bastante común en Software educativos enfrentarnos a este tipo de evaluación donde se le ofertan al estudiante respuestas “volantes” que luego de leer la pregunta aparecen de forma rápida y se mueven en pantalla hasta desaparecer en corto tiempo. Como ventaja está el que favorece el desarrollo del pensamiento lógico y los entrena en la toma de decisiones rápidas Como desventaja tenemos que se necesita de una computadora disponible y de tiempo de programación por parte del docente.

Tarea: Elabore una propuesta de examen tipo Test Elabore una tabla de Especificaciones Confeccione una clave de calificación

Conclusiones Para conocer la situación real del aprovechamiento docente de nuestros estudiantes, es imprescindible dedicar tiempo a la confección del instrumento evaluativo en función de los objetivos a medir, el entrenamiento previo a su aplicación, la confección de la clave antes de la aplicación del test y análisis del tiempo que necesita ese estudiante según complejidad de la materia, extensión y profundidad de los temas y tipo de examen a aplicar. Solo con un buen instrumento evaluativo podemos hacer diagnósticos y sentencias sin cometer injusticias o violaciones del PDE. ¡ GRACIAS !