Nuevos Enfoques en el Desarrollo de Evaluaciones

Presentación del tema: "Nuevos Enfoques en el Desarrollo de Evaluaciones"— Transcripción de la presentación:

1 Nuevos Enfoques en el Desarrollo de Evaluaciones
Luis Saldivia Assessment Specialist Educational Testing Service

2 Sumario de la Presentación
Introducción La necesidad de rediseñar el GRE Diseño Basado en Evidencia (ECD) Descripción del constructo Razonamiento Cuantitativo (RC) Regreso al Diseño Basado en Evidencia Discusión

3 Algunas palabras sobre evaluaciones
Por evaluación nos referimos a hacer inferencias sobre los Conocimientos, Habilidades y Talentos (CHT) de los examinados en base a un conjunto limitado de datos El desarrollo de evaluaciones no se refiere solamente a los contenidos o a las tareas asignadas a los examinados, sino también a los modelos que nos permiten hacer inferencias basadas en las observaciones

4 Que es el ECD? El Diseño Basado en Evidencia (ECD) es una familia de prácticas para el desarrollo de pruebas diseñado a aclarar lo que está siendo medido por una prueba, y a apoyar las inferencias hechas en base a las evidencias derivadas de la prueba

5 Que es ECD? ECD enfatiza los siguientes cinco aspectos:
El propósito de la evaluación Lo que va a ser medido (competencias) Lo que cuenta como evidencia de las competencias Los tipos de tareas a las cuales se les puedan asignar puntajes que puedan proveer esta evidencia Los enlaces lógicos explícitos entre todos los aspectos anteriores, las maneras en que las preguntas serán ensambladas para crear las pruebas, y las maneras como serán asignados puntajes a las pruebas

6 Valor del ECD Validez Eficiencia Organización

7 ECD y la Validez La validez de una evaluación es la extensión a la cual las inferencias y acciones hechas en base a un conjunto de puntajes son adecuadas y justificadas por la evidencia ECD ayuda a construir la validez dentro del proceso de desarrollo de la prueba

8 ECD y la Eficiencia ECD ayuda a asegurar que las preguntas están midiendo material correcto (relevante al constructo) y hace más fácil determinar si las preguntas están midiendo material equivocado (irrelevante al constructo) La documentación requerida por el ECD ayuda a aumentar la calidad de la comunicación entre las diferentes personas que se encargan de un programa de pruebas ECD proporciona la habilidad de crear problemas y pruebas que son más probables que sean paralelas a preguntas y pruebas existentes ECD permite al personal menos experimentado realizar tareas que anteriormente requerían de personal más experimentado

9 ECD y la Organización ECD alínea todas las partes del diseño y desarrollo de pruebas El uso de Modelos de Ensamblaje ayuda a hacer más eficiente el proceso de ensamblaje de pruebas

10 El Enfoque del ECD ¿Cuál es el propósito de la prueba?
¿A quienes estamos evaluando? ¿Qué afirmaciones queremos hacer sobre alguien que obtiene un puntaje alto y sobre alguien que obtiene un puntaje bajo? ¿Qué información contiendrá el eventual reporte de los resultados? ¿Qué CHT queremos medir? ¿Qué clase de evidencias necesitamos para hacer las afirmaciones con confianza? ¿Qué tipo de tareas le permitirán a los examinados mostrar la evidencia que queremos, dadas los limitaciones del ambiente de la prueba? ¿Cómo se deberían ensamblar las pruebas? ¿Cómo debería ser la asignación de los puntajes?

11 Propósito de la Prueba Proporcionar una descripción tan clara como sea posible del propósito de la prueba

12 El GRE® General Test mide razonamiento verbal, razonamiento cuantitativo, pensamiento crítico y habilidades de escritura analítica que han sido adquiridas en un largo período de tiempo y que no se relacionan a nigún campo de estudio específico

13 La sección quantitativa mide habilidades matemáticas básicas y el entendimiento de conceptos matemáticos básicos, así como también la capacidad de razonar cuantitativamente y de resolver problemas en marcos quantitativos

14 Definición del Constructo “Razonamiento Cuantitativo”
El constructo debe estar claramente especificado Diferenciar el constructo de constructos similares y de influencias que no son parte del constructo

15 De acuerdo al NCTM (2000): razonamiento cuantitativo es la habilidad desarrollada de analizar información cuantitativa y de determinar que tipo de habilidades y procedimientos pueden ser aplicados para resolver un problema particular

16 Razonamiento Cuantitativo incluye las siguientes seis habilidades:
Leer y entender información presentada en diferentes formatos Interpretar información cuantitativa y deducir inferencias apropiadas de la misma Resolver problemas utilizando métodos aritméticos, algebraicos, geométricos o estadísticos

17 Estimar respuestas y verificar las mismas para ver si son razonables
Comunicar información cuantitativa de manera verbal, numérica, algebraica o gráfica Reconocer las limitaciones de los métodos matemáticos o estadísticos

18 Proceso de Resolución de Problemas
Paso 1: Entender y definir el problema Entender la situación subyacente descrita en el problema Entender y analizar tanto la información explícita como la infromación implícita en el problema, incluyendo las restricciones del problema Encontrar ejemplos que satisfagan las resticciones Reconocer patrones y formular conjeturas sobre la situación

19 Proceso de Resolución de Problemas
Paso 1: Entender y definir el problema Traducir una situación real a una representación matemática Traducir un problema matemático real o abstracto (no contextualizado) a otro problema matemático

20 Proceso de Resolución de Problemas
Paso 2: Resolver el Problema Reconocer cuándo se debe parar de tratar de enterder el problema y cuándo comenzar a resolverlo Determinar una variedad de técnicas específicas que pueden ser utilizadas para resolver problemas Decidir la técnica más útil para resolver el problema planteado Aplicar correctamente las técnicas para resolver el problema

21 Proceso de Resolución de Problemas
Paso 3: Entender los Resultados Reconocer cuándo se debe parar de resolver el problema y comenzar a tratar de entender lo que se ha hecho hasta ese momento, incluyendo monitoreo y entendimiento de resultados parciales Traducir los resultados obtenidos matemáticamente al lenguaje del problema Reconocer las implicaciones de la respuesta o de los resultados parciales

22 Proceso de Resolución de Problemas
Paso 3: Entender los Resultados Verificar si una respuesta o resultado es razonable y reconocer cuando respuestas o resultados parciales sugeridos no son razonables Reconocer cuando se han cometido errores mientras se lleva a cabo el proceso de razonamiento Comunicar los resultados por medio de presentaciones escritas (o en otras formas) con explicaciones claras del proceso de solución

23 RC y Contenido Matemático
Es imposible evaluar RC completamente aislado del conocimiento de algún contenido matemático Para propósitos de pruebas de RC, definimos contenido matemático como aquel que es requerido para leer y entender problemas matemáticos, tales como conocimiento de terminología matemática y de procedimientos matemáticos

24 RC y Contenido Matemático
La intención de una prueba de RC no es medir conocimientos matemáticos per se, sino el conocimiento de contenido matemático se utiliza como una herramienta con la cual razonar Las soluciones a las preguntas no deben depender de un nivel de conocimiento más allá del nivel que se asume es el común de toda la población de examinados Medidas de RC deben ser destinadas a poblaciones específicas cuyos conocimientos de contenido matemático pueden ser determinado con precisión

25 RC y Contenido Matemático
Novedad del contenido de la prueba para los examinados Niveles de dificultad

26 Amenazas a la Validez Los cálculos requeridos en la prueba
El NCTM (2000) afirma que los programas instruccionales deben facultar a los estudiantes de la habilidad de hacer cómputos con fluidez y hacer estimaciones rasonables Fluencia computacional supone la habilidad de ejecutar cómputos mentales, hacer cómputos en papel y lápiz o usar la calculadora cuando sea necesario, así como también tener un sentido sobre los tamaños relativos de los números y su orden de magnitud

27 Amenazas a la Validez Los cálculos requeridos en la prueba
En pruebas de RC el enfoque no debería ser en medir habilidades computacionales per se, sino medir La habilidad de seleccionar y usar adecuada y eficientemente estrategias computacionales para resolver un problema La habilidad de determinar el grado de precisión de un cálculo, o la adecuación del uso de estimaciones

28 Amenazas a la Validez Habilidades Espaciales y Visuales
Se refieren a la habilidad de manipular mentalmente representaciones en dos o tres dimensiones, y de percibir un objeto desde diferentes perspectivas No forma parte del proceso de RC, ni se puede considerar como una habilidad en la cual todos los examinados son igualmente competentes

29 Amenazas a la Validez Carga de Lectura
No forma parte del constructo RC Una suposición importante cuando medimos RC es que todos los examinados entienden el significado de los materiales de la prueba El vocabulario utilizado debe ser de un nivel apropiado para la población examinada

30 Amenazas a la Validez Rapidez de Respuesta
No forma parte de la definición del constructo RC La rapidez de la prueba debe ser considerada fuente de varianza irrelevante al constructo y se deben hacer intentos para controlarla La rapidez se puede controlar a nivel de prueba o a nivel de pregunta

31 Afirmaciones Afirmaciones que queremos poder hacer sobre los CHT u otros atributos de los examinados en base a sus ejecuciones en la prueba Las afirmaciones pueden ser generales o específicas Una sola prueba puede proporcionar las bases para afirmaciones diferentes y a niveles diferentes de especificidad Las afirmaciones generales (high level) deben ser apoyadas por afirmaciones específicas (low level) que describan los CHT a niveles crecientes de especificidad

32 Afirmaciones No existe una fórmula mágica o un formato sencillo para escribir las afirmaciones. Los enunciados deben responder a la pregunta: ¿Qué queremos decir sobre los examinados en base a sus respuestas en la prueba? El proceso de crear las afirmaciones es similar al proceso tradicional de crear las especificaciones de contenido y de habilidades de una prueba. De hecho, las mismas fuentes de información pueden ser utilizadas: Comités de expertos en las áreas incluídas en la prueba Análisis de estándares Análisis de tareas Encuestas Estándares estatales y profesionales Libros de texto

33 Afirmaciones Las afirmaciones varían dependiendo del tipo de prueba desarrollada Para pruebas con puntajes de “pasar” o “no pasar”, las afirmaciones generalmente comienzan con un formato similar a: “Los examinados que pasan la prueba tienen la habilidad de…” Para pruebas con niveles de competencia tales como “básico”, “proficiente” y “avanzado” las afirmaciones pueden usar un formato como “Los examinados a nivel básico tienen la habilidad de…” Hay que tener cuidado con las restricciones de la prueba cuando se generen las afirmaciones

34 Eventual Reporte de los Resultados (ERR)
El ERR es una buena manera de entender las necesidades de los usuarios y de estar seguros de que las mismas son consideradas en el diseño de las pruebas ¿Cuál es el propósito de la prueba? ¿Quienes son los usuarios de la información generada por los datos de la prueba? ¿Qué información necesitan los usuarios?

35 Modelo del Estudiante ¿Quien tomará la prueba?
Se debe advertir a los que construyen la prueba evitar incluir CHT que pudieron haber sido incluídos, pero que fueron deliberadamente omitidos Se deben considerar las afirmaciones cuando se describa el Modelo del Estudiante

36 Modelo de la evidencia ¿Qué tipo de conducta o producto observable proveería evidencias de los CHT medidos por la prueba? ¿Cuánta evidencia es necesaria?¿Cuántos tipos diferentes de evidencias? ¿Qué tendrán que hacer los examinados, dentro de las restricciones de la situación de la prueba, para permitirnos inferir sus niveles de CHT? ¿Qué situaciones son más probables que muesten las conductas o productos relevantes? ¿Cuáles son las diferencias más cruciales entre una conducta correcta y una incorrecta? ¿Se podrán observar facilmente esas diferencias? ¿Qué aspectos de las conductas o productos observables son más relevantes?

37 Modelo de las Tareas Una tarea es simplemente algo que le pedimos a los examinados hacer y a la cual se le asignará un puntaje. El Modelo de las Tareas es una descripción de las características que definen a un grupo de tareas. Descripción de las competencias a las cuales están relacionadas las tareas Descripción de lo que se le pedirá a los examinados hacer Descripción de los factores más importantes que afectan la dificultad de las tareas que serán eventualmente producidas Proteger las tareas contra factores irrelevantes al constructo

38 Modelo de las Tareas ¿Podemos diseñar tareas que seguramente muestren las conductas y nos den la evidencia necesaria para hacer nuestras afirmaciones? ¿Podemos diseñar tareas que son razonables dadas las restricciones de tiempo, costo, capacidad de asignar puntajes y tiempo para el reporte de los resultados?

39 Cajas de Tareas Una caja de tareas es una manera de generar preguntas paralelas usando un marco con elementos variables y descripciones de lo que puede servir como elementos variables

40 Ejemplo ¿Cuál es la [media, mediana, moda] de la siguiente distribución [5 a 9 números en orden aleatorio]?

41 Cajas de tareas Las cajas de tareas deben contener:
Un enunciado claro de los CHT a ser medidas por cada pregunta Las instrucciones que requieren todas las tareas generadas por una caja Especificaciones de cualquier material de estímulo necesario para cada pregunta Reglas para generar los distractores Maneras de distinguir entre respuestas correctas e incorrectas

42 Modelo de Ensamblaje Modelos de ensamblaje son versiones expandidas de especificaciones de pruebas detallados Deben contener toda la información necesaria para que un constructor de pruebas que no está familiarizado con una versión anterior de la misma, pueda construir una prueba paralela

43 Modelo de Ensamblaje La información debe incluir:
Instrucciones de la prueba Tiempo Formato Formas de respuestas Distribución de las preguntas Tamaño de la letra Habilidad medida por cada problema Especificaciones estadísticas Los CHT y las afirmaciones a las cuales cada pregunta proporciona evidencia

44 Modelo de Asignación de Puntajes
ECD requiere que la asignación de puntajes se base en una cadena de conexiones lógicas explícitas Se sigue la misma cadena de conexión que ha guiado la construcción de la prueba, pero en sentido contrario: Del nivel de las tareas se regresa al modelo de la evidencia lo que resulta en un estimado de categorías numéricas de las CHT relacionadas con las afirmaciones

45 Modelo de Asignación de Puntajes
Los métodos de asignación de puntajes reemplazan los argumentos verbales, que fluyen de las afirmaciones a la evidencia a las tareas, con representaciones numéricas de esas relaciones lógicas, y fluyen de las tareas a la evidencia a las afirmaciones El modelo de asignación de puntajes apropiado depende de los tipos de afirmaciones que se harán, del modelo de evidencia y de las tareas usadas para apoyar las afirmaciones. Por lo tanto, los constructores de las pruebas deben cooperar con el personal encardado de la estadística en la selección del modelo de asignación puntajes adecuado

46 Cadena de Validez Construída via ECD
Task Shell Tasks Evidence Claim Evidence Task Shell Tasks

47 Preguntas?