LA MEDICIÓN COMO UNA MANERA DE EXPRESAR LA EVALUACIÓN DEL ESTUDIANTE: SUS POSIBILIDADES Y LIMITACIONES Richard J. Shavelson Laboratorio de Evaluación de la Educación Universidad de Stanford Conferencista Invitado Foro Nacional de Evaluación del Aprendizaje en la Educación Superior Bogotá, Colombia Noviembre 5-6, 2008

Visión general La búsqueda para evaluar el aprendizaje de los estudiantes y permitir la rendición de cuentas en Estados Unidos: posibilidades y limitaciones. Un marco de referencia para la evaluación del aprendizaje en la universidad. The Collegiate Learning Assessment (La Evaluación del Aprendizaje Universitario) Conclusión: implementación fundamentada de las funciones formativa y sumativa de la rendición de cuentas.

Comisión de la Secretaría de Educación de los Estados Unidos, Margaret Spellings, sobre el futuro de la Educación Superior Reconoció los logros de la educación superior de los Estados Unidos… PERO “La educación superior debe cambiar de un sistema que se basa principalmente en la reputación, a uno basado en el desempeño” Urgió a la “creación de una fuerte cultura de rendición de cuentas y transparencia”

Evaluación de la Educación Superior por la Comisión Ayuda Financiera: “…nuestro sistema de ayuda financiera es confuso, complejo, ineficiente, duplica acciones y frecuentemente no ayuda directamente a los estudiantes que realmente lo necesitan” Aprendizaje: “… la calidad del aprendizaje de los estudiantes de las universidades en Estados Unidos es inadecuada, y algunos casos, decadente” Transparencia y Rendición de Cuentas: “… una escasez notoria de información clara y accesible sobre aspectos cruciales en las universidades norteamericanas, desde la ayuda económica hasta las tasas de graduación”. Innovación: “… numerosas dificultades …hay riesgos de obstaculizar la capacidad de las instituciones postsecundarias para responder a las necesidades laborales en el ámbito nacional y competir en el mercado global”

La Comisión destaca la rendición de cuentas sobre el aprendizaje de los estudiantes Los logros del estudiante, estrechamente relacionados al éxito de la institución, deben ser medidos por las instituciones según una base de “valor agregado”, que tome en cuenta la línea de base académica de los estudiantes al evaluar sus resultados Esta información debe estar disponible para los estudiantes, y debe ser suministrada públicamente de manera agregada para aportar a los consumidores y a quienes formulan las políticas una forma accesible e interpretable de medir la efectividad relativa de diferentes universidades

Evaluación de seis organizaciones profesionales de la educación superior Ampliar el acceso a la universidad para los estudiantes de bajos recursos y minorías Lograr que la universidad sea accesible Mejorar el aprendizaje utilizando nuevos conocimientos y nuevas técnicas instruccionales Preparar a los estudiantes de secundaria para la educación superior Aumentar la rendición de cuentas sobre los resultados educativos Internacionalizar la experiencia del estudiante Aumentar las oportunidades para una educación de por vida y el entrenamiento del personal

Respuestas enfáticas de dos organizaciones profesionales Creación de un Sistema Voluntario de Rendición de Cuentas (SVRC) Propósito: Demostrar al público la rendición de cuentas y la gestión Medir los resultados educativos para identificar las prácticas educativas efectivas Integrar información que se accesible, comprensible y comparable Crear un ambiente propicio para la rendición de cuentas sobre los intereses más representativos de las universidades

Las universidades reaccionan: ¡Limitaciones! La misma talla no le sirve a todos — La Comisión falló en reconocer la diversidad de las instituciones de educación superior Los resultados varían según las áreas académicas de énfasis La concentración en los resultados “cognitivos” (conocimiento declarativo y procedimental) es muy limitante – se necesitan resultados sobre la responsabilidad individual y social

Las universidades reaccionan: ¡Limitaciones! Hay intromisión en la cultura académica en la cual los profesores son responsables del currículum, la enseñanza y la evaluación El sistema de educación superior es muy complejo para una simple medida cuantitativa Las comparaciones al estilo de “carreras de caballos” entre las universidades es, en el mejor de los casos, equivocada y, en el peor, tiene efectos perversos en la enseñanza y el aprendizaje 9

Hacia un rumbo común: posibilidades Rechazo a la evaluación estandarizada del aprendizaje y la rendición de cuentas en la educación superior: Se ignoran las prácticas de evaluación buenas y malas No es democrático afirmar que sólo unos pocos estudiantes con talentos notorios pueden tener éxito en vez de identificar, modelar y crear un conjunto de habilidades intelectuales y prácticas accesibles para todos los estudiantes Se niega la responsabilidad de la educación superior para generar un curriculum coherente Es un error cuando se argumenta que las universidades no comparten estándares comunes --Ignores good & bad—NCLB example of bad and its consequences --Saying competence cannot be judged by standardized assessment turns competence into a matter of taste or whim, mysteriously possessed by a minority of superior talents rather than a set of practices that can be identified, modeled, and made generally accessible. --Denies higher education’s responsibility to provide a coherent curriculum that goes beyond disciplinary subspecialties to include a common set of intellectual skills and practices --to provide students with a coherent curriculum that goes beyond disciplinary subspecialties to include a common underlying set of intellectual skills and practices -- A marketing instructor, a biblical studies instructor, and a feminist literature instructor would presumably differ radically in disciplinary expertise, intellectual outlook, and students they teach. But there is a great deal of common ground in what they regard as acceptable college-level work.

Rumbo común para la educación superior Percibir y resumir de manera precisa los puntos de vista de otros Explorar las afirmaciones del conocimiento Pensar críticamente Razonar analíticamente Relacionar información aparentemente dispareja Justificar las propias afirmaciones del conocimiento con evidencias válidas

Marco de referencia para evaluar el aprendizaje Inteligencia General Fluida Cristalizada Heredado o por experien-cia acumulada Abstracto Orientado al proceso Razonamiento general Verbal Cuantitativo Espacial Ejemplo: Graduate Record Examination (GRE) Habilidades básicas Razonamiento Pensamiento crítico Solución de problemas Toma de decisiones Comunicación En diversos campos (Disciplinares – humanidades, ciencias sociales, ciencias – Y en la responsabilidad – personal, social moral y cívica Ejemplo: Collegiate Learning Assessment (CLA) Bases comunes Concreto Orientado a contenido Experien-cia directa Conocimiento, comprensión y razonamiento En campos de profundización y en las profesiones (literatura americana, negocios) Ejemplo: Exámenes del ETS en campos de profundización Aprendizaje disciplinar

Marco de referencia amplio para evaluar el aprendizaje Creciendo / Avanzando Conocimiento y razonamiento disciplinar Habilidades generales Pensamiento crítico Razonamiento analítico Solución de problemas Comunicación Medio ambiente universitario Aprendizaje transformador Responsabilidad Identidad Resilencia Competencia emocional Perspectiva para mirar y actuar

Un propuesta para la medición del aprendizaje: La Evaluación del Aprendizaje Universitario (EAU) The Collegiate Learning Assessment (CLA) La larga historia de la evaluación del aprendizaje en la educación superior Predominio de una tradición comportamental / psicométrica caracterizada por pruebas de selección múltiple sobre hechos y procedimientos Períodos progresivos que reaccionaron a la tradición comportamental, optando por una visión holística cercana a la mirada de los educadores de la educación superior sobre la enseñanza y el aprendizaje de tareas complejas El CLA ejemplifica el “nuevo”, nuevo enfoque para evaluar el aprendizaje

Evaluación del Aprendizaje Universitario CLA Pensamiento crítico Razonamiento analítico Solución de problemas Comunicación Trabajos de escritura analítica Trabajos de desempeño Formular un argumento Descomponer un argumento

Evaluación del Aprendizaje Universitario (CLA): Un enfoque de muestreo de criterios Muestras de tareas sobre campos de la “vida real” Muestreo de operantes así como de respuestas de quien responde Da lugar al pensamiento abstracto complejo (“patrones de pensamiento operante”) Entrega de información sobre cómo mejorar en las tareas (la trampa no es posible si se pueden hacer tareas de criterio!) Evaluación del aprendizaje universitario (CLA) Muestras holísticas, tareas del mundo real tomadas de experiencias de la vida Toma muestras de respuestas abiertas (no selección múltiple) Da lugar al pensamiento crítico, al razonamiento analítico, a la resolución de problemas y a la comunicación Suministra tareas tanto para la enseñanza como para la evaluación

Tarea de desempeño – CLA - Ejemplo de“DynaTech” : Usted es el asistente de Pat Williams, el presidente de Dyna Tech, una compañía que fabrica instrumentos electrónicos de precisión y equipos de navegación. Sally Evans, miembro del grupo de ventas de Dyna Tech, recomienda que la compañía compre un pequeño avión (SwiftAir 235) que ella y otras personas pueden usar para visitar a los clientes. Pat estaba listo para aprobar la compra cuando ocurrió un accidente de un avión SwiftAir 235. A usted le entregan la siguiente documentación: 1. Artículos de periódico sobre el accidente 2. Informes Federales sobre accidentes de aviones monomotores 3. Copia del correo electrónico de Pat para usted y del correo de Sally para Pat 4. Cuadros sobre las características del desempeño del SwiftAir 5. Un artículo de un piloto aficionado comparando el SwiftAir con aviones similares 6. Fotografías y descripciones del SwiftAir modelos 180 y 235 Por favor prepare un memorando que dé respuesta a varias preguntas, entre estas : qué datos apoyan o refutan el reclamo de que el tipo de ala del SwiftAir 235 propicia más accidentes en vuelo, cuáles otros factores pueden haber contribuido para que se produjera el accidente y deben ser tenidos en cuenta, y una recomendación general acerca de si DynaTech debe comprar o no el avión

CLA - Documentos en la Carpeta Tarea de desempeño sobre “Crimen”

CLA Evalúe una tarea de argumentación Una respetada revista profesional que incluye entre sus lectores a directores de escuelas primarias publicó recientemente los resultados de un estudio de dos años sobre la obesidad en los niños. (Usualmente se consideran obesos aquellos individuos que están un 20% arriba del peso recomendado para su altura y edad.) El estudio tomó una muestra de 50 estudiantes de 5 a 11 años de la Escuela Primaria Smith. Un restaurante de comida rápida abrió una sucursal cerca de la Escuela justo antes de que el estudio comenzara. Después de dos años, los estudiantes que permanecieron en el grupo muestreado presentaban más probabilidades de tener sobrepeso en relación con el promedio nacional. Con base en este estudio la Directora de la Escuela Primaria Jones decidió enfrentar el problema de obesidad de su Escuela oponiéndose a que cualquier restaurante de comida rápida abra una sucursal cerca de su Escuela.

Tecnología CLA Característica Atributos Tareas de respuesta abierta Apunta al pensamiento crítico, razonamiento analítico, resolución de problemas y comunicación escrita Muestras de trabajo realistas Tareas llamativas como las sugeridas por títulos atrayentes como “Lluvia de ideas”, “el bagre”, “de los lagos a los ríos”) Aplicable a diferentes áreas de énfasis académico Tecnología de Computador Plataforma Interactiva de Internet Administración con menos papeleo Software procesador de lenguaje natural para dar puntajes a la comunicación escrita de los estudiantes Calificación y calibración en línea de las tareas de desempeño Reporte del rendimiento de la institución (o la subdivisión) y del estudiante (de manera individual y confidencial) Se centra en Institución o centro/departamento/programa dentro de las instituciones No en el rendimiento individual del estudiante (aunque se le informa confidencialmente sobre su desempeño) Muestreo Muestrea estudiantes de tal manera que no todos los estudiantes realicen todas las pruebas Hace muestreo aleatorios de tareas para grupos específicos de estudiantes Genera puntajes a nivel de la institución o subdivisión / nivel del programa según se solicite (dependiendo del tamaño de las muestras) Información Controla las habilidades de los estudiantes de tal manera que las comparaciones se hacen entre instituciones con estándares similares Suministra estimados de valor agregado de primero a último semestre con medidas de muestras de estudiantes de primero a último semestre Suministra percentiles Suministra datos de instituciones de referencia

Evaluación sumativa y rendición de cuentas externas CLA mide una pieza clave del rompecabezas al centrarse en el valor agregado del aprendizaje de pregrado Otras mediciones son necesarias El área de énfasis Responsabilidad personal, cívica, social y moral Funciones de rendición de cuentas Señalar Benchmarking (comparar) Medir el valor agregado Problemas ¿Riesgos altos vs. riesgos bajos? ¿Contar con un conjunto común de indicadores? ¿Incentivos vs. castigos?

Evaluación formativa y rendición de cuentas externas Las acciones relacionadas con el CLA son usadas para la enseñanza y el diagnóstico de las necesidades de los estudiantes y para suministrar retroalimentación para mejorar Programa de evaluación de la universidad incluyendo portafolios y cursos/proyectos claves Identificar áreas para el mejoramiento Experimentar con “soluciones” alternativas Actuar sobre los resultados Función de la rendición de cuentas Monitorear el cambio Actuar sobre los resultados para mejorar la enseñanza y el aprendizaje Dar retroalimentación a los estudiantes, a la facultad, a los jefes de departamento, a los decanos, y al rector para mejorar