Desafíos en la evaluación a gran escala y en el aula Sesión académica Desafíos en la evaluación a gran escala y en el aula 16 de agosto de 2017

ORGANIGRAMA DE LA CODEIC UEAD USI DEE DDEIC UA SIeE SIE SEByL SEPyT SEPPA SPPE SDA

Examen de diagnóstico de conocimientos de licenciatura Examen departamental Examen de diagnóstico de conocimientos de licenciatura Examen de diagnóstico de inglés de bachillerato Examen de bachillerato a distancia Examen de certificación Examen de ingreso a bachillerato Piloteo experimental Examen de ingreso a licenciatura Evaluación docente Examen de titulación Examen de ingreso al posgrado Examen de diagnóstico de conocimientos de bachillerato Examen de diagnóstico de español e inglés de licenciatura Examen de egreso del bachillerato Comisión de profesores

Algunas problemáticas surgidas en el camino Los modelos de TRI no muestran un buen desempeño en grupos pequeños Conforme a la información disponible pueden presentarse dos alumnos que ingresan a la licenciatura en las mismas circunstancias donde uno termina y otro no. El software empleado tiene que correr en versiones anteriores de Windows. Las necesidades de información cambian.

Actividades realizadas en la reunión anual de la NCME Sesiones coordinadas Actividades Contribuciones Capacitación Panelistas

Universidades participantes Sesiones de entrenamiento Sesiones Universidades participantes Otras instituciones 23 15 (15) 16 (27) Nota: en paréntesis se expresa el total de participaciones en las sesiones de entrenamiento Universidades: Albany –SUNY, Arizona State, California, Florida State, Georgia, Hong Kong, Iowa, Kent State, Maryland, Nebraska-Lincoln, New Jersey, South –Carolina, Texas, Washington and Wisconsin Otras instituciones: ACT, Alpine Testing Solutions, American Institutes for Research , BETA, DRC, ETS, GMAC, Measured Progress , Measurement incorporated , National Center for Assessment in Higher Education, National Center for the Improvement of Educational Assessment, National Center for Education Statistics, NBME, NWEA , Pacific Metrics Corporation, Pearson.

Principales temas abordados en las sesiones de entrenamiento   Participaciones Tema Sesiones Universidades Instituciones Metodología 82.6 100.0 74.1 Uso de software (R,AM, JAGS, Open BUGS, Stan, Python, Excel) 43.5 46.7 40.7 Empleo de resultados 34.8 40.0 25.9 Manejo de información 26.1 20.0 22.2 Otros temas 8.7 0.0 18.5 N 23 15 27 Cifras en porcentajes

Metodologías Pruebas adaptativas (4/23) Equiparación (2/23) Modelación Bayesiana (2/23) Diseño de instrumentos (2/23)

Temas Ponencias 60 258 Sesiones coordinadas Promedio de ponencias por tema: 4.3

Temas considerados Tema % Modelación 21.3 Evaluación de resultados de aprendizaje 17.1 Scoring 13.2 Diagnóstico 8.1 Contextualización de ambientes educativos 7.8 Validez 7.4 Oportunidades 4.7 Otros 4.3 Equiparación 3.5 Transición a pruebas on line Seguridad de pruebas 2.7 CAT 2.3 Uso de resultados 1.6 N 258

Temas Ponencias 41 207 Contribuciones individuales Promedio de ponencias por tema: 5

Temas considerados en las contribuciones % Modelación 30.4 Equiparación 10.1 Confiabilidad 9.7 Scoring DIF 8.2 Validez CAT 7.2 Standard Settings 4.8 Información incompleta 4.3 Seguridad de pruebas 2.9 Otros N = 207

Principales temas de panelistas Evaluación de prácticas empleadas en el salón de clase (Retroalimentación, auto regulación , esfuerzo) Análisis de información generada en los salones de clase Medición de no cognoscitivos (Creatividad) 6 sesiones

+ - Contraste Capacitación Sesiones coordinadas Contribuciones Panelistas Metodología Empleo de software Modelación Evaluación de resultados de aprendizaje Scoring Equiparación Análisis de información generada en los salones de clase Evaluación de prácticas empleadas en el salón de clase Medición de creatividad Manejo de información Empleo de resultados Seguridad en pruebas + -

Desafíos Hallar sentido Mayor especialización Vinculación y contextualización

Gracias