Desafíos en la evaluación a gran escala y en el aula

Presentación del tema: "Desafíos en la evaluación a gran escala y en el aula"— Transcripción de la presentación:

1 Desafíos en la evaluación a gran escala y en el aula
Sesión académica Desafíos en la evaluación a gran escala y en el aula 16 de agosto de 2017

2 ORGANIGRAMA DE LA CODEIC
UEAD USI DEE DDEIC UA SIeE SIE SEByL SEPyT SEPPA SPPE SDA

3 Examen de diagnóstico de conocimientos de licenciatura
Examen departamental Examen de diagnóstico de conocimientos de licenciatura Examen de diagnóstico de inglés de bachillerato Examen de bachillerato a distancia Examen de certificación Examen de ingreso a bachillerato Piloteo experimental Examen de ingreso a licenciatura Evaluación docente Examen de titulación Examen de ingreso al posgrado Examen de diagnóstico de conocimientos de bachillerato Examen de diagnóstico de español e inglés de licenciatura Examen de egreso del bachillerato Comisión de profesores

4 Algunas problemáticas surgidas en el camino
Los modelos de TRI no muestran un buen desempeño en grupos pequeños Conforme a la información disponible pueden presentarse dos alumnos que ingresan a la licenciatura en las mismas circunstancias donde uno termina y otro no. El software empleado tiene que correr en versiones anteriores de Windows. Las necesidades de información cambian.

5

6

7

8 Actividades realizadas en la reunión anual de la NCME
Sesiones coordinadas Actividades Contribuciones Capacitación Panelistas

9 Universidades participantes
Sesiones de entrenamiento Sesiones Universidades participantes Otras instituciones 23 15 (15) 16 (27) Nota: en paréntesis se expresa el total de participaciones en las sesiones de entrenamiento Universidades: Albany –SUNY, Arizona State, California, Florida State, Georgia, Hong Kong, Iowa, Kent State, Maryland, Nebraska-Lincoln, New Jersey, South –Carolina, Texas, Washington and Wisconsin Otras instituciones: ACT, Alpine Testing Solutions, American Institutes for Research , BETA, DRC, ETS, GMAC, Measured Progress , Measurement incorporated , National Center for Assessment in Higher Education, National Center for the Improvement of Educational Assessment, National Center for Education Statistics, NBME, NWEA , Pacific Metrics Corporation, Pearson.

10 Principales temas abordados en las sesiones de entrenamiento
Participaciones Tema Sesiones Universidades Instituciones Metodología 82.6 100.0 74.1 Uso de software (R,AM, JAGS, Open BUGS, Stan, Python, Excel) 43.5 46.7 40.7 Empleo de resultados 34.8 40.0 25.9 Manejo de información 26.1 20.0 22.2 Otros temas 8.7 0.0 18.5 N 23 15 27 Cifras en porcentajes

11 Metodologías Pruebas adaptativas (4/23) Equiparación (2/23) Modelación Bayesiana (2/23) Diseño de instrumentos (2/23)

12 Temas Ponencias 60 258 Sesiones coordinadas
Promedio de ponencias por tema: 4.3

13 Temas considerados Tema % Modelación 21.3
Evaluación de resultados de aprendizaje 17.1 Scoring 13.2 Diagnóstico 8.1 Contextualización de ambientes educativos 7.8 Validez 7.4 Oportunidades 4.7 Otros 4.3 Equiparación 3.5 Transición a pruebas on line Seguridad de pruebas 2.7 CAT 2.3 Uso de resultados 1.6 N 258

14 Temas Ponencias 41 207 Contribuciones individuales
Promedio de ponencias por tema: 5

15 Temas considerados en las contribuciones
% Modelación 30.4 Equiparación 10.1 Confiabilidad 9.7 Scoring DIF 8.2 Validez CAT 7.2 Standard Settings 4.8 Información incompleta 4.3 Seguridad de pruebas 2.9 Otros N = 207

16 Principales temas de panelistas
Evaluación de prácticas empleadas en el salón de clase (Retroalimentación, auto regulación , esfuerzo) Análisis de información generada en los salones de clase Medición de no cognoscitivos (Creatividad) 6 sesiones

17 + - Contraste Capacitación Sesiones coordinadas Contribuciones
Panelistas Metodología Empleo de software Modelación Evaluación de resultados de aprendizaje Scoring Equiparación Análisis de información generada en los salones de clase Evaluación de prácticas empleadas en el salón de clase Medición de creatividad Manejo de información Empleo de resultados Seguridad en pruebas + -

18 Desafíos Hallar sentido Mayor especialización Vinculación y contextualización

19 Gracias