1 Diciembre 2015, Bogotá, Colombia Congreso Latinoamericano de Evaluación Ampliando la mirada de Calidad Desarrollo personal y social: Desafíos técnicos y metodológicos en la construcción de indicadores

Contenidos Indicadores de desarrollo personal y social medidos por la Agencia de Calidad de la Educación, Chile. Metodología actual de construcción de indicadores en base a información auto reportada. Desafíos metodológicos e incorporación de nuevas técnicas estadísticas para la construcción de indicadores. 2

Indicadores de desarrollo personal y social y fuente de medición 3 Fuente: Elaboración propia ACE

Dimensiones consideradas Los indicadores evaluados con los Cuestionarios de Calidad y Contexto de la Educación dirigidos a padres, estudiantes y docentes, consideran las siguientes dimensiones: IndicadoresDimensiones Autoestima académica y motivación escolar Autopercepción y autovaloración académica Motivación escolar Clima de convivencia escolar Ambiente organizado Ambiente de respeto Ambiente seguro Participación y formación ciudadana Participación Vida democrática Sentido de pertenencia Hábitos de vida saludable Hábitos de vida activa Hábitos alimenticios Hábitos de autocuidado

5 Dimensiones consideradas

Técnicas y herramientas estadísticas que utilizamos actualmente para la evaluación de habilidades en estos campos 6

7 Análisis de distribución y frecuencias Confiabilidad Análisis factorial exploratorio

8 Metodología utilizada por la Agencia actualmente Para revisar en detalle el proceso de construcción y metodología revisar:

Entrega de resultados El año 2015, se entregó por primera vez el Informe de Resultados de Establecimientos de los OIC. A todos los establecimientos de Chile. Donde se entregan resultados de todos los grados evaluados como también comparaciones con su grupo de referencia. Nuestro desafío está en entregar de forma comprensible los resultados a los establecimientos, de manera de que sean capaces de generar rutas de mejora. Además, debemos generar información comparable en el tiempo

10 ¿Qué herramientas estadísticas y estrategias técnicas podrían modificarse o incorporarse?

Motivación sobre el uso de IRT para el cálculo de los OIC 11 Estimación de la “Habilidad “, la cual en este caso es el nivel de actitud o percepción favorable en el rasgo latente (Autoestima, Clima de convivencia, etc.) Conocer en detalle los ítems, según sus características, parámetros de umbral y discriminación. Hacer descripciones cualitativas más precisas de los Otros indicadores de Calidad construidos a partir de cuestionarios, que hagan más comprensibles los resultados para los establecimientos. Determinar el error de medición del instrumento para cada individuo, considerando la variabilidad de los ítems. Hacer comparaciones más precisas entre grupos, utilizando el error de medición estimado.

Particularidades del problema 12 Medición de variables latentes. Se miden principalmente percepciones y actitudes en estudiantes, padres y docentes. 4° Básico - 6° Básico - 8° Básico y II medio de forma censal. Los cuestionarios para cada actor en cada grado contiene distinta cantidad de preguntas para cada dimensión y diferentes escala de respuesta. Las escala de respuesta para todos los ítems son del tipo politómicas, donde se refleja el grado o nivel de percepción o actitud hacia el constructo.

Particularidades del problema 13 Los ítems, dentro de una misma dimensión son muy heterogéneos respecto de sus características psicométricas. Existe poca referencia nacional e internacional respecto a problemas similares Tabla 1. Cantidad de Dimensiones por Grado y Actor Actor-Grado4° básico6° básico8° básicoII medioTotal Estudiantes11 44 Padres Docentes Total18 72

Modelo IRT ad hoc al problema 14

Modelo IRT ad hoc al problema 15

Desafíos con el cambio de Metodología 16 Modificaciones de los instrumentos actuales con los que son medidos los OIC. Se obtendrán nuevas puntuaciones a nivel individual y de establecimiento, los cuales pueden ser no del todo consistentes con la metodología actual. Equating para la comparación entre grados y entre años. Análisis DIF para detectar posibles sesgos en la medición. Elaboración de estándares para los OIC.

17 Desafíos con el cambio de Metodología

18 Gracias por su atención Diciembre 2015, Bogotá, Colombia Congreso Latinoamericano de Evaluación