Consideraciones para Fortalecer el Mejoramiento de los Establecimientos en el marco del Sistema de Ordenamiento de las Escuelas Chilenas Juan Pablo Valenzuela.

Presentación del tema: "Consideraciones para Fortalecer el Mejoramiento de los Establecimientos en el marco del Sistema de Ordenamiento de las Escuelas Chilenas Juan Pablo Valenzuela."— Transcripción de la presentación:

1 Consideraciones para Fortalecer el Mejoramiento de los Establecimientos en el marco del Sistema de Ordenamiento de las Escuelas Chilenas Juan Pablo Valenzuela Cristián Bellei Xavier Vanni CIAE-Universidad de Chile

2 I. Contexto de la Política de Ordenamiento de Establecimientos: ¿Por qué, para qué un sistema de aseguramiento? Educación escolar: bien público, sistema descentralizado. Estado debe tener mecanismos para evaluar y garantizar la calidad del servicio educativo Demanda de aumento en la rendición de cuentas/responsabilización por resultados en las escuelas, dado que se financian con recursos públicos Chile hasta el momento: centrado en competencia y elección de familias. Cambio a partir de ley SEP. Es casi imposible mejorar sin evaluar, sin información “objetiva” sobre cómo lo estamos haciendo….Permite a las escuelas/sostenedores identificar sus fortalezas y debilidades y trabajar sobre ellas….recibir recomendaciones “expertas” externas y participar de un proceso de mejoramiento continuo. – Las escuelas que se crean no son mejores que las existentes: mejorar el sistema de reconocimiento oficial y acceso a fondos públicos – Las escuelas que entregan prolongadamente un servicio de mala calidad pueden permanecer en el sistema sin mayores presiones para mejorar ni sanciones que cambien su inercia – Hasta la ley SEP, las escuelas públicas y privadas no habían mejorado en promedio los logros de aprendizaje de sus alumnos: Necesidad de una agenda de reforma y políticas de mejoramiento; agenda de creación de capacidades.

3 I. Contexto de la Política de Ordenamiento de Establecimientos: Una nueva institucionalidad Ley de Aseguramiento de la Calidad (2011): Crea la Agencia de la Calidad tiene como objeto “evaluar y orientar el sistema educativo para que propenda al mejoramiento de la calidad y equidad de las oportunidades educativas”, para lo cual tiene entre sus funciones: i) Evaluar los logros de aprendizaje de los alumnos, de acuerdo al grado de cumplimiento de los Estándares de Aprendizaje referidos a los objetivos generales señalados en la ley y sus respectivas bases curriculares, por medio de instrumentos y procedimientos de medición estandarizados y externos a los establecimientos ii) Realizar evaluaciones de desempeño de los establecimientos educacionales y sus sostenedores en base a estándares indicativos (mejoramiento de los establecimientos) iii) Ordenar los establecimientos educacionales en función de las mediciones de los resultados de aprendizaje y de los Otros Indicadores de Calidad Educativa con la finalidad entre otras, de identificar, cuando corresponda, las necesidades de apoyo. Es un instrumento de evaluación e información, por lo cual es un principal mecanismo de accountability o responsabilización, también servirá para identificar los requerimientos de apoyo técnico a las escuelas (focalización y fortalecimiento de las capacidades) Iv) Proporcionar información a la comunidad en general y promover su correcto uso (Transparencia)

4 I. Contexto de la Política de Ordenamiento de Establecimientos: Incorporando nuevos elementos para el mejoramiento escolar Esta política es un cambio considerable en un sistema escolar altamente desregulado que sostenía que el mejoramiento operaría principalmente por medio de la elección de las familias y la competencia entre escuelas (contrario a lo concluido por OECD, 2010, basado en PISA 2009). Este cambio conlleva incluir factores de responsabilidad/accountability y de la convicción que las escuelas pueden mejorar su desempeño por medio de mecanismos de apoyo y la generación de capacidades en sus comunidades educativas. Este mecanismo se suma a las políticas estructurales implementadas entre 2008-2013 en el sistema educativo: a) Recursos diferenciados (SEP); b) Mayor selectividad de directores de establecimientos públicos; c) Avance parcial para la regulación en la formación de profesores, ejercicio profesional y mejores condiciones de trabajo; d) declaración de una política de fortalecimiento de la educación pública –pero, dado su carácter retórico, su deterioro está en una fase crítica-

5 II. El sistema de ordenamiento de los establecimientos La ordenación afecta a todos los establecimientos con reconocimiento del MINEDUC y debe distribuir cada año a los colegios en cuatro categorías de desempeño: Alto, medio, medio-bajo e insuficiente. Para ello debe considerar i) los resultados de aprendizaje en todas las áreas evaluadas a nivel nacional (en promedios móviles de 3 años); ii) la distribución de resultados en función de los estándares de aprendizaje (sólo existen para 4º y 8º básico)-la ley indica que su peso en el Indice Agregado debe ser de al menos 67%-; iii) el grado de cumplimiento de otros indicadores de calidad (incluye algunos relativos al SIMCE); iv) características de los alumnos del establecimiento, incluida su vulnerabilidad; v) indicadores de progreso o de valor agregado (si es posible) Con todo, gradualmente, la ordenación de los establecimientos propenderá a ser realizada de manera independiente de las características socioeconómicas de los alumnos y alumnas, en la medida que el sistema corrija las diferencias atribuibles a dichas características en su desempeño.

6 II. El sistema de ordenamiento de los establecimientos Objetivos y uso de los resultados del Ordenamiento de los Establecimientos – Entregar información a toda la comunidad escolar respecto del desempeño de los establecimientos. Divulgar los resultados del ordenamiento, especialmente a las familias. – Responsabilizar a los establecimientos y sostenedores, “al tener que cumplir con los estándares de aprendizaje” – Identificar los establecimientos que requieren apoyo técnico (prioridad para los ubicados en desempeño Insuficiente y Medio-Bajo). – Definir la regularidad de la elaboración de la evaluación de desempeño de los establecimientos (pues determina la frecuencia de las visitas evaluativas que son parte de los insumos necesarios): los de desempeño Insuficiente: al menos cada 2 años; los de desempeño Medio-Bajo al menos cada 4 años; los de desempeño Medio no se especifica, pero con menor frecuencia que los de Medio-Bajo; para los de desempeño Alto sólo cuando el sostenedor lo solicite (al igual que los particulares pagados). – Reconocimiento: los establecimientos de desempeño Alto pueden ser ATE – Los establecimientos nuevos serán clasificados temporalmente como Medio-Bajo (neutro sobre calidad)

7 II. El sistema de ordenamiento de los establecimientos Objetivos y uso de los resultados del Ordenamiento de los Establecimientos – Cada vez que un establecimiento se encuentre en desempeño Insuficiente la Agencia informará a los padres y apoderados y al Consejo Escolar de dicha situación. – Qué sucede con los que reiteradamente se sitúan en desempeño Insuficiente?: a)Cuando el establecimiento se encuentra en desempeño insuficiente por tres años consecutivos y sin presentar una mejoría significativa se debe informar a las familias sobre esta situación, el MINEDUC facilitará el transporte a los estudiantes y sus familias a otros establecimientos. b)También podrá recibir apoyo técnico por 4 años –ampliable en uno adicional si se mantiene en dicha condición pero muestra mejorías significativas-. c)Pérdida del reconocimiento oficial (se han mantenido en Desempeño Insuficiente, han recibido apoyo técnico por cuatro años y no han mostrado un cambio significativo, pero si cumplen un quinto año sin avanzar de la condición de Desempeño Insuficiente también perderán el reconocimiento oficial)

8 III. Sistema Internacional Creciente incorporación de pruebas estandarizadas para evaluar desempeño de escuelas y/o de todo el sistema escolar (a Estados Unidos, Inglaterra –no en general en UK- se le han sumado diversos países desarrollados y en vías de desarrollo (reforma a la gestión del sector público; exigencia de mayores estándares y mayores demandas civiles a los servicios públicos). Pero es menos usual la publicación de los resultados por escuela (aunque creciente -, y en casi ninguno se le envía la información a las familias). La información es mucho más orientada al dispositivo de aseguramiento de la calidad y orientación del proceso de mejoramiento de los establecimientos y al seguimiento y evaluación del sistema escolar en su conjunto y de las políticas públicas implementadas (Eurydice, 2012). Ninguna realiza ranking de escuelas, se reconoce lo equivocado de tal medida y el daño que genera para todo el sistema escolar. “No se pueden hacer rankings de colegios, pues éstos no dicen nada respecto de por qué los resultados son altos o bajos, al contrario, ellos generan comparaciones equivocadas y simplistas que ignoran las particulares circunstancias que afectan el logro de cada escuela, tienden a distraer a los educadores y al público respecto de definir cómo mejorar el desempeño de todos los estudiantes” (Ontario, 2010)

9 Evaluaciones con pruebas estandarizadas en Sistemas Europeos: 32/37 tienen alguna; dos tercios aplican para evaluar escuelas o sistema en su conjunto (la mitad durante la primaria y generalmente solo en un grado). Sólo en 10 se publican los resultados de las escuelas (en otros 4 depende de la escuela) y en 3 se envía información a los padres (Inglaterra, Hungría y Rumania)

10 III. Sistema Internacional Es frecuente que los sistemas escolares que pasan de condiciones básicas a buenas –en la trayectoria que podría alcanzar Chile en los próximos años (McKinsey, 2010) se caractericen por: incluir metas para escuelas y estudiantes, realizar inspecciones a las escuelas, mantener responsables a las escuelas por el mejoramiento y contar con buenos sistemas de información sobre el desempeño, así como analizar los desafíos en función de estos resultados. Al mismo tiempo actúan sobre la estructura de la organización escolar, el sistema de financiamiento y elementos del modelo de enseñanza. Inicial, aunque creciente evidencia, sobre rol de los mecanismos de evaluación de desempeño de las escuelas y de los reportes basados en ellos (Figlio y Loeb, 2011 para Estados Unidos; Karsten et al, 2010 sobre el diseño de estándares para los reportes; Acquah, 2013, para Inglaterra)

11 III. Problemas que genera en el sistema escolar el publicar indicadores de desempeño Figlio y Loeb (2011) señalan que los reportes y política de accountability a las escuelas no son neutros sobre los profesores y alumnos y que su implementación puede ser negativa si no es cuidadosamente diseñada y monitoreada Cuatro tipos de problemas a ser considerados en la publicación de indicadores de desempeño para evaluar escuelas A)Técnico-analítico (que los indicadores sean válidos para reflejar la calidad de la escuela) Reconocer que no existe sólo un indicador de calidad; se debe ser efectivo no sólo en el promedio, sino que también para diferentes grupos (NSE, género, minorías); comparaciones entre escuelas públicas y privadas podría ser injusta; debe ser basado en tamaños muestrales mínimos y entregar intervalos de confianza de los resultados; reconocer que mejores alumnos entran a mejores escuelas; si los colegios no cuentan con los recursos adecuados (o capacidades técnicas suficientes), imponer estándares altos es injusto y pierde sentido el diseño de la política; combinar adecuadamente el logro de estándares absolutos y de valor agregado; identificación de quienes son evaluados (niños con NEE; estudiantes que ingresaron recientemente); centrarse en logros en el corto plazo, mientras que muchas prácticas y políticas que las escuelas deben implementar requieren de plazos más largos. B) Problemas del uso de la información: Publicaciones deben responder a los requerimientos y comprensión de los padres (especialmente por las más vulnerables); deben orientarse a la mejora continua, evitar que los resultados generen que las de mejor desempeño no hagan mayores esfuerzos y que los de menor desempeño se sientan desmotivados; equipos de las escuelas no entiendan lo que está mal (no se indica qué procesos o factor organizacional se debe mejorar); resultados deben permitir conocer tendencias de logro de las escuelas

12 III. Problemas que genera en el sistema escolar el publicar indicadores de desempeño C) Problemas políticos-éticos y sociales Existe un debate internacional sobre lo ético de entregar indicadores o resultados basados en información con alto nivel de error; centrarse en la publicación de “failing schools” es negativo para todo el sistema escolar, lo más relevante es indicar cómo avanzan hacia el cumplimiento de las metas; escuelas tienden a ser más homogéneas social y académicamente; publicaciones generan tensiones entre evaluación y mejoramiento escolar: escuelas se focalizan sólo en estudiantes de alto desempeño; realizan una conducta estratégica (seleccionar estudiantes; enseñar para el test; reducen el curriculum; se concentran en estudiantes más cercanos a cumplir el estándar); que la clasificación sea justa, es decir que el sistema de accountability hace responsable a la escuela de aquella parte del desempeño que pueda controlar; que estos indicadores terminen siendo los objetivos del sistema escolar. D) Implementación de la propuesta de ordenamiento Propuestas deben ser comprendidas por los diversos actores, ser legitimada y tener claridad de cuál es el foco principal de la política (información a los padres?, mejoramiento de las escuelas?); debe existir una evaluación constante y ajustes al sistema y sus instrumentos, de tal forma que cumpla adecuadamente los objetivos planteados y evite efectos no deseados (error de NCLB y un atributo del sistema de Ontario).

13 III. Efectos de la política ¿Qué sucede cuando se cierran las escuelas por la aplicación de estándares de desempeño? – No es frecuente, incluso en los países donde se permite esta alternativa. – En Estados Unidos (Informe Bolder, 2013) las experiencias de cierre indican que los alumnos se trasladan a escuelas de similares condiciones de calidad y más alejadas, que tampoco mejoran su desempeño –o sólo un mínimo porcentaje- – En Inglaterra se permite la creación de un nuevo establecimiento en el lugar del cerrado “a new fresh start”, modificando la credibilidad de las familias, pero sin tener que alejarse de su localidad. ¿Mejoran los aprendizajes por la publicación de estándares de desempeño de las escuelas/accountability de escuelas basado en desempeño de establecimientos.? – La evidencia no es muy sustantiva, aunque en Estados Unidos se ha desarrollado más en los últimos años. Evidencia indica que efectos a nivel de escuela serían <0.20 sd (hasta 5-6 puntos SIMCE en Chile), con un efecto menor en lectura y en 8º grado que en 4º grado. – Mayor efecto entre escuelas vulnerables socialmente, pero más en alumnos de mejor desempeño. No se observa reducción en la brecha racial. – Existen efectos de mayor abandono de profesores (y de mejor calidad) entre las escuelas peor evaluadas al implementar esta política. – No existen estudios sobre efectos de largo plazo (productividad e ingreso a la Universidad), ni tampoco de efectos sobre resultados no cognitivos

14 IV. Análisis del Sistema de Ordenamiento y Mejoramiento Escolar Actualmente la ley prioriza la identificación de las escuelas de bajo desempeño en forma sistemática y define procedimientos para cerrarlas en un periodo de hasta 5 años – Si una escuela está en desempeño Insuficiente inmediatamente la Agencia envía información a todas las familias sobre su condición (expectativa que familias se cambien de establecimiento), reduciendo la posibilidad que la escuela entre en un proceso de mejoramiento. – Por lo tanto, no es un tecnicismo trivial cómo el mecanismo de ordenamiento controle o corrija las condiciones socioeconómicas de los estudiantes. Está demostrado que diferentes métodos determinan distintas escuelas en desempeño Insuficiente.

15 IV. Un ordenamiento justo: que las escuelas respondan de la parte del desempeño que pueden ser responsables

16 Esta metodología no conlleva eliminar la posibilidad de cierre de las escuelas de muy bajo desempeño crónico. En la realidad este dispositivo ya está vigente (Ley SEP), pero el nuevo ordenamiento podría conllevar un cambio (equivocado) al castigar en mayor medida la vulnerabilidad social. Esta situación se ve reflejada con mayor fuerza al comparar el efecto que ha tenido la ley SEP en el incremento de los puntajes SIMCE de las escuelas más vulnerables del país (40%): entre aquellas que llevan 4 años en el programa el efecto es de entre 10-20 puntos (Mizala y Torche, 2013), mientras que en el trabajo de Villarroel y Valenzuela (2013) es de entre 7- 12 para estos mismos grupos, aunque dichos resultados son diferenciados si la escuela es autónoma (mayor) respecto de las emergentes. Estos resultados duplican o más el efecto observado para Estados Unidos de NCLB

17 IV. Análisis del Sistema de Ordenamiento y Mejoramiento Escolar: ¿Cómo mejora la mayoría de las escuelas? El Indice de Ordenamiento es complejo y poco informativo para orientar medidas específicas para el mejoramiento de la escuela. Se hace indispensable diseñar informes específicos para orientar decisiones (exit – voice) de las familias y de acciones de mejoramiento de las escuelas y sostenedores (pero éstos requieren de las visitas de la Agencia a las escuelas para incluir aspectos cualitativos e indicadores de proceso, así como las sugerencias contenidas en el informe de desempeño. ¿Cómo se hace la orientación al mejoramiento escolar al conjunto de las escuelas? – Es débil en los componentes de creación de capacidades y dispositivos de apoyo al mejoramiento escolar – La elaboración de los informes de desempeño, generados por un activo proceso de autoevaluación y de la visita de la Agencia al establecimiento y una devolución sobre conclusiones y debilidades y fortalezas se realiza en forma muy esporádica (puede ser cada 4 años para los de desempeño Medio- Bajo y sin claridad o inexistente para los Medio y Alto, respectivamente, por lo cual no existen mecanismos regulares para generar capacidades en este grupos de escuelas (Medio y Alto)), juegan un rol secundario. – Los recursos de apoyo técnico del MINEDUC estarán concentrados en las escuelas de menor desempeño. – En este sentido, para muchas escuelas el mecanismo de mejoramiento nuevamente será la decisión de las familias de presionar (vía exit-voice) porque ello ocurra (pero esto es relativamente similar a la situación actual, donde las familias pueden acceder a una rica información sobre el desempeño de este grupo de establecimientos y no ha implicado la generación de procesos de mejoramiento continuo. – La brecha de capacidades institucionales y profesionales es la clave del mejoramiento, y cada vez más se entiende que son centrales de las políticas de accountability.

18 V. Propuestas para Fortalecer el Sistema de Aseguramiento No hacer responsable a las escuelas por la parte del desempeño que corresponde al sistema escolar en su conjunto – Ordenamiento debiese estar en relación a escuelas de similar NSE (de lo contrario los establecimientos con desempeño insuficiente serán mayoritariamente reflejo de su vulnerabilidad social) – Inconsistencia entre apoyo técnico para establecimientos en desempeño Insuficiente e incentivo al retiro de las familias Resguardar que no se realicen rankings con el Indice elaborado para el ordenamiento, más allá de la distribución de los establecimientos en las 4 categorías definidas. Diseñar un mecanismo alternativo para la situación de cierre de escuelas públicas en casos específicos (a modo de “A New Fresh Start”) –asegurar provisión mixta-. Acotar las expectativas del efecto que tendrán los mecanismos de elección de las familias en el mejoramiento escolar (y del cierre de las escuelas de menor desempeño), reconociendo la relevancia de las políticas estructurales para el mejoramiento de todo el sistema escolar (mejorar políticas de profesores; reducción de la segregación socioeconómica y fortalecimiento de la educación pública) Desarrollar un seguimiento sistemático de los resultados del sistema de aseguramiento, de tal forma de identificar tempranamente requerimientos de ajustes administrativos, cambios legales (no sería más adecuado tener mayor número de categorías de desempeño?, es necesario replicar el ordenamiento todos los años?) o el fortalecimiento de los equipos territoriales de la agencia. Es recomendable que en cada región la Agencia promueva la conformación de consejos que representen a los actores del sistema educativo para identificar estos elementos en forma oportuna y determinar la consistencia a lo largo del país de las necesidades de perfeccionamiento. Modificar la regulación de entrada de los nuevos establecimientos educacionales (modificación a la LGE), de tal forma que sean establecimientos con alta probabilidad de ser de Medio o Alto Desempeño –para ello sería relevante desarrollar los estándares sobre sostenedores- Parece poco adecuada la posibilidad que los establecimientos de desempeño Alto sean ATE. En el marco de la actual legislación asegurarse que éstas sean aquellas que presentan una mayor eficiencia educativa dado su contexto NSE, más que sólo una mayor proporción de alumnos de en un estándar adecuado de desempeño debido a su NSE.

19 V. Propuestas para Fortalecer el Sistema de Aseguramiento Poner el foco en el mejoramiento de todos los establecimientos, no sólo los más vulnerables (Schleicher, 2011). La mayor parte de las familias no se cambiará de establecimiento: Priorizar y fortalecer la función de orientación del mejoramiento de los establecimientos, por medio de las evaluaciones de desempeño de la Agencia y la generación de capacidades al interior de los establecimientos – Asegurar un plan de visitas más extensivo e intensivo que el propuesto por la ley – Generar capacidades en los directivos y docentes de las escuelas para el uso de los resultados – Mayor énfasis en comprender las causas de esos bajos resultados, para posteriormente generar sugerencias de mejoramiento – Incentivos para directivos y profesores efectivos que estén dispuestos a ir a trabajar a escuelas clasificadas como de nivel insuficiente – Asegurar la calidad de las ATEs que potencialmente debieran ayudar a estas escuelas a mejorar. Es crítico diseñar los reportes de información para las familias y para las escuelas (pertinentes y comprensibles; que den cuenta de la trayectoria de los indicadores; como de las fortalezas y debilidades del establecimiento) Paulatinamente ir desarrollando un mayor número de indicadores de calidad de la educación, incluyendo más aspectos no cognitivos y procesos relevantes de la gestión educativa. La Agencia será neutra sobre la desaparición de la educación pública?