Alliance for improving the quality of education Standards, evaluation and incentives Estandares, evaluación e incentivos Alianza por la Calidad de la Educación.

Presentación del tema: "Alliance for improving the quality of education Standards, evaluation and incentives Estandares, evaluación e incentivos Alianza por la Calidad de la Educación."— Transcripción de la presentación:

1 Alliance for improving the quality of education Standards, evaluation and incentives Estandares, evaluación e incentivos Alianza por la Calidad de la Educación París, 27 de febrero de 2009 Andreas Schleicher Jefe, División de Indicadores y Análisis Dirección de Educación - OCDE

2 Alliance for improving the quality of education Standards, evaluation and incentives La calidad de los resultados educativos no puede exceder la calidad de los maestros *Entre el 20% superior de los maestros **Entre el 20% inferior de maestros Fuente:Sanders & Rivers Cumulative and Residual Effects on Future Student Academic Achievement Percentiles Desempeño del alumno Dos alumnos con el mismo desempeño Alumno con maestro cuyo desempeño es bajo** Percentil 37 Alumno con maestro cuyo desempeño es alto* Percentil 90

3 Alliance for improving the quality of education Standards, evaluation and incentives El caso para los incentivos r Los incentivos tratan acerca de… Dar a los maestros la señal de que un mejor trabajo puede significar una diferencia para ellos r Los incentivos tienen varias dimensiones… Proveen un ambiente de trabajo atractivo Establecen y facilitan perspectivas de carrera Proveen acceso al desarrollo profesional Identifican y diseminan prácticas efectivas de enseñanza …un mejor pago por un mejor trabajo es sólo una de ellas.

4 Alliance for improving the quality of education Standards, evaluation and incentives El caso para los incentivos r Los incentivos pueden… Ser catalizador de cambio Reforzar una cultura sustentada en la evidencia y los datos –El mejor acceso y uso de los datos sobre el desempeño de los alumnos permite a los maestros identificar y ocuparse mejor de sus necesidades clave, establecer objetivos de desempeño adecuados y hacer un seguimiento del progreso efectuado. Facilitar iniciativas para que los maestros busquen activamente formas de mejorar su desempeño y de incrementar su interés en aprovechar activamente las oportunidades …si son apoyados por Reportes precisos y detallados sobre el aprovechamiento del alumno Mecanismos fuertes de retroalimentación y acceso al desarrollo profesional –Asegurando que aquellos maestros que no reciban pagos al mérito entiendan qué es lo que pueden hacer para mejorar el desempeño y tengan incentivos para cambiar de comportamiento Manejo efectivo de recursos humanos y liderazgo escolar

5 Alliance for improving the quality of education Standards, evaluation and incentives El caso para los incentivos r Reemplazar escalas de salario único con sistemas que conecten a su compensación la diferencia que hacen los maestros … … en formas significativas, que puedan ser aprehendidas por empleadores y maestros… …enfrente requerimientos difíciles Los resultados individuales, por equipo u organizacionales pueden ser medidos de forma precisa y significativa Los resultados contribuyen al desempeño organizacional El pago puede ser administrado de forma que capitalice el valor esperado del incentivo para los potenciales beneficiarios El mejor pago se transforma eventualmente en mejor docencia.

6 Alliance for improving the quality of education Standards, evaluation and incentives Diseño de sistemas de incentivos r ¿Qué es recompensado? Incentivos de mercado – Llevar maestros a áreas remotas o a escuelas que suponen un mayor reto Conocimiento y habilidades / cualificaciones –Un pago más relacionado a cualificaciones adicionales o a habilidades demostradas –Establecer un perfil de carrera que permita que aquellos maestros que son excelentes puedan permanecer en sus salones de clase –Diseminar la innovación más allá de los salones de clase y la escuela Mérito –Recompensar a los maestros por su desempeño y por aquel de sus estudiantes –Esto va desde la recompensa basada en las evaluaciones de los supervisores y los portafolios creados por los maestros, hasta los pagos otorgados con base en el la mejora del alumno con el maestro, el grupo o la escuela r ¿Quién es recompensado? Incentivos basados en equipos o grupos –¿Deben ser los incentivos dirigidos hacia los maestros de forma individual o hacia los equipos o escuelas en los que laboran? r ¿Quién decide / adjudica? ¿Cuáles son los criterios utilizados para otorgar incentivos y cuál es el papel de los lideres escolares y de los evaluadores externos para decidir éstos? –Hay compromisos entre objetividad y relevancia –La evaluación del director de escuela sigue siendo un predictor del logro del alumno, aún cuando el valor agregado del maestro es incluido en el modelo.

7 Alliance for improving the quality of education Standards, evaluation and incentives Programa de trabajo – Pilar 5 r Construir un acuerdo basado en un concepto de calidad educativa sobre el cual pueda estructurarse un sistema de incentivos Visión a largo plazo –Acordar un concepto de calidad basado en estandares claros, específicos y rigurosos de desempeño del alumno y que definan una visión compartida de lo que significa un buen desempeño en el contexto mexicano –Establecer metas desafiantes para los estudiantes en todos los grados escolares, y reducir la desigualdad curricular entre grupos socioeconómicos Programa de trabajo de la OCDE para el 2009-2010 –Un taller internacional sobre mejores prácticas para el establecimiento de estandares de desempeño de los alumnos y estrategias de evaluación –Asesoría para construir sinergias entre ENLACE y PISA.

8 Alliance for improving the quality of education Standards, evaluation and incentives Programa de trabajo- Pilar 2 r Evaluar la calidad de la educación Visión a largo plazo –Sistemas de medición acordados por maestros y administradores comojustos para evaluar a los maestros de acuerdo a estandares de desempeño de los alumnos con.. –Una cultura basada en la evidencia y los datos, con buen acceso a datos de desempeño de aquellos alumnos que dejan la escuela para así, permitir a los maestros identificar y trabajar en las necesidades de los alumnos, establecer metas apropiadas de desempeño y hacer un seguimiento del progreso hecho, –El reconocimiento del buen desempeño y la mejora relativa –Mejoras medidas por el valor agregado de maestros y escuelas en términos netos de factores socioeconómicos –Una capacidad comprobada de manejo de recursos humanos en escuelas y a niveles locales que puedan emitir juicios sobre la calidad del trabajo, con validación externa robusta y con la corroboración conjunta de métodos propuestos por el gobierno y la profesión.

9 Alliance for improving the quality of education Standards, evaluation and incentives Programa de trabajo – Pilar 2 r Evaluar la calidad de la educación Programa de trabajo de la OCDE para el 2009-2010 –Construir la aprobación para usar ENLACE como referente de calidad bajo el entendido de que el sistema de ENALCE crecerá progresivamente para abarcar la visión a largo plazo de estandares educativos –Contribuciones de expertos para: –Ampliar la cobertura de ENLACE –Relacionar ENLACE entre grados escolares (necesario para medidas de valor agregado) –La transición de procedimientos administrativos hacia un contexto de altos estandares de evaluación.

10 Alliance for improving the quality of education Standards, evaluation and incentives Programa de trabajo – Pilar 2 r Construir la aceptación relacionada con criterios para incentivos Visión de largo plazo de sistemas de incentivos que… –Se basen en una buena comprensión de aquello que motiva a los maestros y que abarque dimensiones múltiples, en aras de favorecer un ambiente de trabajo atractivo, establecer y facilitar perspectivas de carrera, proveer acceso al desarrollo profesional e identificar y diseminar prácticas de enseñanza eficientes –Permitan proveer sólidos mecanismos de retroalimentación y acceso a desarrollo profesional, asegurando que los maestros que no reciban pago al mérito entiendan qué pueden hacer para mejorar su desempeño y tengan incentivos para cambiar su comportamiento –Reconozcan tanto el buen desempeño como la mejora relativa –Consideren el valor agregado de maestros y escuelas en términos netos de factores socioeconómicos.

11 Alliance for improving the quality of education Standards, evaluation and incentives Programa de trabajo – Pilar 2 r Construir la aceptación relacionada con criterios para incentivos Programa de trabajo de la OCDE para 2009-2010 –Taller enfocado en identificar y operacionalizar aquello que motiva a los maestros mexicanos –Contribuciones de expertos que buscarán operacionalizar (1) incentivos de mercado; (2) relacionar pagos a cualificaciones adicionales o habilidad demostrada; (3) compensar a maestros y a sus escuelas por el desempeño de sus alumnos. –Un taller sobre reporte de datos y mecanismos de retroalimentación, reconociendo que los incentivos pueden ser más efectivos si se basan inicialmente a nivel escuela en vez de a nivel individual. –Asesoría de expertos sobre la operacionalización de criterios para un programa de incentivos y calidad de enseñanza.

12 Alliance for improving the quality of education Standards, evaluation and incentives Calidad del servicio Respuesta del usuario Programa de trabajo – Pilar 2, 5

13 PISA OECD Programme for International Student Assessment Seeing Japanese schools through the prism of PISA Guiada por principios de bien común En asociación estratégica Negociada. Pragmática. Jerárquica. Antagonista. Protagonista Con uso de evidencia como guía Adquisición de alta confiabilidad e innovación Posibilitar. Incentivar Desempeño de clase mundial. Aprendizaje e. innovación continuos Bueno  Excelente Comprehensivo Con uso de evidencia como soporte Adopción de las mejores prácticas Regulación. Construcción de capacidades Transparencia. Divulgación de las mejores prácticas Implementación Admisión de evidencia Adopción de estándares mínimos Prescripción. Justificación Tratamiento del. sub-desempeño Adecuado  BuenoTerrible  Adecuado Enfoque principal del sistema Papel del gobierno Papel de las profesiones Naturaleza de la relación entre gobierno y profesiones Fase de desarrollo Resultados principales Mejora en los. resultados. Reducción de la ansiedad pública. Mejora sostenida Satisfacción pública creciente. Calidad consistente. Compromiso público y coproducción Programa de trabajo – Pilar 2, 5

14 Alliance for improving the quality of education Standards, evaluation and incentives Design of incentive systems r Incentives in use in OECD countries Signing bonuses and forgiveness of teacher education Higher compensation in the early years –To attract people concerned about initial pay and less interested in the benefits they get as they become older –Australia, Denmark, England, Finland, Norway and Scotland Escalating pay in the later years –To retain experience teachers who might otherwise leave –Austria, Japan, Portugal mid-career, Greece, Hungary and New Zealand experienced teachers Extra pay and benefits to attract teachers of shortage subjects or to challenging schools Bonuses based on teachers’ contributions to improved student performance Salaries based on agreements teachers work out with principals –To respond to principal’s priorities for the school.

15 Alliance for improving the quality of education Standards, evaluation and incentives Design of incentive systems (1) r Some challenges Devising evaluation systems that accurately measure the contribution of teachers to the education of students while avoiding that –Structural misalignment between the mission of schools and the outcomes to which incentives are attached: A focus on what can be easily tested can narrow teaching and the curriculum –Bonuses based on student performance on low level reading and math tests are unlikely to produce high level performance in any subject –Short-term priorities for improving immediately observable outcomes can undermine more desirable long-term outcomes –Almost any incentive system can be gamed and needs to be monitored Initially, pay may be determined by student performance on tests of literacy and mathematics, to the exclusion of many other no less important areas of learning, but the use of such measures may decrease as teachers become more comfortable with the basis on which school leaders make their decisions on who should be hired and who should be promoted

16 Alliance for improving the quality of education Standards, evaluation and incentives Design of incentive systems (2) r Some challenges Separating the contribution of previous teachers from those of current teachers –Major advances in longitudinal student-level data increasingly allow to estimate value-added contributions at the school, grade and teacher levels Avoiding that the competition for higher salaries sacrifices collegiality of teachers –Individual rewards may reduce incentives for teachers to collaborate and, as a consequence, reduce rather than increase school performance, or the team dynamic between teachers and with administrators can be damaged –Particularly when incentives are awarded in a ‘zero-sum’ game –Team incentives may work well in small teams where there is mutual monitoring coupled with an easy information flow among team members and options for teachers to reciprocate among each other Determining the ‘right amounts’ –Performance bonuses that are a fraction of what they are in private industry cannot be expected to produce the same results –Avoiding that bonuses distort outcomes.

17 Alliance for improving the quality of education Standards, evaluation and incentives Design of incentive systems r Limited empirical evidence r Lots of initiatives short-lived r Some of the more successful examples started with… …Defining a set of standards for teacher performance together with measurement systems for teacher performance that both teachers and administrators agree will fairly evaluate teachers against the standards …Group-based systems based on teachers’ knowledge and skills.

18 Alliance for improving the quality of education Standards, evaluation and incentives r Criterio para decisiones salariales Areas de cualificación de maestros Situación del mercado de trabajo –En regiones o materias de oferta escasa, los salarios pueden ser más altos Desempeño de maestros –Mejoras salariales relacionadas con el desempeño Rango de responsabilidades r Evaluación Autoridades locales y sindicatos dirigen comisiones conjuntas para determinar la efectividad del sistema a largo plazo Cada grupo conduce su propia evaluación Sistema sueco de pagos individualizados a nivel escuela, introducido en 1996

19 Alliance for improving the quality of education Standards, evaluation and incentives Steering Group r Carlos Mancera Corcuera (Chair, Mexico): Former Undersecretary of Planning of SEP r José Luis Gaviria Soto : Academic of the Complutense University of Madrid r Jorge Juárez Barba : Academic of the Inter-American University for Development and former Secretary of Education of the State of Aguascalientes r Enrique Roca Cobo : Director for the Evaluation Institute of the Ministry of Education and Science of Spain r Halsey Rogers : Senior Economist of the Development Research Group at the World Bank r Lucrecia Santibáñez Martínez : Head of the Education Area of Fundación IDEA r Susan Sclafani : Former Assistant Secretary of Education for Vocational and Adult Education in the US Department of Education r Margarita Zorrilla Fierro : Academic of the University of Aguascalientes and former Director of Educational Development of the State of Aguascalientes