CINCO USOS DE LAS EVALUACIONES EXTERNAS Antonio Montero Alcaide Mesa Redonda: ¿Para que sirven las evaluaciones externas Sevilla, 27 de abril de 2011

Cinco usos de las evaluaciones externas La evaluación externa se emplaza en el paradigma de la calidad y comparte protagonismo como otros marcos, tales como la diversidad y la complejidad. Por su alcance social y cultural, la evaluación externa, como otros procesos relevantes, genera un discurso necesariamente controvertido y dialéctico, sobre todo, entre sus protagonistas más directos. ¿Para qué sirven las evaluaciones externas? 1. Para construir discurso: Utilidad dialéctica

Cinco usos de las evaluaciones externas Los marcos teóricos de la evaluación. La generalización del discurso curricular de las competencias y su engarce con otros discursos socieconómicos. La relevancia del conocimiento aplicado. ¿Para qué sirven las evaluaciones externas? 2. Para implantar discurso: Utilidad expansiva

Cinco usos de las evaluaciones externas La descripción no es neutra. El rigor de los soportes estadísticos. La influencia de los modelos de análisis. El valor y tratamiento de algunos índices: Índice Socioeconómico y Cultural (ISEC), valor añadido. ¿Reconocer lo obvio o fundamentar nuevos análisis? La perspectiva longitudinal o diacrónica. ¿Para qué sirven las evaluaciones externas? 3. Para obtener datos: Utilidad descriptiva

Cinco usos de las evaluaciones externas Orientar las políticas educativas. Dirigir procesos de reflexión y mejora en los centros. Las evaluaciones externas no dicen cómo mejorar pero sí en qué es necesario hacerlo; si bien, con la perspectiva del modelo que las sostiene y de los referentes a los que se aplica. ¿Para qué sirven las evaluaciones externas? 4. Para orientar decisiones: Utilidad prospectiva

Cinco usos de las evaluaciones externas La consecución de resultados no siempre equivale a mejorar la educación, pero es una forma directa de constatarlo; sobre todo, cuando los resultados se advierten en dimensiones relevantes. ¿Para qué sirven las evaluaciones externas? 4. Para orientar decisiones: Utilidad prospectiva

Cinco usos de las evaluaciones externas Las evaluaciones de grandes muestras atribuyen responsabilidad al sistema antes que a los centros. El riesgo de la instrumentalización. Autonomía y rendimiento de cuentas. ¿Para qué sirven las evaluaciones externas? 5. Para atribuir responsabilidades: Utilidad causal

Cinco usos de las evaluaciones externas Aplicación de pruebas externas y mejora de los resultados. La detracción de algunos índices en el análisis de los resultados. Diferencias “inter” e “intra” centros. ¿Para qué sirven las evaluaciones externas? 5. Para atribuir responsabilidades: Utilidad causal

Cinco usos de las evaluaciones externas “En los países donde las instituciones educativas rinden cuentas de sus resultados haciendo públicos los datos de sus logros, las instituciones que tienen mayor autonomía para distribuir sus recursos tienden a ser mejores que aquellas que tienen menos autonomía. Sin embargo, en países donde no hay tal rendición de cuentas, ocurre lo contrario.” OCDE (2010), Resultados PISA 2009: Resumen Ejecutivo, p. 21. ¿Para qué sirven las evaluaciones externas? 5. Para atribuir responsabilidades: Utilidad causal

Cinco usos de las evaluaciones externas “En los países donde existen exámenes externos basados en estándares, los estudiantes tienden a tener mejores desempeños generales; pero no existe una relación clara entre los desempeños escolares y el uso de exámenes estandarizados o la publicación de los resultados de estos. Sin embargo, las diferencias en desempeño entre instituciones educativas que tienen estudiantes de diferentes orígenes socioeconómicos son, en promedio, más bajos en países que usan pruebas estandarizadas.” OCDE (2010), Resultados PISA 2009: Resumen Ejecutivo, p. 22. ¿Para qué sirven las evaluaciones externas? 5. Para atribuir responsabilidades: Utilidad causal

Cinco usos de las evaluaciones externas “Las diferencias de los resultados de los alumnos que se producen dentro de los centros son muy considerables en OCDE (64,5%) y en la mayoría de los países. En este caso, la parte de la varianza atribuible a las circunstancias económicas, sociales y culturales de sus alumnos es considerablemente inferior a la que se observa entre centros, casi irrelevante. Es decir, como se ha señalado, la explicación de las diferencias entre los resultados de los alumnos hay que buscarla fundamentalmente dentro de los centros.” Instituto de Evaluación (2010), Pisa Informe español, Madrid, Ministerio de Educación, p. 87. ¿Para qué sirven las evaluaciones externas? 5. Para atribuir responsabilidades: Utilidad causal

Cinco usos de las evaluaciones externas “La distribución de las puntuaciones de los alumnos pone de manifiesto que el entorno social, económico y cultural influye de modo notable, pero no explica todo el resultado.” Instituto de Evaluación (2010), Evaluación general de diagnóstico Cuarto curso. Informe de resultados, Madrid, Ministerio de Educación, pp ¿Para qué sirven las evaluaciones externas? 5. Para atribuir responsabilidades: Utilidad causal

Cinco usos de las evaluaciones externas “En los niveles modestos de ISEC (en torno a -1, por ejemplo) hay alumnos cuyas puntuaciones se sitúan en torno a 300 puntos y otros con puntuaciones superiores a 650 e incluso 700 puntos; es decir, hay diferencias superiores a 400 puntos. En los niveles más favorables del ISEC (en torno a +1, por ejemplo) hay también alumnos con puntuaciones inferiores a 300 puntos y otros con puntuaciones superiores incluso a 800 puntos; es decir, diferencias superiores también en este caso a 400 o 500 puntos.” Instituto de Evaluación (2010), Evaluación general de diagnóstico Cuarto curso. Informe de resultados, Madrid, Ministerio de Educación, pp ¿Para qué sirven las evaluaciones externas? 5. Para atribuir responsabilidades: Utilidad causal

Cinco usos de las evaluaciones externas “Estas diferencias entre resultados individuales ponen de manifiesto la importancia de otros factores, como la organización y el funcionamiento de la escuela, el clima de trabajo, la labor del equipo docente, la actitud de las familias y el esfuerzo y el trabajo individual de los alumnos.” Instituto de Evaluación (2010), Evaluación general de diagnóstico Cuarto curso. Informe de resultados, Madrid, Ministerio de Educación, pp ¿Para qué sirven las evaluaciones externas? 5. Para atribuir responsabilidades: Utilidad causal

Cinco usos de las evaluaciones externas “Las diferencias entre centros con igual ISEC son también muy notables. Llegan a superar los 200 puntos entre centros de similar ISEC, particularmente en las Competencias en el conocimiento y la interacción con el mundo físico y en la social y ciudadana.“ Instituto de Evaluación (2010), Evaluación general de diagnóstico Cuarto curso. Informe de resultados, Madrid, Ministerio de Educación, pp ¿Para qué sirven las evaluaciones externas? 5. Para atribuir responsabilidades: Utilidad causal

Cinco usos de las evaluaciones externas En todos los casos, diferentes resultados entre centros de entornos similares solo pueden ser explicados por la influencia de otras variables, por ejemplo la organización y el buen funcionamiento de las escuelas, que permiten contrarrestar y superar en muchas ocasiones los condicionantes sociales, económicos y culturales de sus alumnos y sus entornos.” Instituto de Evaluación (2010), Evaluación general de diagnóstico Cuarto curso. Informe de resultados, Madrid, Ministerio de Educación, pp ¿Para qué sirven las evaluaciones externas? 5. Para atribuir responsabilidades: Utilidad causal

Instituto de Evaluación (2010), Pisa Informe español, Madrid, Ministerio de Educación, p. 86.

Instituto de Evaluación (2010), Evaluación general de diagnóstico Cuarto curso. Informe de resultados, Madrid, Ministerio de Educación, pp. 131.

Muchas gracias por vuestra atención