Los resultados de Uruguay en la evaluación internacional PISA 2003 Dr. Tabaré Fernández Lic. Cecilia Pereda Jornadas de Formación Permanente Montevideo, febrero de 2005 Colegio Sagrada Familia

Preguntas que inquietan ¿Están bien preparados los jóvenes para afrontar los desafíos del futuro? ¿Son capaces de analizar, razonar y comunicar sus ideas? ¿Tienen la capacidad de continuar aprendiendo a lo largo de sus vidas? ¿Podrán integrarse con éxito a la sociedad del conocimiento? ¿Son capaces de comprender los complejos problemas que se presentan a los ciudadanos para que tomen decisiones libres y responsables? ¿Tienen las competencias que requieren los puestos de trabajo calificados o por el contrario estarán confinados a empleos precarios, descalificados, con bajas remuneraciones aquí y también en otras partes del mundo?

Los objetivos de PISA El Programa Internacional de Evaluación de Estudiantes (cuya sigla en inglés es PISA) de la Organización para la Cooperación y el Desarrollo Económico OCDE- proporciona algunas respuestas a estas preguntas en una perspectiva comparativa mundial hasta ahora jamás alcanzada en otros programas de evaluación que se han realizado desde principios de los años 70. PISA evalúa en qué medida los estudiantes que se encuentran al final de la educación obligatoria, han adquirido algunos de los conocimientos y aptitudes que son esenciales para una participación plena en la sociedad. Presenta evidencias sobre el desempeño de los estudiantes en lectura, matemática y ciencias; revela factores que influyen en el desarrollo de estas aptitudes en el hogar y en el centro educativo y examina las implicancias para el desarrollo de políticas educativas.

La utilidad inmediata de PISA para Uruguay Uruguay podrá comparar la calidad y equidad de la educación con: la mayor parte de los países de Europa, con Estados Unidos y Canadá con Argentina, Chile, Brasil, México, Perú y en 2006 también con Colombia Asia-Pacífico y Oceanía Un proceso de evaluación externo a la propia ANEP y a los colegios privados. Es la segunda evaluación externa que hace la ANEP, siendo la primera aquella que hiciera la CEPAL entre 1990 y Una de las principales razones para ingresar al programa PISA: la congruencia entre el marco teórico-pedagógico que ha desarrollado y el enfoque de la evaluación que en el Uruguay se ha desarrollado desde 1996.

¿Qué es PISA? Es un programa de la Organización para la Cooperación y el Desarrollo Económico (OCDE) lanzado en 1997 para complementar el sistema de indicadores educativos de los países miembros. Se aplica a jóvenes de 15 años escolarizados en la educación media, sin importar en qué tipo de escuela están. Diagnostica cuál es el nivel de competencias que han alcanzado en Lengua, Matemática, Ciencias y Resolución de Problemas Evalúa competencias para la vida, no programas vigentes las competencias son definidas universalmente por los países pero no se trata de un mínimo común sentido global, propio de la sociedad del conocimiento

Los Ciclos de PISA Se realiza en Ciclos, cada tres años, enfatizando un área como central en cada ocasión: 2000: lengua 2003: matemática 2006: ciencias Uruguay se incorporó al Programa en la evaluación de 2003 y se ha comprometido a participar en el 2006.

¿Por qué PISA? Está fundamentado teóricamente en un modelo dinámico de largo plazo de aprendizaje a lo largo de la vida. Centralidad del concepto de alfabetización Competencias instrumentales y transversales Prioridad de las competencias de reflexión y de crítica Riguroso desarrollo metodológico que aseguran la validez La evaluación comienza a prepararse 3 años antes Publica un marco teórico-pedagógico detallado Esfuerzo cooperativo por desarrollar actividades no sesgadas por área geográfica, género o étnica. Las pruebas no se limitan a la respuestas de múltiple opción. Evalúa: procesos y creatividad a través de actividades que requieren la construcción de la respuesta

¿Por qué PISA? (II) Desde el punto de vista sociológico, se destaca el amplio relevamiento de teorías sobre cuáles son los factores familiares y escolares que inciden en la calidad y la igualdad Contextualizan los resultados según nivel socioeconómico y capital cultural Se hacen estudios específicos que innovan la agenda de la investigación: En 2000: Estrategias de aprendizaje y Compromiso con la escuela, En 2003: TIC y Expectativas educacionales. Una evaluación con absoluta transparencia y rigor metodológicos Amplia y detallada documentación técnica de todas las etapas del proyecto Controles múltiples de la calidad de los registros hechos por auditorías externas Libre acceso a todas las bases de datos y las actividades de evaluación

Países participantes en 2003 Europa: Alemania, Austria, Bélgica, Dinamarca, España, Finlandia, Francia, Grecia, Holanda, Irlanda, Islandia, Italia, Latvia, Liechtenstein, Luxemburgo, Noruega, Polonia, Portugal, Rusia, República Checa, República Eslovaca, Serbia y Montenegro, Suecia y Suiza América: Brasil, Canadá, Estados Unidos, México y Uruguay. En 2000: Argentina, Chile y Perú Asia y Oceanía: Australia, China (Hong-Kong y Macao), Corea del sur, Indonesia, Japón, Nueva Zelandia y Tailandia África: Túnez

Marco Teórico de Referencia para Matemática y Lectura

Matemática: un cambio necesario El concepto de OCDE/PISA se relaciona con el grado en el que los jóvenes de 15 años pueden ser considerados ciudadanos reflexivos, informados y consumidores inteligentes, que realizan análisis matemáticos necesarios para vida cotidiana. Todas las personas se ven enfrentadas cada vez más con una variedad de situaciones que involucran conceptos matemáticos en lo cuantitativo, espacial o de las probabilidades (ANEP/GIE, 2005) Sin embargo, durante casi todo el siglo XX los curricula escolares estaban principalmente orientados a formar una elite de matemáticos, ingenieros y científicos. El fracaso de grandes masas de estudiantes en matemática fue interpretado como algo natural que estaba relacionado con la falta de vocación de los alumnos o el carácter especializado de la disciplina. (OECD/PISA, 2004: 37).

Concepto de alfabetización matemática La capacidad individual de: identificar y comprender el rol que la matemática juega en la sociedad; de hacer juicios fundamentados y de usar la matemática para el logro de las metas y necesidades personales propias de un ciudadano reflexivo, comprometido y constructivo.

Dimensiones de la evaluación El contenido lógico-matemático que es abordado por las actividades Los procesos y las competencias que requieren ser activadas para observar, modelizar y darle sentido a los problemas que enfrentan Las situaciones y los contextos en que las personas deberán utilizar sus conocimientos.

Contenidos PISA definió 4 áreas de contenidos lógicos con raíces las sub-disciplinas matemáticas clásicas: Espacio y forma : geometría Cambio y relaciones: álgebra Cantidades: aritmética Incertidumbre: estadística y probabilidad Reconociendo el distinto énfasis con que estas áreas aparecen en los curricula nacionales, PISA optó por informar también resultados por contenidos.

Usos y contextos Situaciones personales Situaciones ocupacionales o educativas Situaciones públicas en el ámbito local a nivel nacional Contextos científicos y/o tecnológicos especializados

Proceso de matematización Comprensión de una situación problemática en la vida cotidiana Re-organización de la información en términos matemáticos, activando los conceptos apropiados y verificando cuáles supuestos del modelo son aceptables. Resolución del problema utilizando los conocimientos matemáticos personales Re-traducción de la solución formal al contexto y características de la vida cotidiana

Competencias Para realizar con éxito este proceso de matematización se requieren de varias competencias, que empíricamente fueron agrupadas en tres: Reproducción (rutinas operatorias) Conexión (secuencias, funciones, etc) Reflexión (conceptos, creatividad, crítica)

Concepto de alfabetización lectora La habilidad de entender, usar y reflexionar sobre distintos textos para alcanzar objetivos propios, desarrollar el conocimiento y potencional personal y participar eficazmente en la sociedad. Esta definción va más llá de la noción de decodificación de material escrito Incorpora la comprensión y la reflexión sobre el texto.

Dimensiones de la evaluación en lengua La forma o tipo de texto El uso para el cual el texto fue construido Competencias que requiere la tarea Estas tres dimensiones se operacionalizan hasta el diseño de cada una las actividades PISA clasifica cada actividad según el tipo de texto, el uso y la competencia predominantemente exigida para desarrollar la tarea

Competencias En el proceso de lectura se requieren activar las siguientes competencias: Búsqueda de información Interpretación global y específica del texto Reflexión, evaluación y toma de postura frente al texto Se parte del supuesto que en cada una de las competencias, los alumnos han alcanzado diferentes niveles de dominio

PISA 2003 en Uruguay Una primera aproximación

Universo del estudio El universo definido por PISA fueron jóvenes de 15 años, nacidos entre el 1º abril de 1987 y el 31 de marzo de Debían estar cursando educación post-primaria en cualquier modalidad, tanto pública como privada. Estos jóvenes según distintas fuentes, serían alrededor de 40 mil de los 54 mil jóvenes que conforman la cohorte. Los resultados de PISA representan por lo tanto los conocimientos del 74% de los jóvenes de 15 años

Muestra y requisitos de cobertura La muestra es aleatoria, representativa de las escuelas y alumnos en relación a la distribución de la matrícula Para que PISA acepte la participación de un país debe alcanzar a evaluar efectivamente: el 80% de los alumnos inicialmente muestreados el 85% de las escuelas seleccionadas En total se seleccionaron 5835 alumnos y 243 centros. En 2003 el Reino Unido no cumplió estos requisitos y sus resultados no fueron considerados. En el año 2000, Holanda no alcanzó estos requisitos.

Muestra de Uruguay Tipo de Centro% s/ alumnos evaluados Liceos Públicos del Area Metrop. Montevideo 31,1 Liceos Públicos Capitales Deptales.24,4 Liceos Públicos de ciudades menores16,8 Sub-total Liceos Públicos72,3 Escuelas Técnicas Área Met. Montevideo5,1 Escuelas Técnicas del Interior7,6 Sub-total Escuelas Técnicas12,7 Liceos Privados14,1 Otros – esc. rurales, Lic. Militar1,0 TOTAL100,0

Aplicación de las pruebas Se realizó en el mes de agosto de 2003 Cada centro educativo estableció la fecha de conveniencia La prueba tuvo una duración de 2 horas cada alumno respondió uno de los librillos de prueba con 4 partes cada uno cada librillo contenía actividades de las cuatro áreas

Informes A nivel mundial, los resultados de PISA 2003 fueron hechos público el 7 de diciembre de Se presentaron dos libros: Learning for the world of tomorrow Problem - solving Se liberaron todas las base de datos en el sitio web Se liberaron actividades de la evaluación

Los resultados 2003 se informan: Por área para Lengua y Ciencias Un resultado general para Matemática y por cada una de las cuatro áreas de contenidos En forma de puntajes En forma de niveles de dominio

Resultados por puntajes Un puntaje en escala general para cada área: Referencia a los alumnos de los países de la OCDE El promedio de la OCDE es de 500 El error estadístico es vital para comparar Para cada país se informa un promedio y el error estándar de la media Se genera un intervalo de confianza dentro del cual es más probable que se ubique el verdadero resultado para cada país

Resultados mundiales en matemática: Uruguay 422 puntos Peor que Serbia y Turquía Mejor que Thailandia y México En primer lugar se ubican: Hong-Kong 550 Finlandia 544 puntos Corea del Sur 542 puntos Los tres peores: Indonesia 360 puntos Brasil 356 puntos Túnez 359 puntos

Matemática en América Latina

Resultados mundiales en Lectura Uruguay: 434 puntos El mejor país fue Finlandia 543 puntos El peor país fue Túnez 375 puntos

Lectura en América Latina

Lectura: niveles de dominio en América Latina

Hipótesis sobre la estructura social del país Por lo general, se ha acentuado la idea de que existe una relación directa entre el nivel de ingreso y los resultados educativos. Existe evidencia que la respalda a nivel mundial desde un estudio publicado en Sin embargo, recientemente, se explora una hipótesis más sofisticada: La distribución del conocimiento escolar es un efecto de la estructura de cómo la sociedad distribuye el bienestar material que genera.

Índice de Desigualdad de Gini y promedio en Matemática

Resultados dentro de Uruguay Por grado Según contexto social de la escuela Según subsistema Según Plan 86 y 96

Resultados por grado en Lectura Cursos Básicos UTU296 Primero CB296 Segundo CB338 Tercero CB375 Promedio Uruguay434 Cuarto474 Quinto499 Promedio OCDE500

Relación entre el contexto socio- cultural de la escuela y los niveles de matemática

La necesaria contextualización socio-cultural: Público / Privado

Resultados en Matemática para 4tos y 5tos

Resultados según Plan de CB Prom.Lim. Inf.Lim. Sup. CB Plan CB Plan CB Tecnológico

¿Qué podemos aprender de estos resultados ? En promedio, nuestros alumnos tendrán grandes problemas para integrarse a la sociedad del conocimiento. Sus competencias son básicas y elementales en el mejor de los casos No son capaces de alcanzar los niveles más exigentes de reflexión y crítica. Los alumnos han pasado entre 9 y 12 años de sus vidas en la educación formal pero expuestos a curricula que no les proporcionan oportunidades de aprendizaje adecuadas a las exigencias contemporáneas

¿Qué podemos aprender de estos resultados ? El sistema educativo permanece segmentado social e institucionalmente Contamos con una elite académica que tiene un desempeño similar al promedio de OCDE y que asiste al sector privado Una muy importante masa de alumnos con un nivel rudimentario que asiste a los liceos y escuelas técnicas Además, una cuarta parte de los jóvenes de 15 años no está en el sistema educativo El problema había sido ya detectado en el diagnóstico de CEPAL 1990=1993.

¿Qué podemos aprender de estos resultados ? Una oportunidad única para acordar una agenda de políticas educativas Curriculares Lineamientos didácticos Equidad social Una oportunidad para profundizar la reflexión pedagógico-didáctica. Un diagnóstico sólidamente fundamentado en una investigación de gran calidad.

¿Preguntas? ¿Comentarios?

Muchas gracias por la atención Dirección mundial en Internet: Dirección de correo para materiales de la ANEP Dirección de correo Depto de Sociología de la UDELAR