RESULTADOS DE SABER 5° y 9° Dirección de Evaluación

Contenido Ciclo de la evaluación Principales características de SABER 5° y 9° Resultados 2009 – nacionales Históricos Comparación entre puntajes promedio y niveles socioeconómicos

Contenido Ciclo de la evaluación Principales características de SABER 5° y 9° Resultados 2009 – nacionales Históricos Comparación entre puntajes promedio y niveles socioeconómicos

Objetivo de la evaluación Contribuir al mejoramiento de la calidad de la educación colombiana mediante la realización de medidas periódicas del desarrollo de competencias de los estudiantes en los distintos niveles, como indicador de calidad del sistema educativo

1. Ciclo de la evaluación

Contenido Ciclo de la evaluación Principales características de SABER 5° y 9° Resultados 2009 – nacionales Históricos Comparación entre puntajes promedio y niveles socioeconómicos

Antecedentes Década de los 90: evaluaciones muestrales Desde 2001: obligatoriedad de evaluaciones censales, periódicas (3 años) y comparables Se han llevado a cabo tres aplicaciones censales 2002 - 2003 2005 -2006 2009 Los resultados son públicos y buscan aportar información útil para fortalecer los procesos de autoevaluación institucional y diseño de estrategias de mejoramiento

A quiénes evalúa La calidad de la educación impartida por los establecimientos educativos - oficiales y privados, urbanos y rurales - mediante la aplicación periódica de pruebas de competencias básicas a los estudiantes de quinto y noveno grados, así como de cuestionarios que recogen información para identificar los factores que inciden en los resultados En concordancia con los principios de la educación inclusiva, en SABER 5º y 9º participan los estudiantes que presentan discapacidades físicas, sensoriales y cognitivas El carácter censal de SABER 5º y 9º permite que cada colegio tenga información acerca de sus fortalezas y debilidades, y da elementos para el diseño, ejecución y evaluación de los planes de mejoramiento institucional

Qué se evalúa Competencias en lenguaje, matemáticas y ciencias naturales que han desarrollado los estudiantes hasta quinto (primero a quinto - ciclo de básica primaria) y hasta noveno (sexto a noveno - ciclo de básica secundaria)

Competencias evaluadas Competencia: “saber hacer flexible que puede actualizarse en distintos contextos … capacidad de usar los conocimientos en situaciones distintas de aquellas en las que se aprendieron” (MEN) Lenguaje Matemáticas Ciencias naturales Comunicativa (procesos de lectura y escritura) Razonamiento y argumentación Comunicación, representación y modelación Planteamiento y resolución de problemas Uso comprensivo del conocimiento científico Explicación de fenómenos Indagación

Componentes evaluados Componentes: categorías conceptuales o los tópicos propios del área o la disciplina Lenguaje Matemáticas Ciencias naturales Semántico Sintáctico Pragmático Numérico-variacional Geométrico-métrico Aleatorio Entorno vivo Entorno físico Ciencia, tecnología y sociedad

Metodología para la construcción de las pruebas Pruebas estructuradas bajo la metodología denominada diseño de especificaciones basado en evidencias Garantiza la elaboración de instrumentos de evaluación con igualdad de características durante un período largo de tiempo Asegura la comparabilidad de lo que se evalúa y de los resultados obtenidos en cada aplicación Permite dar información explícita sobre lo que los estudiantes pueden o no hacer En el diseño de las pruebas participaron docentes de básica en ejercicio, profesores universitarios y expertos en evaluación. En mesas de trabajo se definió, a partir de los estándares básicos de competencias, lo que debería ser evaluado en cada una de las áreas

Metodología para la construcción de las pruebas

Metodología para la construcción de las pruebas Ejemplo: ciencias naturales, quinto Identifico estructuras de los seres vivos que les permiten desarrollarse en un entorno y que puedo utilizar como criterios de clasificación Estándar Competencia Uso del conocimiento científico El estudiante: Analiza algunas diferencias y semejanzas de las características de los seres vivos Comprende que los seres vivos atraviesan diferentes etapas durante su ciclo de vida Afirmaciones

Instrumentos Factores asociados Objetivo Cuestionario para los estudiantes Indagar sobre el entorno socioeconómico y  cultural del estudiante, sus antecedentes académicos, características de algunas actividades escolares y sus percepciones sobre el clima institucional y de aula Cuestionario para los docentes Recopilar información relacionada con el desarrollo del PEI y del plan de mejoramiento, así como sobre las condiciones para el desempeño de las labores docentes, conocimiento y usos de los estándares básicos de competencias, uso de libros de texto, manejo del tiempo de enseñanza y de las tareas, prácticas de evaluación y percepciones sobre la integración institucional y el clima escolar Cuestionario para los  rectores Profundizar sobre los aspectos relacionados con el desarrollo del PEI y del plan de mejoramiento, la integración institucional, clima escolar, manejo del tiempo de enseñanza, uso de textos escolares, conocimiento y uso de los estándares básicos de competencias y prácticas de evaluación Observación del aula Recoger información acerca de las condiciones físicas del aula en cuanto a infraestructura (estado de paredes, ventanas, ventilación, iluminación) y dotación (estado de los pupitres y tablero, existencia de biblioteca de aula) Observación del establecimiento educativo Recopilar información acerca de las condiciones físicas del establecimiento educativo en cuanto a infraestructura (número de sedes, conexión a servicios públicos, zonas comunes y espacios deportivos, baños) y dotación (bibliotecas, computadores y salas de informática)

Aplicaciones Operativo censal Grado Calendario Estudiantes Establecimientos Quinto A 595.768 13.233 B 64.103 2.248 Total 659.871 15.481 Noveno 409.227 7.044 48.528 913 457.755 7.957 Cobertura: 90% de los establecimientos educativos de todo el territorio nacional 95% de las hojas de respuesta procesadas

Aplicaciones Operativo muestral Grado Calendario Estudiantes Establecimientos Quinto A 73.658 986 B 28.106 453 Total 101.764 1.439 Noveno 61.781 850 24.778 366 86.559 1.216

Información que proporciona Reportes disponibles Resultados Información que proporciona Resultados operativo censal (2009 ) Resultados en lenguaje, matemáticas y ciencias naturales para quinto y noveno grados para: Establecimientos educativos y sus respectivas sedes y jornadas Municipios, departamentos y país Grupos de referencia: sector, zona, género y nivel socioeconómico Resultados nacionales a partir del operativo muestral, 2009 Desempeños en cada área y grado: qué saben y saben hacer los estudiantes Brechas en los resultados por sector-zona, género y nivel socioeconómico Resultados históricos 2002-3, 2005-6 y 2009 Evolución de los puntajes promedio en lenguaje y matemáticas , en quinto y noveno grados para: Establecimientos educativos Factores asociados a SABER 5º y 9º, 2009 Determinantes de los desempeños de los estudiantes colombianos en las pruebas

Tipos de resultados Estudios Tipo de resultados Puntajes promedio Operativo censal (2009) Puntajes promedio Desviaciones estándar Distribución porcentual según niveles de desempeño Fortalezas y debilidades relativas en las competencias y componentes (sólo para establecimientos educativos) Operativo muestral (2009) Distribución porcentual por niveles de desempeño Modelo de análisis jerárquico multinivel (explicación de la varianza de los resultados entre y al interior de los establecimientos educativos) Resultados históricos 2002-3, 2005-6 y 2009 Estadísticas de evaluados

Tipos de resultados 1. Puntaje promedio Qué es Para qué sirve Una medida que se obtiene al sumar los puntajes obtenidos por cada estudiante en una determinada área y dividir ese total por el número de estudiantes evaluados Para saber cuál fue el puntaje más representativo de los estudiantes en un determinado grado y área Para realizar comparaciones con los puntajes promedio obtenidos por los distintos grupos de referencia: entidad territorial, sector, zona, nivel socioeconómico

Tipos de resultados 2. Desviación estándar Qué es Para qué sirve Una medida de la dispersión de los resultados de los estudiantes de los establecimientos educativos Desviaciones estándar pequeñas corresponden a situaciones en las cuales hay baja heterogeneidad, es decir, en las que todos los estudiantes de la entidad tienen resultados similares. Al contrario, una desviación estándar alta revela que hay gran variabilidad en esos resultados Para conocer qué tan homogéneos (o heterogéneos) fueron los puntajes obtenidos por los estudiantes de un determinado grado y en cada una de las áreas evaluadas Para realizar comparaciones con las desviaciones estándar de los distintos grupos de referencia. Por ejemplo, para saber si los puntajes obtenidos por los estudiantes de un establecimiento educativo son más homogéneos (o heterogéneos) que los logrados por los alumnos del conjunto de instituciones educativas del país

Tipos de resultados 3. Niveles de desempeño Qué es Para qué sirve La distribución (numérica o porcentual) de los estudiantes según los desempeños alcanzados en cada una de las áreas evaluadas Describen las competencias de los estudiantes en cuanto a lo que saben y saben hacer en una determinada área y grado Para SABER 2009 se establecieron cuatro niveles de desempeño: avanzado, satisfactorio, mínimo e insuficiente Para saber cómo se encuentran los estudiantes en relación con la capacidad para resolver problemas de distintos niveles de complejidad Para analizar los niveles de aprendizaje alcanzados por los estudiantes y establecer las diferencias entre ellos. Esto permite orientar la definición de metas específicas y/o diferenciales de mejoramiento Para realizar comparaciones con distintos grupos de referencia. Por ejemplo, para saber si la proporción de estudiantes de un establecimiento educativo ubicados en un determinado nivel de desempeño es mayor, similar o menor que la de los estudiantes de las instituciones educativas rurales

Descripción de los niveles de desempeño Un estudiante promedio ubicado en el nivel… Avanzado Muestra un desempeño sobresaliente en las competencias esperadas para el área y grado evaluado Satisfactorio Muestra un desempeño adecuado en las competencias exigibles para el área y grado evaluado. Este es el nivel esperado que todos, o la gran mayoría de los estudiantes, debería alcanzar Mínimo Muestra un desempeño mínimo exigible en las competencias para el área y grado evaluado Insuficiente No demuestra los desempeños mínimos establecidos

Contenido Ciclo de la evaluación Principales características de SABER 5° y 9° Resultados 2009 – nacionales Históricos Comparación entre puntajes promedio y niveles socioeconómicos

Desempeño en lenguaje El 35% de los estudiantes de quinto y el 40% de los de noveno alcanzan o superan las competencias exigibles en lenguaje: Logran comprensión global de los textos que leen, valoran y relacionan sus contenidos con los de otras fuentes, explican las intenciones de los textos, hacen inferencias, categorizan información, identifican secuencias de las ideas y evalúan la pertinencia de los escritos en cuanto a propósito, contenido y contexto

Desempeño en lenguaje Principales dificultades: Leer comprensivamente textos complejos (ensayos, crónicas periodísticas, poemas) Localizar información implícita en los textos y realizar inferencias Establecer relaciones entre la información contenida en dos o más textos (comparar, identificar puntos de vista distintos) Integrar información de varios textos con su conocimiento propio, y aplicarla a diferentes situaciones de su vida Evaluar críticamente los contenidos de los textos, construir hipótesis y establecer puntos de vista propios y argumentados sobre diferentes temas

Desempeño en matemáticas El 25% de los estudiantes de quinto y el 22% de los de noveno alcanzan o superan las competencias exigibles en matemáticas Utilizan las propiedades de las operaciones para solucionar problemas, usan expresiones y representaciones gráficas para modelar situaciones, hacen conjeturas sobre fenómenos aleatorios, comparan diferentes atributos de figuras y sólidos y establecen relaciones entre ellos, estiman probabilidades sobre eventos sencillos, entre otros

Desempeño en matemáticas Principales dificultades: Resolver problemas complejos que requieren combinar datos y desarrollar estrategias de manejo de la información Hacer generalizaciones a partir de una determinada secuencia de datos Resolver problemas que requieran el manejo de conceptos geométricos (propiedades de figuras geométricas, ángulos, paralelismo, perpendicularidad) Hacer interpretaciones argumentadas sobre los hallazgos y comunicar los resultados

Desempeño en ciencias naturales El 26% de los estudiantes de quinto y el 30% de los de noveno alcanzan o superan las competencias exigibles en ciencias naturales Relacionan estructuras con funciones en sistemas vivos y físicos; reconocen diversas formas y fuentes de energía, diferencian entre materiales naturales y aquellos fabricados por el hombre, evalúan hipótesis a partir de evidencias derivadas de investigaciones científicas, elaboran conclusiones y predicciones, entre otros

Desempeño en ciencias Principales dificultades: Plantear interrogantes científicos relevantes Relacionar más de un concepto científico para explicar o predecir un resultado Identificar y explicar diferencias y semejanzas entre conjuntos de datos y sacar conclusiones basadas en la evidencia Utilizar conocimientos científicos que requieren un alto grado de abstracción y transferirlos a otros tipos de situaciones Identificar las variables que se deben medir y alterar en una investigación

Diferencias por género Lenguaje: los puntajes promedio de las niñas son más altos que los de los niños, en ambos grados

Diferencias por género Matemáticas: los puntajes promedio de los niños son más altos que los de las niñas, en ambos grados

Diferencias por género Ciencias: los puntajes promedio de los niños son más altos que los de las niñas, en ambos grados

Diferencias por sector-zona Lenguaje

Diferencias por sector-zona Matemáticas

Diferencias por sector-zona Ciencias naturales

Contenido Ciclo de la evaluación Principales características de SABER 5° y 9° Resultados 2009 – nacionales Históricos Comparación entre puntajes promedio y niveles socioeconómicos

3. Resultados históricos El ICFES realizó un estudio de equiparación entre las tres evaluaciones censales mediante una aplicación controlada a una muestra nacional de 16.000 estudiantes de quinto y noveno grados Las pruebas fueron recalificadas con una única metodología y se produjeron reportes de resultados en la misma escala utilizada en 2009 (100 a 500 puntos) para lenguaje y matemáticas, quinto y noveno grados

3. Resultados históricos La equiparación permitió obtener información comparada para un buen número de establecimientos educativos, municipios y departamentos, pero no fue posible lograrlo para todos por las siguientes razones: Se utilizaron únicamente los cuadernillos con mayores tasas de aplicación en 2002-3 y 2005-6 El ICFES practicó una identificación de indicios de copia masiva para las tres aplicaciones. Cuando estos fueron muy altos, se descartaron los resultados del grado La integración de instituciones educativas implicó cambios en la identificación de muchas de ellas. Por ello, no se pudo establecer una correspondencia entre todas las que aplicaron en años anteriores y las que fueron evaluadas en 2009

3. Resultados históricos 2002-2003 2005-2006 2009 40

3. Resultados históricos

3. Resultados históricos

3. Resultados históricos

3. Resultados históricos

3. Resultados históricos

3. Resultados históricos

3. Resultados históricos

3. Resultados históricos

3. Resultados históricos 49

3. Resultados históricos 50

3. Resultados históricos 51

3. Resultados históricos 52

Contenido Ciclo de la evaluación Principales características de SABER 5° y 9° Resultados 2009 – nacionales Históricos Comparación entre puntajes promedio y niveles socioeconómicos

Nivel socioeconómico (NSE) Los estudiantes reportaron información de: Educación de los padres Hacinamiento Servicios sanitarios Material de los pisos de la vivienda Cálculo de un Índice de Nivel Socioeconómico (INSE) para cada estudiante a partir de los ponderadores del Índice de Calidad de Vida (ICV) para esas variables A cada institución se le asocia el promedio del índice de sus estudiantes 54

Comparaciones entre puntajes promedio y niveles socioeconómicos Promedio nacional

Comparaciones entre puntajes promedio y niveles socioeconómicos

Comparaciones entre puntajes promedio y niveles socioeconómicos

Comparaciones entre puntajes promedio y niveles socioeconómicos