Resultados de aprendizaje en secundaria (excale grado 9) Encuentro Nacional de Fortalecimiento de Equipos Técnicos de Educación Secundaria Ciudad de México, octubre 27, 2009 Instituto Nacional para la Evaluación de la Educación

Contenido Brevísima introducción: modelo de calidad del INEE y plan de evaluación de los aprendizajes escolares. Los Excale y la muestra utilizada en 2008. Caracterización de modalidades y estudiantes. Resultados de logro: Español, Matemáticas, Biología y Formación cívica y ética. Factores asociados con el logro. Reflexiones finales.

Evaluación de insumos, procesos y Modelo para evaluar la calidad del Sistema Educativo Nacional Contexto Necesidades Sociales Equidad Evaluación de Contexto Relevancia Pertinencia SEN planeado: objetivos y metas Impacto Insumos Procesos Resultados Eficacia externa Eficacia Interna Suficiencia Evaluación de insumos, procesos y resultados SEN realizado: desempeño observado Insumos Procesos Resultados Eficiencia Fuente: basado en Panorama Educativo de México. Indicadores del Sistema Educativo Nacional 2008.

2. Los Exámenes de la Calidad y el Logro Educativos (Excale) Propósito: conocer los niveles de logro educativo que han podido alcanzar los estudiantes como resultado de su escolaridad. La evaluación individual de los estudiantes no es el propósito del INEE; tampoco la evaluación por escuela. Línea base del nivel de logro de los alumnos (antes de RS 2006). Conocer los contenidos que los estudiantes dominan y los que no. Analizar la asociación del logro con algunas variables de contexto. Nada de rankings.

2. Los Exámenes de la Calidad y el Logro Educativos (Excale) De logro: evaluación de resultados, más que de procesos. Aprendizajes escolares: evaluación de contenidos curriculares, a partir del Plan y programas de 1993 y 1999 (FCyE). Pruebas criteriales. Arreglo matricial: permite abarcar una gran cantidad de contenidos sin causar fatiga de los estudiantes. Preguntas: de opción múltiple y de respuesta construida (Escritura). Marco teórico de medida: Teoría Clásica de la Medida y TRI. Cuestionarios de contexto para alumnos, docentes y directores. Metodología construcción implica colaboración de muchos (50) y diversos actores (profesores, autores de libros, diseñadores currículo)

2. Los Excale y la muestra utilizada en 2008 En 2008, la prueba Excale se aplicó a poco más de 80,500 alumnos de 3,304 escuelas de todo el país. Muestra representativa a nivel nacional, estatal y de algunos servicios educativos: secundarias públicas generales, públicas técnicas, telesecundarias y secundarias privadas. Las secundarias generales y técnicas se subdividieron en 3 grupos para representar distintos grados de marginación (alta y baja) y tamaño población (urbano y rural). Dada la precisión de la muestra, los resultados se refieren a todos los estudiantes que estaban cursando el tercer grado de secundaria en 2008. Errores estándar e intervalos de confianza.

3. Caracterización de las modalidades y sus estudiantes En ciclo escolar 2007-2008, el sistema escolarizado de educación secundaria estaba conformado por 33 mil 697 escuelas. poco más de la mitad eran telesecundarias. casi una tercera parte, secundarias generales. 13.1% de modalidad técnicas. 3.3% comunitarias (Conafe). casi un 1%, secundarias para trabajadores. La gran mayoría de las escuelas (88%) es de financiamiento público y el 12% restante de sostenimiento privado; casi todas las secundarias privadas son de modalidad general (92.4%) y un 7%, técnicas.

3. Caracterización de las modalidades y sus estudiantes Distribución de escuelas según tamaño de la localidad Modalidad Número de habitantes en la localidad > de 100 100 a 249 250 a 499 500 a 2499 2500 a 15 mil < de 15 mil General 1.1 0.8 1.4 12.3 18.7 65.6 Técnica 1.0 0.6 1.9 22.0 25.7 48.8 Telesecundaria 3.6 13.1 26.7 46.4 5.5 4.6 Comunitaria 45.2 38.7 11.6 3.0 0.9 Privada 0.7 0.2 0.4 1.6 6.2 90.8 Total 3.8 8.3 14.8 29.7 10.8 32.5

Indicadores de bienestar socioeconómico de los hogares de estudiantes de tercer grado de secundaria, por tipo de servicio

Escolaridad de las madres de los estudiantes de tercer grado de secundaria, por tipo de servicio

Edad de ingreso a secundaria Número de veces que repitió en primaria Edad de ingreso a secundaria y repetición en primaria, por tipo de servicio Modalidad Edad de ingreso a secundaria 12 años 13 años 14 o más años General 69.4 14.9 4.8 Técnica 69.7 15.8 5.6 Telesecundaria 58.2 22.0 13.6 Privada 73.2 15.4 1.8 Modalidad Número de veces que repitió en primaria Ninguna 1 vez 2 o más veces General 89.4 9.0 1.3 Técnica 88.9 9.6 1.2 Telesecundaria 77.0 19.4 3.0 Privada 94.7 4.4 0.8

Primaria de procedencia de los estudiantes de tercer grado de secundaria, por tipo de servicio

¿Por qué es importante esta caracterización de las modalidades y sus estudiantes? Carácter obligatorio de la educación secundaria implica, entre otras cuestiones, que todos los jóvenes tienen derecho a cursarla al concluir la primaria y a desarrollar un conjunto de aprendizajes como resultado de esos años de escolarización. Estas implicaciones de la obligatoriedad son universales, es decir, sin distingo de condiciones personales, familiares o comunitarias. Conforme vayamos dando cuenta de los resultados de logro escolar, téngase presente cuán diferentes son los estudiantes de las distintas modalidades de secundaria en términos del contexto en el que se ubican las escuelas a las que asisten, así como de algunas de sus condiciones socioeconómicas y antecedentes escolares

4. Resultados de logro: Español

Estructura de Excale 09 (2008): Español Habilidades y conocimientos Líneas evaluación Habilidades y conocimientos Reactivos 2005 rediseño Comprensión lectora (63%) Extracción de información 3 - Desarrollo de la comprensión global 19 6 Desarrollo de una interpretación 23 7 Análisis del contenido y la estructura 18 8 Evaluación crítica del texto Reflexión sobre la lengua (37%) Reflexión semántica 13 Reflexión sintáctica y morfosintáctica 14 Reflexión sobre las convenciones de la lengua Subtotal 106 32 Total 138

MAPA PARCIAL DE REACTIVOS Dificultad de reactivos y aprendizajes de los estudiantes en una misma escala.

Nivel de logro ¿Qué indica? Avanzado Indica un dominio muy avanzado (intenso, inmejorable, óptimo o superior) de conocimientos, habilidades y destrezas escolares, que reflejan el aprovechamiento máximo de lo previsto en el currículo. Medio Indica un dominio sustancial (adecuado, apropiado, correcto o considerable) de conocimientos, habilidades y destrezas escolares, que pone de manifiesto un buen aprovechamiento de lo previsto en el currículo. Básico Indica un dominio imprescindible (suficiente, mínimo, esencial, fundamental o elemental) de conocimientos, habilidades y destrezas escolares necesarios para poder seguir progresando satisfactoriamente en la asignatura. Por debajo del básico Indica carencias importantes en el dominio curricular de los conocimientos, habilidades y destrezas escolares, que expresan una limitación para poder seguir progresando satisfactoriamente en la asignatura. acumulables

Porcentaje de alumnos de tercer grado de secundaria por nivel de logro y tipo de servicio: Español

Porcentaje de alumnos por nivel de logro y subpoblaciones de secundarias generales y técnicas: Español

Puntaje promedio por tipo de servicio y edad: Español

¿Qué saben de Español los estudiantes? Nivel: Básico En Comprensión lectora, los estudiantes pueden identificar el propósito del ensayo, la entrevista y de la carta comercial, así como el tema central de crónicas, monografías, comentarios, obras de teatro, cuentos tradicionales y fábulas. Identifican la función y la estructura de los instructivos y recetas, así como las características de las crónicas. Pueden completar un cuadro sinóptico con la información obtenida de un texto breve… En Reflexión sobre la Lengua los alumnos pueden interpretar el significado de palabras, incluyendo las indígenas de uso frecuente, con ayuda del contexto, así como inferir el sentido denotativo de una expresión. Pueden sustituir una palabra que aparece en un texto por un sinónimo. Reconocen una función del infinitivo e interpretan correctamente los accidentes del verbo…

Resultados por entidad federativa: promedios y % alumnos en niveles de logro Entidades con puntuaciones promedio por debajo de la media nacional de Español Generales Técnicas Telesecund Privadas Jalisco, Nayarit, Sonora, Yucatán Guerrero, Quintana Roo, Tamaulipas Chiapas, Oaxaca Baja California, Campeche, Jalisco, Michoacán, Veracruz

4. Resultados de logro: Matemáticas

Estructura del Excale 09 (2008): Matemáticas ÁREAS DEL CURRÍCULO HABILIDADES Y CONOCIMIENTOS REACTIVOS Aritmética (44.8%) Los números naturales y sus operaciones 29 Los decimales y sus operaciones 21 Fracciones 18 Números con signo 4 Proporcionalidad 10 Geometría (26.8%) Forma 20 Sólidos 14 Medición y cálculo geométrico 15 Álgebra (21.3%) Pre-álgebra 6 Monomios y polinomios 9 Ecuaciones Funciones Presentación y tratamiento de información (3.8%) Tablas y gráficas 7 Probabilidad (3.3%) Probabilidad Total 183

Porcentaje de alumnos por nivel de logro educativo y tipo de servicio: Matemáticas

Porcentaje de alumnos por nivel de logro educativo y subpoblaciones de las modalidades general y técnica: Matemáticas

Puntaje promedio por tipo de servicio y edad: Matemáticas

¿Qué saben de Matemáticas los estudiantes? Nivel: Por debajo del Básico Los estudiantes leen y escriben números naturales y establecen relaciones de orden entre ellos; resuelven problemas aditivos que implican una sola operación con números naturales, enteros, decimales o fraccionarios, así como problemas multiplicativos con números naturales. Identifican situaciones de proporcionalidad directa y establecen relaciones entre una tabla de valores y su gráfica en funciones lineales o cuadráticas. Identifican figuras o cuerpos geométricos a partir de sus elementos o características. Calculan el perímetro y el área de figuras básicas (triángulos, cuadriláteros y polígonos regulares). Identifican la moda y la media en un conjunto de datos. Estiman y comparan la probabilidad de eventos simples.

¿Qué saben de Matemáticas los estudiantes? Ejemplo de un reactivo de nivel Por debajo del Básico A B C D ¿En cuál de los siguientes círculos se ha trazado sólo uno de sus radios?

Resultados de logro: Biología

Estructura del Excale 09 (2008): Biología Habilidades y conocimientos Reactivos El mundo de los seres vivos 30 Niveles de organización celular y funciones vitales 31 Ecología 12 Genética, reproducción humana y la salud 27 Total 100

Porcentaje de alumnos por nivel de logro y tipo de servicio: Biología

Porcentaje de alumnos por nivel de logro educativo y subpoblaciones de las modalidades general y técnica: Biología

Puntaje promedio por tipo de servicio y edad: Biología

¿Qué saben de Biología los estudiantes? Nivel: Básico Los estudiantes saben que los seres vivos están formados por células y comparten algunas características; por ejemplo, se nutren y se reproducen. También reconocen que el carbono está presente en su conformación. Identifican la relación entre el sistema nervioso autónomo y el sistema endocrino así como la relación glándula-hormona-efecto. Identifican la función de algunos órganos sexuales; reconocen el papel que juegan los métodos anticonceptivos en la planificación familiar, así como la importancia de contar con información en el ejercicio responsable de la sexualidad. Tienen la noción de qué son los ecosistemas; reconocen algunos cambios que en ellos se producen, e identifican las relaciones entre productores, consumidores y descomponedores.

¿Qué saben de Biología los estudiantes? Ejemplo de un reactivo de nivel Básico Javier iba caminando por el parque, vio a lo lejos un perro y se sentó en una banca; el perro se le acercó y le ladró de tal manera que lo asustó mucho, por lo que se le aceleró el latido del corazón. En este caso, el sistema nervioso autónomo de Javier intervino cuando: Vio a lo lejos un perro. Se aceleró su corazón. Iba caminando por el parque. Estaba sentado en la banca.

Resultados de logro: Formación cívica y ética

Estructura del Excale 09 (2008): Formación cívica y ética Ejes temáticos Habilidades y conocimientos Reactivos Educación cívica 58% Conocimiento de las instituciones y la organización política de México 21 Conocimiento y comprensión de los derechos y deberes 18 Participación social y política 15 Respeto y aprecio de la diversidad 9 Formación ética 42% Conocimiento y cuidado de sí mismo 28 Formación de valores Total 109

Porcentaje de alumnos por nivel de logro y tipo de servicio: Formación cívica y ética

Porcentaje de alumnos por nivel de logro y subpoblaciones de las modalidades general y técnica: Formación cívica y ética

Puntaje promedio por tipo de servicio y edad: Formación cívica y ética

¿Qué saben de Formación cívica y ética los estudiantes? Nivel: Básico Los alumnos son capaces de identificarse como personas libres, responsables de sí mismas (en cuanto a su sexualidad, salud, higiene, recreación, proyecto de vida, etc.) y creativas. Se reconocen como parte de una familia y construyen diversas relaciones interpersonales, fundamentales para la convivencia social. Asimismo, son capaces de comprender que las distintas problemáticas sociales (adicciones, violencia, inequidad de género, etc.) inciden directamente en el ámbito personal y en la convivencia social. Comprenden el valor del estudio y del trabajo como medio de realización personal y social. Identifican los derechos, las obligaciones y las responsabilidades de un ciudadano o ciudadana mexicana, sustentados en la Carta Magna…

¿Qué saben de Formación cívica y ética los estudiantes? Ejemplo de un reactivo de nivel Básico ¿Cuál de los siguientes fragmentos pertenece al Artículo 123 de nuestra constitución, el cual habla sobre los derechos de los trabajadores? “Ninguna persona podrá ser impedida de ejercer la profesión que haya elegido”. “La jornada de trabajo no debe sobrepasar las ocho horas diarias”. “Las huelgas son un derecho para los trabajadores independientes”. “El pago del jornal no deberá exceder un plazo mayor a un semestre”.

Resultados de logro: Situación de las entidades federativas

Formación cívica y ética Entidades que se encuentran significativamente por debajo de la media nacional por modalidad y por asignatura Generales Técnicas Telesecun-darias Privadas Español Jalisco, Nayarit, Sonora, Yucatán Guerrero, Quintana Roo, Tamaulipas Chiapas, Oaxaca Baja California, Campeche, Jalisco, Michoacán, Veracruz Matemáticas Durango, Jalisco, Michoacán, Yucatán Guerrero, Michoacán, Tabasco, Tamaulipas Chiapas, Guerrero, Hidalgo, Michoacán, Nayarit, San Luis Potosí, Tabasco Baja California, Michoacán, Veracruz, Yucatán Biología Chiapas, Durango, Guerrero, Oaxaca Chiapas, Guerrero, Zacatecas Chiapas Baja California Formación cívica y ética Durango, Guerrero Chiapas, Guerrero, Nayarit, Zacatecas Campeche, Guerrero Baja California, Campeche, Jalisco, Veracruz

5. Factores asociados con el logro escolar De carácter individual y se refiere al entorno socio-familiar del alumno. Condiciones socioeconómicas, interacciones familiares, el ambiente cultural en que se desarrolla, entre otros. Características circunscritas a los centros escolares, como su infraestructura, la forma en que se ejerce la función directiva, la dinámica del salón de clases, las formas de enseñanza de los profesores, etcétera.

Factores de carácter individual: capital cultural escolar La variable Capital cultural escolar está compuesta por ocho preguntas que hacen alusión a cinco indicadores socioculturales (algunos de los cuales ya se han presentado de forma individual en la parte 3 de esta exposición ): las expectativas educativas del estudiante, de los padres, el número de libros en casa, el nivel educativo de ambos padres, el reconocimiento social del trabajo de los padres, y la disponibilidad del servicio de Internet en la casa. Los puntajes de la escala fueron categorizados en tres grupos o niveles (bajo, medio, alto) que representan distintas “cantidades” de Capital cultural escolar

5. Factores asociados con el logro: capital cultural escolar

5. Factores asociados con el logro: prácticas de instrucción La variable prácticas de instrucción está compuesta por diez reactivos que exploran la frecuencia con que los docentes realizan las siguientes actividades: orientación para la corrección de errores, dar explicaciones claras, utilización de ejemplos fáciles, uso de material didáctico, orientación para realizar trabajos, explicación y respeto de los criterios de calificación, libertad para expresar dudas y opiniones, promoción de la participación en clase y preparación de las clases.

5. Algunos factores asociados con el logro: prácticas de instrucción

6. Reflexiones y consideraciones finales Obligatoriedad: ¿igualdad de oportunidades de aprendizaje? Compensar desventajas: discriminación positiva de poblaciones que asisten a Telesecundaria y secundarias técnicas en zonas rurales. Uso de resultados Excale para fortalecer desarrollo del currículo y formación profesional de los docentes. Mejorar nuestra comprensión sobre lo que sucede en las escuelas secundarias.

Instituto Nacional para la Evaluación de la Educación Muchas gracias www.inee.edu.mx Instituto Nacional para la Evaluación de la Educación