Experiencias en el desarrollo de indicadores educativos Felipe Martínez Rizo Seminario-taller internacional de indicadores educativos Experiencias locales, nacionales y regionales México, junio 19 de 2008

Introducción Para hacer pruebas hay metodologías sistematizadas, libros de texto, posgrados y estándares de calidad de grupos de profesionales del campo: AAHE, AERA, APA, NCME, ETS, IEA. Los estándares mexicanos (CENEVAL). No hay textos similares para guiar la construcción de indicadores; los hay de la calidad de las estadísticas, pero no de indicadores: NCES, OECD. El INEE propone una metodología para el desarrollo de indicadores individuales y de sistemas de indicadores.

Etapas de la metodología del INEE Elaboración del listado inicial. Desarrollo del listado: fichas por indicador con nombre, definición, explicación, fuentes, fórmula… Jueceo inicial Para verificar cualidades técnicas y prácticas de cada indicador y del conjunto, con varios tipos de jueces y varias vueltas… Obtención de primeros valores de cada indicador; análisis a posteriori de la calidad de cada uno. Definición de estándares para llegar a juicios. Afinando indicadores; maduración del sistema Desarrollar indicadores lleva tiempo; hay que revisar una y otra vez. El ritmo de las estadísticas educativas hace que el proceso lleve años: 10, según I de N.

Ejemplo 1. Limitaciones de un indicador clásico: La tasa analfabetismo Limitaciones: por la definición operacional y por la forma de obtener la información Posibles mejoras mediante la obtención de información primaria de mejor calidad.

Formas de medir el componente alfabetización

Alfabetización reportada vs. medida

Alfabetización reportada vs. medida

Los datos UNESCO-EFA y su consistencia Formas tradicionales de estimar el analfabetismo Explicación de las inconsistencias Por autodeclaración de los sujetos. Por aproximación a partir de la escolaridad De los indicadores tradicionales de alfabetización a lamedición de la capacidad lectora de adulto IALS-ALL OCDE: Program for International Assessement of Adult Competencies (PIAAC) UNESCO: Literacy Assessment Monitoring Program

Ejemplo 2. Otro indicador clásico y su mejora: medida de la cobertura educativa Limitaciones: inconsistencia de las cifras; escasa sensibilidad; fluctuaciones inexplicables… Posibles mejoras: Tasas netas. Tasas específicas de asistencia por edad y grado o nivel. Matrices de matrícula edad/grado; indicadores derivados.

El índice de desarrollo de educación (IDE) de UNESCO-EFA y sus componentes

IDE de las entidades federativas de México y algunos países

IDE de algunos países en los informes de EPT, 2005-2007

Cobertura bruta por entidad, 2002-2003 y 2003-2004

Cobertura neta por entidad, 2002-2003 y 2003-2004

Las tasas brutas y su validez; extraedad Las tasas netas: ventajas y dificultad

Tasas específicas por edad El avance respecto a las tasas brutas y netas por nivel educativo Sistemas educativos con extraedad significativa y sin ella (con o sin reprobación/repetición) Diferente duración de la escolaridad obligatoria

Países seleccionados

Países seleccionados

Países seleccionados

Países seleccionados

Países seleccionados

Países seleccionados

Indicadores derivados Matrices de matrícula por grado y edad Indicadores derivados

Alumnos por grado escolar y edad, de 3 a 17 años, México, 2004-2005

% de alumnos por grado escolar y edad, de 3 a 17 años, México, 2004-2005

% alumnos adelantados, en el grado normativo, con rezago ligero y grave, y fuera de la escuela

% de alumnos en situación regular de rezago grave y fuera de la escuela

Entidades seleccionadas

Entidades seleccionadas

Alumnos regulares, con rezago grave y fuera de escuela

% Alumnos regulares por edad normativa

% Alumnos en rezago grave, 8-11 y 12-14 años

% Alumnos fuera de la escuela, 3-4 y 12-14 años

Ejemplo 3. Otros indicadores y su mejora: La distribución geográfica de la población y el sistema educativo Población urbana y rural Escuelas urbanas y rurales Servicios educativos para población dispersa: primarias multigrado y telesecundarias

La población: urbana y rural El indicador tradicional y sus limitaciones. Diferencia de criterios para definir lo urbano y lo rural: ¿Más de 2,500 habitantes? ¿De 5,000? ¿15,000? ¿Semirural, semiurbano, megaurbano? Avance: porcentaje de localidades y de su población por tamaño, con varios rangos, que se pueden agrupar

Localidades y población

Localidades rurales y población

Escuelas de educación básica por localidad, por tamaño

Escuelas de educación básica por modalidad y localidad, por tamaño

Escuelas de educación básica por localidad, según condición de aislamiento

Primarias multigrado según tamaño de localidad

Primarias multigrado según condición de aislamiento

Matrícula multigrado según condición de aislamiento

Importancia de la dispersión: Localidades < 100 habitantes, 1970-2005

Impacto desigual de la dispersión Localidades rurales aisladas por entidad

Impacto desigual de la dispersión: servicios educativos extremos por entidad

Consideraciones finales De los indicadores simples a los complejos: Dimensiones y variables; normalización, integración y ponderación. Reduciendo dimensiones: componentes principales, análisis factorial; metodologías TRI, etc. Metodologías FGT… Sobre la interpretación de los indicadores Propiedades matemáticas y experiencia práctica El caso del índice de Gini para la medición de la desigualdad de la distribución de la escolaridad

Muchas Gracias