Metodología para desarrollar indicadores. La propuesta del INEE Dirección de Indicadores Educativos Análisis e interpretación de resultados educativos. Reflexiones a partir del Panorama Educativo de México 2009 Taller con entidades federativas Distrito Federal, 17 y 18 de marzo de 2011 1

Metodología para el desarrollo de sistemas de indicadores Problemáticas Metas Necesidades Usuarios y tomadores de decisiones 1ª etapa Grupo coordinador y expertos (especialistas) Listado Grupo coordinador Diseño de indicadores 2ª etapa Catálogo Estrategia de Jueceo Grupo coordinador y Grupo asesor Especialistas Validez Confiabilidad Comparabilidad Estabilidad temporal Actualidad Sensibilidad Usuarios Importancia Utilidad Claridad Técnicos Factibilidad 3ª etapa (Jueceo)

Metodología para el desarrollo de sistemas de indicadores Cont. 3ª etapa Catálogo aceptado Plan de desarrollo del SIE Validado por Grupo Asesor Consolidación del SIE Mantenimiento y desarrollo Primera aplicación Etapas siguientes 4ª etapa

¡Debe contarse con marco de referencia y conceptual! Los sistemas de indicadores no deben diseñarse a partir de la información existente, sino del marco de referencia adoptado, aunque no se cuente desde el principio con información suficiente, y deba generarse después la que haga falta Dirección de Indicadores Educativos ¡Incluyen marcos evaluativos!

Diseño de indicadores: fichas por indicador Nombre, breve y claro Definición, con precisión y rigor conceptual Explicación, situando el indicador en un marco pertinente Fuentes de información para el cálculo Fórmula de cálculo y criterios para su estimación. Desagregaciones posibles (género, entidad, modalidad…) Elementos para la interpretación de los resultados. Dirección de Indicadores Educativos

Jueceo inicial de los indicadores desarrollados Cualidades técnicas Validez. Medir realmente lo que se pretende Confiabilidad. Tener datos consistentes en sucesivas aplicaciones. Comparabilidad, en contextos diferentes para comparación significativa Estabilidad temporal. Comparaciones en el tiempo Sensibilidad. Detectar diferencias significativas Dirección de Indicadores Educativos

Cualidades prácticas Actualidad de la información para que sea útil Utilidad, atendiendo aspectos que ayuden en la toma de decisiones Importancia, atendiendo elementos relevantes del sistema educativo Factibilidad de implementación. Obtener la información a costo razonable Claridad, para facilitar una adecuada interpretación Dirección de Indicadores Educativos

Cualidades del SIE Cobertura. Atiende todos los aspectos relevantes Balance. Lo hace en forma equilibrada Parsimonia. Tiene un número razonable de indicadores, ni excesivo ni escaso Dirección de Indicadores Educativos

Proceso de jueceo. Tres vueltas (tipo delphi-panel) 1ª Vuelta (ciega): opiniones sobre las cualidades (validez, confiabilidad etc.) de cada indicador, a partir de nombre, definición, explicación, fuentes, fórmula, desagregaciones… 2ª Vuelta: nueva opinión teniendo información sobre opiniones de otros participantes; quienes tengan opiniones discrepantes darán argumentos para defender su posición. 3ª Vuelta: nuevas opiniones dando información de los argumentos de los participantes con opiniones extremas o discordantes en la vuelta anterior. Dirección de Indicadores Educativos

Más peso a opiniones de unos jueces en relación con ciertos criterios: Expertos más -- criterios técnicos Usuarios especializados -- factibilidad, importancia y utilidad Usuarios de base -- claridad Dirección de Indicadores Educativos

Primera aplicación del sistema Procesos de depuración y cálculo para obtener los primeros valores de cada indicador Nuevo análisis de la calidad de cada indicador y el sistema a posteriori Valorar si la información es interpretada correctamente y utilizada Dirección de Indicadores Educativos

Referentes: de la medición a la evaluación. Tres tipos Óptimos: países avanzados, mejores entidades (benchmarking, mejores prácticas) Promedio: países similares, promedios nacionales… Mínimos: países o entidades de menor desarrollo, mínimos normativos… Dirección de Indicadores Educativos

Cada uno tiene cierto sentido; ninguno es suficiente; conviene usar los tres Otros referentes posibles: contrastar la situación presente con pasado y futuro (metas) Un sistema educativo de calidad es aquel que siempre mejora respecto a sí mismo, sin idealizar el pasado y con metas ambiciosas pero realistas para el futuro Dirección de Indicadores Educativos

Refinamiento de los indicadores y maduración del sistema Desarrollar indicadores de buena calidad implica tiempo Además de seguir la metodología hay que revisarlos una y otra vez El ritmo anual de la estadística educativa hace que el refinamiento lleve años Dirección de Indicadores Educativos

…la creación de un indicador nuevo toma largo tiempo… difícilmente puede abreviarse, dada la naturaleza iterativa de los procesos de formación de conceptos y de los esfuerzos de medición…[y] el necesario para los ajustes por ensayo-error. Aun si ya existen antecedentes de investigación y cierto consenso alrededor de un problema, es probable que pasen al menos 10 años entre el deseo de contar con una medida y la producción efectiva de esta. Judith Innes de Neufville, 1975 Dirección de Indicadores Educativos

Fuentes de información SEP OCDE Inegi Dirección de Indicadores Educativos Conapo SIE Panorama Áreas sustantivas Información INEE Apoyo técnico INSP Otras INM 16

Ilustración del jueceo de indicadores seleccionados Tasa neta de cobertura (2009/2010) Dirección de Indicadores Educativos

AT01a Tasa neta de cobertura Nombre del indicador: Definición: Número de alumnos en las edades normativas para cursar educación básica y en la edad típica para cursar educación media superior, inscritos en el nivel o tipo educativo correspondiente al inicio del ciclo escolar, por cada cien personas de la misma edad. Fórmula de cálculo: Alumnos en el grupo de edad ge correspondientes al nivel educativo niv al inicio del ciclo escolar t. Población estimada a mitad de año t en el grupo de edad ge. Nivel o tipo educativo: preescolar, primaria, secundaria y media superior. Grupos de edad: 3-5 años (preescolar), 6-11 años (primaria), 12-14 años (secundaria) y15-17 años (media superior).

Interpretación: Este indicador da idea de la eficacia del sistema educativo, en combinación con el sistema familiar y social en general, para matricular a la población que por norma legal o social es deseable que asista al nivel que le corresponde de acuerdo a su edad. Se espera que conforme dicha eficacia aumente, lo mismo que el valor concedido socialmente a la escolarización de la población, la cobertura de educación básica se acerque al 100%, y la educación media superior sea cada vez mayor, o también se acerque a 100%, en caso de aprobarse la obligatoriedad de este tipo educativo. En la educación media superior, la tasa neta de cobertura depende de la demanda por parte de la población, del número de jóvenes que optan por seguir estudiando una vez concluida la educación básica y de la efectividad de las políticas educativas y sociales en general para facilitar el acceso y la permanencia de este segmento poblacional en el sistema educativo. El indicador es una medida aproximada debido a que se construye a partir de dos fuentes de información que no son estrictamente compatibles, el numerador (matrícula) es obtenido de las estadísticas continuas del formato 911 y el denominador (población estimada) se obtiene de las Proyecciones de la población de México 2005-2050 elaboradas por el Consejo Nacional de Población. En principio este indicador toma valores de 0% a 100%. Este valor máximo sería adoptado en caso de que todos los niños o jóvenes en las edades analizadas se inscribieran al nivel correspondiente. Debido a que las fuentes de información utilizadas para su cálculo no son perfectamente compatibles, en ocasiones el valor del indicador excede 100%, especialmente cuando la matriculación es casi universal, como en primaria. Utilidad: Al dimensionar el grado de cobertura en educación básica y media superior, este indicador contribuye a precisar las metas de cobertura para estos niveles educativos en el corto, mediano y largo plazo, considerando la entidad federativa, nivel educativo y sexo de niños y jóvenes.

Ofrece elementos para evaluar las siguientes dimensiones de calidad educativa: Eficacia interna. Desagregación: Entidad federativa, nivel educativo y sexo. Fuentes de información: SEP-DGPP (2010). Estadísticas continuas del formato 911 (inicio del ciclo escolar 2009/2010). Conapo (2006). Proyecciones de la población de México 2005-2050.   Nota: En la educación media superior (EMS), la tasa neta de cobertura considera a toda la población entre 15 y 17 años, sin importar que sea o no atendible por el sistema educativo.

Referente de evaluación: Alcanzar 100% de cobertura en los niveles de primaria y secundaria. Información de referencia: Actualmente, sólo 2°y 3° de preescolar son obligatorios, por lo tanto, se toma como referente inmediato el valor nacional reportado en Panorama Educativo de México 2009 de 77.6% de cobertura. Para media superior Tasa de cobertura nacional de educación media superior para el grupo de edad 15-17 años   Fuente: INEE, cálculos con base en las Estadísticas continuas del formato 911 (inicio del ciclo escolar 2006/2007, 2007/2008 y 2008/2009), SEP- DGPP y Conapo (2006) y Proyecciones de la población de México 2005-2050. Fuentes: Robles et al. (2009). Panorama Educativo de México 2009. Indicadores del Sistema Educativo Nacional. México: Instituto Nacional para la Evaluación de la Educación. Artículo 3° de la Constitución Política de los Estados Unidos Mexicanos, (Cámara de Diputados, 2010a). Ley General de Educación (Cámara de Diputados, 2010b).

ILUSTRACIÒN DEL JUECEO DE CUALIDADES SELECTAS DEL INDICADOR DE COBERTURA NETA PRÀCTICAS TÈCNICAS UTILIDAD CLARIDAD VALIDEZ CONFIABILIDAD DEFINITIVAMENTE SI PROBABLEMENTE SI INDECISO

Dirección de Indicadores Educativos gracias