Evaluación al Fondo de Aportaciones para la Educación Básica en el Estado de Morelos Octubre 2, 2014 Cuernavaca, Morelos

Contenido Introducción / Objetivos y Metodología FAEB / Contexto Hallazgos en el Análisis de la Gestión Recomendaciones

Introducción

Objetivos Objetivo General Contar con una valoración del desempeño de los recursos otorgados al estado mediante el Fondo de Aportaciones para la Educación Básica y Normal (FAEB), con base en el análisis de sus principales instrumentos de Planeación Estratégica (MML y MIR), para identificar y valorar sus fortalezas, debilidades y áreas de oportunidad a fin de emitir recomendaciones para mejorar la eficiencia y efectividad de los recursos del Fondo. Objetivos Específicos Resultados obtenidos del Fondo mediante el análisis de los Indicadores de Fin, Propósito, Componente y Actividad; Avance de las metas de los indicadores de la Matriz de Indicadores para Resultados (MIR) 2013, respecto de años anteriores y el avance en relación con las metas establecidas; Avance que las metas de los Indicadores sugeridos en la Matriz de Indicadores para Resultados (MIR), para el periodo 2011-2013, han conseguido en relación a lo establecido originalmente en el Fondo. Principales aspectos susceptibles de mejora.

Metodología Fase 1. Trabajo de Gabinete y recolección de información. Análisis Presupuestal Fase 2. Grupos de Trabajo y Entrevistas con actores clave involucrados en el diseño, implementación y evaluación del Fondo Fase 3. Integración de la Evaluación del Fondo

Consúltese Cuestionario CONEVAL Metodología Matriz FODA Cuestionario CONEVAL Fases Diseño Planeación Estratégica Cobertura Operación Resultados Consúltese Cuestionario CONEVAL

El Fondo de Aportaciones para la Educación Básica (FAEB)

El Fondo de Aportaciones para la Educación Básica -FAEB- Objetivo Recurso que la Federación transfiere a las haciendas públicas de los Estados a través de los ramos 25 y 33, condicionando su gasto a la consecución y cumplimiento de los objetivos que establece la Ley de Coordinación Fiscal en lo general y la Ley General de Educación en sus artículos 13 y 16, en lo particular Criterios de asignación de acuerdo a la fórmula FAEB Matrícula pública de educación básica estatal respecto al total de la matrícula nacional en dicho nivel de educación Matrícula pública estatal, ponderada por un índice de calidad educativa respecto al total nacional Gasto estatal en educación básica, ponderado por las transferencias que la entidad federativa recibe a través del FAEB respecto al gasto total nacional (CONEVAL, 2010) os recursos del FAEB se transfieren a las autoridades educativas locales con el fin de cumplir con el mandato del artículo 13 de la Ley General de Educación, que señala: “Corresponden de manera exclusiva a las autoridades educativas locales, en sus respectivas competencias, las atribuciones siguientes: Prestar los servicios de educación inicial, básica incluyendo la indígena, especial, así como la normal y demás para la formación de maestros Proponer a la Secretaría los contenidos regionales que hayan de incluirse en los planes y programas de estudio para la educación preescolar, la primaria, la secundaria, la normal y demás para la formación de maestros de educación básica Ajustar, en su caso, el calendario escolar para cada ciclo lectivo de la educación preescolar, la primaria, la secundaria, la normal y demás para la formación de maestros de educación básica, con respeto al calendario fijado por la Secretaría Prestar los servicios de formación, actualización, capacitación y superación profesional para los maestros de educación básica, de conformidad con las disposiciones generales que la Secretaría determine Revalidar y otorgar equivalencias de estudios de la educación preescolar, la primaria, la secundaria, la normal y demás para la formación de maestros de educación básica, de acuerdo con los lineamientos generales que la Secretaría expida Otorgar, negar y revocar autorización a los particulares para impartir la educación preescolar, la primaria, la secundaria, la normal y demás para la formación de maestros de educación básica Las demás que con tal carácter establezcan esta Ley y otras disposiciones aplicables.“

Contexto Educativo del Estado de Morelos Recurso FAEB asignado al Estado de Morelos en el periodo 2000-2014 (Millones de pesos) Fuente. Elaboración propia con base en la Secretaría de Hacienda y Crédito Público

Ubicación respecto a la media nacional* Secundaria Matemáticas Contexto Educativo del Estado de Morelos Diferencia en los resultados generales de la prueba ENLACE en el Estado de Morelos entre 2006 y 2013 respecto a la media nacional por asignatura evaluada y nivel educativo Materia / Año 2006 2013 Diferencia Ubicación respecto a la media nacional* Primaria Matemáticas 19.9 50.9 31.0 Por debajo Primaria Español 22.8 45.4 22.6 Por encima Secundaria Matemáticas 4.8 19.3 14.5 Secundaria Español 16.6 17.3 0.7 Fuente. Elaboración propia, con base Secretaría de Educación Pública, ENLACE 2013 *Las medias nacionales de diferencia a considerar son: Primaria Matemáticas 31.2, Primaria Español 21.5, Secundaria Matemáticas 17.7 y Secundaria Español 5.0.

Hallazgos en el Análisis de Gestión

Cuestionario CONEVAL Sistematización de la información. Construcción de una MML para el Fondo, con su respectiva MIR para evaluar la eficiencia y eficacia de los recursos en el cumplimiento de sus objetivos. Alineación adecuada con los marcos de planeación educativa del estado de Morelos. No obstante, el Plan Sectorial de Educación sigue siendo difuso. Las lógicas y narrativas de la planeación del Fondo están plasmadas en la planeación del IEBEM y de las UEGs, pero en conjunto son poco claras. No necesariamente están vinculadas al FAEB. Las MIR de las UEGs están bien desarrolladas, pero el recurso FAEB aplicado en Morelos no cuenta con una Matriz de Indicadores en sí misma. Información disponible con ligeras variaciones complejizan la comparabilidad de información (IGG vs. Matriz de Indicadores estratégicos)

Cuestionario CONEVAL A. Informe sobre la Situación Económica, las Finanzas Públicas y la Deuda Pública. 4to trimestre 2013

Cuestionario CONEVAL A. Informe sobre la Situación Económica, las Finanzas Públicas y la Deuda Pública. 4to trimestre 2013

Cuestionario CONEVAL B. Informe de Gestión Gubernamental. Indicadores Estratégicos Indicador Unidad de Medida Índice de absorción en el nivel educativo de primaria Porcentaje Índice de absorción en el nivel educativo de secundaria Índice de eficiencia terminal en el nivel educativo de primaria Índice de eficiencia terminal en el nivel educativo de secundaria Índice de aprovechamiento académico en el nivel educativo de primaria Índice de aprovechamiento académico en el nivel educativo de secundaria Porcentaje de alumnos con resultados satisfactorios en la prueba ENLACE en el nivel educativo de primaria Porcentaje de alumnos con resultados satisfactorios en la prueba ENLACE en el nivel educativo de secundaria Porcentaje de docentes atendidos en formación y actualización en educación básica Fuente. Elaboración propia con base en los Reportes IGG hasta el tercer trimestre de 2013 del Sistema de Evaluación del Desempeño del Estado de Morelos

Cuestionario CONEVAL El conjunto de diagnósticos del sector es poco accesible y puede ser sistematizado y concentrado en alguna instancia de planeación La sistematización de Padrones de beneficiarios, estructuras administrativas, instrumentos de planeación (árboles de problemas, objetivos y matrices –No reportes IGG-) puede igualmente ser concentrado. Indicadores. Uso de Indicadores de Eficiencia y Eficacia (Fórmulas porcentaje -A/B * 100- o de números absolutos) en detrimento de fórmulas de impacto más elaboradas. Errores de presentación en el POA. Líneas base, cifras no legibles incluso en la información presentada en los canales de transparencia.

Cuestionario CONEVAL Errores de presentación de la información ( Administración de la Instancia Educativa – IEBEM)

Cuestionario CONEVAL Se encontraron algunos casos de incomparabilidad de los avances de las metas de los indicadores de la MIR 2013 en respecto a los ejercicios fiscales 2011 y 2013. La información existe, pero no esta publicada en el sitio de transparencia del IEBEM antes del 2011. La planeación estratégica muestra independencia del proceso presupuestario. No obstante, los retrasos y desfases en la entrega y ministración del recurso a las UEG´s genera problemas operativos severos que merman los indicadores y el reporte de avance en las metas. No obstante lo anterior, el IEBEM reporta avances del 100% anuales e incluso superiores, argumentando la recepción de complementos presupuestarios debido a alzas salariales.

Cuestionario CONEVAL Variedad de Indicadores y selección de Indicadores estratégicos adecuados. No obstante, no existe solución simple para una administración compleja del FAEB. Se requiere re-pensar la MIR con base en los medios de verificación existentes. Mayor comunicación entre el IEBEM y las UEGs. Los mecanismos de Transparencia y Rendición de Cuentas pueden ser fortalecidos. Se sugiere ampliar información pública en tres áreas clave: Calidad educativa (Prueba ENLACE), Información Magisterial (Nóminas y plantilla) y Eficiencia Terminal en educación básica. Se requiere mejorar los mecanismos de gestión del FAEB existentes para saber en donde y cómo se ejerce el recurso FAEB en términos netos, no sólo brutos.

Matriz FODA Diseño FORTALEZAS OPORTUNIDADES DEBILIDADES AMENAZAS   FORTALEZAS OPORTUNIDADES DEBILIDADES AMENAZAS Diseño Conocimiento claro y preciso de las estructuras y mecanismos de gestión presupuestal. Claridad en el proceso contable y de seguimiento los recursos presupuestarios. Las UEG conocen los procedimientos de planeación los aplican a través del llenado de los IGG. Mayor intervención en los procesos de asignación presupuestal (UEGs). Claridad en los marcos de planeación. Mayor claridad en las lógicas narrativas de los proyectos presupuestarios. Multiplicidad de proyectos institucionales. Dispersión de la información. Reforma Educativa. Posible incrementalis-mo. Retraso en la ministración de Fondos.

Planeación Estratégica Matriz FODA   FORTALEZAS OPORTUNIDADES DEBILIDADES AMENAZAS Planeación Estratégica Estructura organizativa adecuada. Cumplimiento de las entregas. Identificación y priorización en la distribución de los recursos Incorporación de las expectativas de la población beneficiaria. Participación en el diseño de las políticas públicas. Variaciones en los mecanismos de presentación de la información. Sostenibilidad Financiera. Pertinencia de la aplicación de la fórmula FAEB al sector educativo del Estado.

Matriz FODA Cobertura FORTALEZAS OPORTUNIDADES DEBILIDADES AMENAZAS   FORTALEZAS OPORTUNIDADES DEBILIDADES AMENAZAS Cobertura Infraestructura educativa suficiente para atender las solicitudes de admisión a los niveles educativos. Reforzamiento de la relación existente entre la cobertura y los resultados alcanzados, específicamente a través del uso de estadísticas y encuestas disponibles. Diferentes concepciones sobre Población objetivo y población potencial Los Indicadores de cobertura no necesariamente reflejan la demanda real de servicios de educación básica. Movilidad poblacional. Ausencia de mecanismos que permitan incorporar diagnósticos educativos al universo de población atendida.

Matriz FODA Operación FORTALEZAS OPORTUNIDADES DEBILIDADES AMENAZAS   FORTALEZAS OPORTUNIDADES DEBILIDADES AMENAZAS Operación Experiencia y conocimiento de las UEGs Matriz de Indicadores robusta y con amplios medios de verificación. Experiencia transmisible a nuevas generaciones de administración educativa en el Estado. Experiencia de las UEG y conocimiento subsidiario del contexto educativo de cada uno de los programas presupuestarios. Uso insuficiente de Tecnologías de la información (TI). Los indicadores basados en porcentajes y formulas A=A, que no reflejan la complejidad del sector educativo. Capacidades de atención. Por ejemplo, en materia de educación indígena. Mantenimiento e Infraestructura en los planteles. Falta de condiciones para la impartición de clases. Inseguridad pública, desintegración familiar, drogadicción, bullying.

Matriz FODA Resultados FORTALEZAS OPORTUNIDADES DEBILIDADES AMENAZAS   FORTALEZAS OPORTUNIDADES DEBILIDADES AMENAZAS Resultados Bajos índices de analfabetismo y rezago educativo. Disponibilidad de la información, y generación de matrices consolidadas. Congruencia entre los mecanismos de monitoreo. Generación de ambientes de aprendizaje capaces de generar sostenibilidad en la educación del estudiante. Participación ciudadana en el proceso educativo. Transparencia y Rendición de cuentas. Portal electrónico mejorable. Ventajas de la reforma educativa Pocos avances en materia de resultados ENLACE en matemáticas educación básica -0.7% de aumento en el logro de matemáticas en poco más de seis años Pocos Indicadores de impacto Mayor Incorporación de elementos cualitativos en la MML y en la MIR. Capacitación y desarrollo de recursos humanos actualizados. Diagnósticos poco actualizados y no disponibles. Escasa sistematización de padrones de beneficiarios y estructuras administrativas.

Recomendaciones

Recomendaciones Fases de Diseño y Planeación Estratégica Elaborar una MIR específica para el FAEB, más allá de la estructura programática del IEBEM y el sector educativo. Explicitar la alineación de todos los programas presupuestarios y en todos los niveles de la MML con el Plan Sectorial de Educación del Estado, después de los objetivos y estrategias del Plan Estatal de Desarrollo. Se requiere hacer una revisión de las lógicas verticales y horizontales para cada programa presupuestario, incluyendo sus supuestos. Se sugiere una mayor descentralización de la estadística de monitoreo y evaluación en el entramado educativo del Estado, considerando las fortalezas existentes en el IEBEM.

Recomendaciones Definir indicadores que no sólo permitan medir la capacidad de gestión del IEBEM y las UEG, sino el impacto de las políticas definidas para el desarrollo educativo local. Realizar concentrados de información que faciliten la planeación y el manejo de información. Algunos rubros pueden ser las estructuras administrativas, las matrices de cada programa presupuestario, padrones de beneficiarios y estrategias específicas de los programas.

Recomendaciones Fase de Cobertura Afinar los conceptos relacionados a población objetivo, población universo, población de referencia y población no atendida. Ampliar las dimensiones de medición de los Indicadores, buscando desarrollar Indicadores de Impacto. Realizar consultas regulares con las UEGs en el proceso de ajuste y elaboración de Indicadores, de modo de contar con datos de contexto actualizados y orientados a la demanda de servicios educativos.

Recomendaciones Fase de Operación Inclusión de Indicadores no contemplados en la actualidad (Porcentaje de alumnos de primaria y secundaria con logro académico al menos elemental en la prueba ENLACE de matemáticas; Indicadores de Reprobación en primaria). Minimizar el uso de Indicadores de Números Absolutos (Número de maestros, etc..) a nivel Fin y Propósito, o al menos usarlos de manera complementaria. Desarrollar indicadores mixtos, con componentes cualitativos y cuantitativos. Ampliar la información disponible a través del portal de transparencia del IEBEM. Publicar información IGG relativa a los años 2011, 2012, 2013 y 2014, de modo de generar información comparable.

Recomendaciones Fase de Resultados Ampliar los canales de comunicación con Sociedad Civil (evaluaciones e intervenciones externas), academia (diagnósticos y paneles de discusión sobre la calidad educativa en el estado) y otros actores clave en el sector educativo. Desarrollar mayores análisis sobre la complementariedad de Programas Federales con los programas apoyados por el recurso FAEB, de modo de hallar posibles re-distribuciones. Buscar un mayor acercamiento con las autoridades relacionadas a las pruebas ENLACE y PISA (CONEVAL, OCDE México), así como estudios sectoriales y diagnósticos externos sobre el sector educativo en el estado.

MIR FAEB Elementos que debe contener una MIR del FAEB en el Estado de Morelos Clara y precisa redacción de Fin, Propósito, Componentes y Actividades. Los Resúmenes Narrativos deben ser congruentes con ambas lógicas (horizontal y vertical) de la MML. Es necesario trabajar en la elaboración de supuestos. Ejemplo. PAF 2012 Administración de la Instancia Educativa Estatal a nivel FIN

MIR FAEB Elementos que debe contener una MIR del FAEB en el Estado de Morelos Alineación a los principales instrumentos de planeación del desarrollo a nivel estatal y federal. Incluir el Plan Sectorial de Educación. Indicadores de Impacto. Evaluar la pertinencia de los Indicadores de Eficiencia y Eficacia a nivel FIN y PROPÓSITO. Se sugiere capacitación en torno a la elaboración de Indicadores. Se sugiere también continuar con el esquema de Indicadores Estratégicos. Fortalecer Líneas Base. Énfasis en la calidad educativa. Una de las principales áreas de oportunidad del FAEB en centrarse en los procesos de calidad educativa (logro académico y eficiencia terminal) de la población estudiantil.

MIR FAEB Esquema General MIR Número (Indicativo del Indicador –F1, P1, C1, C2, A1.1, A1.2, …-) Nivel (Fin, Propósito, Componente, Actividad) Indicador (Nombre del Indicador) Dimensión (Eficacia, Eficiencia, Calidad, etc..) Descripción (¿Qué mide el Indicador?) Fórmula de cálculo Definición de las variables de medición Medios de verificación Periodicidad de la medición Área Responsable de la medición

Resumen Narrativo para la formulación de los Presupuestos Actividades y proyectos Programa / Subprograma (Componentes) Resultado (Propósito) Impacto (Fin) ¿Cuál es el impacto de la acción pública? (Impacto a nivel sectorial) ¿Por qué se lleva a cabo la acción pública? (Resultado director de aplicar los programas) ¿Hacia donde se de debe enfocar la gestión Pública? ¿Cómo se instrumentarán las acciones del programa?

Medios de verificación La Lógica Horizontal de la MML La lógica horizontal permite verificar la validez de cada uno de las columnas de la MML. Implica el continuo registro de información estratégica que facilita el ejercicio del Presupuesto basado en Resultados. RESUMEN NARRATIVO MEDIOS DE VERIFICACIÓN INDICADORES SUPUESTOS FIN Resumen Narrativo Indicadores Medios de verificación Supuestos PROPÓSITO COMPONENTES ACTIVIDADES

Indicadores de desempeño Medios de verificación Frecuencia de medición Estructura de la Matriz de Indicadores, MIR para los Programas Presupuestarios Resumen narrativo Indicadores de desempeño Medios de verificación Supuestos Enunciado Fórmula de cálculo Frecuencia de medición Resultados Fin Propósito Propósito a fin Servicios Componentes Componente a propósito Gestión Actividad e insumo Actividad a componente

MML FAEB MML FAEB-IEBEM con base en el POA vigente Esquema propuesto con base en la información disponible Proyecto Indicador Dimensión Fórmula Descripción Líneas Base 2011 2012 2013 2014 Elementos pendientes por incluir Descripción de variables Unidades Responsables

Infraestructura Educativa MML FAEB MML FAEB-IEBEM con base en el POA vigente Ejemplo: Infraestructura Educativa * Proyecto Indicador Dimensión Fórmula Descripción Líneas Base Infraestructura Educativa Planteles educativos y unidades administrativas demandantes de equipamiento Eficacia Número de planteles y unidades administrativas beneficiadas con equipamiento Este indicador mide la cobertura de planteles educativos y unidades administrativas que requieren equipamiento 200 250 Número de espacios educativos intervenidos en su infraestructura física Este indicador mide el número de espacios educativos intervenidos en su infraestructura física 87 163 Número de centros de desarrollo infantil recibido para operar Numero de planteles de Desarrollo Infantil Este indicador mide el número de centros de desarrollo infantil recibidos para operar 1 Para ver la Matriz completa, refiérase al Anexo 2 de la Evaluación en texto completo

Gracias