Presentación – Auditoría de Rendimientos Experiencias de Brasil Melchior Sawaya Neto Auditor Federal de Control Externo

Evaluación de los impactos del Programa de Becas para la Enseñanza Superior

Cadena de resultados –Sistema de evaluación de resultados del Programa de Becas Insumos (Cuales recursos utiliza el proyecto con la finalidad de generación de productos) Evaluadores de la cualidad de las universidades Evaluadores de las condiciones socioeconómicas de los potenciales beneficiarios de las becas (garantizar buena focalización) Actividades (Aquello que el proyecto realiza) Evalúa y monitorea universidades cadastradas; Evalúa y monitorea beneficiarios; Concede becas para los grupos con menor participación en la enseñanza superior. Productos (Outputs) (Aquello que el proyecto logra) Aumento en la oferta de vagas sin perder de vista la cualidad de la enseñanza. Resultados (Aquello que el proyecto altera en la vida del beneficiario)) Mayor accesibilidad y permanencia en la enseñanza superior de grupos necesitados. Más horas dedicadas a los estudios; Mejor desempeño escolar. Resultados a largo plazo (Aquello que el proyecto altera en la sociedad) Mayor productividad laboral de grupos con menor accesibilidad a la enseñanza superior; Mayor equidad en la sociedad. Auditoría de Rendimientos Tradicional Resultados Implementación Auditoria de Rendimientos Centrada en Resultados Programa Universidad para Todos (ProUni)

Accesibilidad ¿El programa de becas aumenta la probabilidad de ingreso en la enseñanza superior? Permanencia/deserción ¿ El programa de becas disminuye la probabilidad de deserción? Desempeño Académico ¿ El programa de becas mejora el desempeño académico del estudiante?

Accesibilidad Base de Datos: SisProuni 2005, Enem (Examen Nacional de Enseñanza Media) Variable de Tratamiento: – ¿ recibió o no oferta de beca? Variable de Interés: – ¿ ingresó en la enseñanza superior?

Accesibilidad Metodología: Regresión Discontinua Consiste en evaluar el impacto del programa de becas en la frontera de los criterios de elegibilidad (p. ej. 45 puntos en el Enem) Efecto Promedio del Tratamiento Local

Accesibilidad

Reserva de vagas para etnias Impacto (p.p) error padrónObs.Intervalo de Conf. Total38.5*** Mujer39.1*** Hombre37.7*** Sin reservas de vagas para etnias Total28.0*** Mujer28.0*** Hombre28.7***

Permanencia/deserción Base de Datos: SisProuni 2005, Enem Variable de Tratamiento: Beca Integral vs Beca Parcial

Permanencia/deserción Metodología: Regresión con Reponderación por Escore de Propensión Efecto promedio del Tratamiento sobre los Tratados

Permanencia/deserción Definición 1Definición 2 Ha Permanecido No ha PermanecidoTotal Ha Permanecido No ha PermanecidoTotal Parcial Integral Total Parcial20,833,622,120,926,222,6 Integral79,266,477,979,173,877,4 Total (%)100,0 Parcial84,615,4100,062,937,1100,0 Integral91,48,6100,069,530,5100,0 Total (%)89,910,1100,068,032,0100,0

Permanencia/deserción Definición 1Definición 2 impacto error padronimpacto error padron Total-8.2*** *** Hombre -9.6 *** *** Mujer -7.4 *** *** Grupo con Reserva de Vagas para Etnias *** *** Grupo sin Reserva de Vagas para Etnias -6.8 *** *** 0.005

Definición 1Definición 2 impacto error padronimpactoerro padron Computación-13.3 *** ***0.019 Normal Superior-8.5 *** Derecho-9.1 *** ***0.017 Ed. Física ***0.031 Psicología-8.7 *** ***0.031 Permanencia/deserción

Desempeño Académico Base de Datos: ENADE , ENEM Variable de Tratamiento: Becario ProUni Variable de Interés: puntuación en el ENADE

Desempeño Académico Metodología: Regresión con ponderación por escore de propensión Efecto promedio del tratamiento sobre los tratados

Desempeño ConcluyentesIniciantes impacto error padronimpacto error padron Total ***0.28 Hombres ***0.40 Mujeres ***0.30 Blanco ***0.36 Non Blanco ***0.31

Evaluación de la Educación Profesional

Cuestiones de auditoría 1.¿Qué factores pueden estar afectando la oferta de servicios educacionales de cualidad? 2.¿ Cuál es la eficacia de las políticas de combate a la deserción? 3.¿ Cuál es la eficacia de las estrategias de inserción profesional realizadas por los Institutos Federales? 4.¿ Qué factores afectan la producción de investigación e innovación hecha por los Institutos Federales?

Metodología 1.Visitas de equipos de auditoría a ocho Institutos Federales (IFRS, IFSP, IFRJ, IFES, IFMG, IFSPE, IFPE, IFRN) – Entrevistas con pro-rectores e directores de campus – Grupos focales con profesores – Aplicación de cuestionarios a los estudiantes (n = 2970) 2.Investigación electrónica – Profesores (n = 3717) – Pro-rectores de enseñanza (n = 27) – Pro-rectores de investigación e pro-rectores de extensión (n = 45) 3.Requisición de informaciones a la SETEC (Secretaría de Educación Tecnológica) y a sus Institutos 4.Análisis documental (documentos oficiales, artículos científicos) 5.Uso de bases de datos oficiales (Examen Nacional de Enseñanza Media- ENEM), Censos da Educación)

Factores de riesgo a la cualidad de la educación profesional

Hallazgo 1 – Los Institutos Federales enfrentan dificultades para seleccionar y mantener sus servidores. Principales evidencias: Retardo en el proveimiento de cargos tras la aprobación de los candidatos en las oposiciones: – Pro-rectores de todos los ocho Institutos Federales visitados confirmaran que el retardo por motivación burocrática en el proveimiento tempestivo de los cargos. Existen dificultades para la fijación de servidores en escuelas de ciudades distantes de los grandes centros urbanos y con infraestructura precaria. – 61% de los pro-rectores de enseñanza e investigación confirman eso; – 64% de los pro-rectores de enseñanza creen que la carencia de profesores calificados en la región de sus escuelas dificultan el proveimiento de los cargos de profesores; – 32% de los profesores de las escuelas inauguradas en 2011 están insatisfechos con su localización.

Hallazgos 2 – La oferta y a cualidad de los cursos de formación de docentes es insuficiente y presenta poca eficacia. Principales evidencias: Más del 80% de los pro-rectores y de los profesores encuestados están de acuerdo en que los nuevos estudiantes presentan déficits educacionales que dificultan el aprendizaje de los contenidos enseñados; En la opinión del 77,1% de los profesores, esos déficits dificultan la actuación del profesor en clase; Apenas 21% de los profesores escuchados participaran de cursos de formación pedagógica; A 66% de esos profesores les gustaría tener acceso a formación pedagógica; 1/3 de los pro-rectores de enseñanza confirma que non hubo oferta de cursos entre los años de 2009 y 2011; 39% de los participantes están satisfechos con la calidad de los cursos.

Hallazgo 3 – Cantidad insuficiente de bibliotecas, computadoras, salas de aula e de laboratorios en condiciones adecuadas al enseñanza. Principales evidencias: Equipos de las regionales detectaran, en la mayor parte de los Institutos Federales visitados, problemas en la calidad de las instalaciones y equipos. 52% de los profesores no están satisfechos con la infraestructura (75% en las escuelas más nuevos).

Análisis de las Políticas de Combate a la deserción

Análisis y Evidencias ConcluídoEvadidoTransferencía Interna Transferencía Externa ReprovadoEn Curso Tabla: variables de Sistec (categorías en que los estudiantes se pueden clasificar) Las variables existentes en el Sistec non permiten conocer las características educacionales y socioeconómicas de los estudiantes que serían necesarias para la construcción de estrategias de combate a la deserción.

Análisis y Evidencias Obs Año Alumno/a José Martins Maria Silva Coef. de Rend. 3 3, ,5 …Renta Los dos grandes grupos son: a) factores individuales; b) factores institucionales. a.Factores individuales relevantes: a) coeficiente de rendimiento; b) cantidad de retención; c) características sociales y demográficas dos alumnos (edad, etnia, actividad etc); b.Factores institucionales relevantes: a) renta; b) estructura das familias; c) escolaridad de los padres. c) recursos de infraestructura existente en las escuelas etc;

Análisis sobre las Políticas de Inserción Profesional

¿Cuál es la eficacia de las estrategias de inserción profesional realizadas por los Institutos? Realización esporádica y poco articulada de acompañamiento de los estudiantes egresos; Potencial de fomento del número de incubadoras de empresas y de empresas junior; Potencial de aumento en el número de entrenamientos en empresas. Muchas escuelas de educación profesional creen que su papel se limita a la enseñanza, de ese modo non concenden mucha importancía a las políticas de inserción profesional. Perdida de cualidad en la educación; Menor número de estudiantes empeados Menor desarrollo del empreendedorismo.

Investigación y Extensión

¿ Qué factores influencian la producción de investigaciones y de innovación por parte de los Institutos Federales? Las actividades de investigación aún non se encuentran bien integradas a las actividades de extensión. Ausencia de estímulos claros para que los proyectos de extensión vengan a generar cuestiones para las línea de investigación, así como para que los proyectos de investigación vengan a generar resultados para los proyectos de extensión. Generación de líneas de investigación poco sintonizadas con las necesidades socioeconómicas locales y regionales. Ausencia de beneficios claros de corto e medio plazos.

¿ Cuáles son las dificultades de hacer alianzas con el sector productivo? Dificultades para hacer alianzas con el sector productivo y otras instituciones. Poco conocimiento de la legislación, de los tramites y de los instrumentos legales para formalización de esas alianzas P erdida de oportunidad de recibir donaciones, de compartir técnicos e instalaciones y de recibir recursos financieros para las actividades de investigación e innovación.