Presentación – Auditoría de Rendimientos Experiencias de Brasil Melchior Sawaya Neto Auditor Federal de Control Externo.

Presentación del tema: "Presentación – Auditoría de Rendimientos Experiencias de Brasil Melchior Sawaya Neto Auditor Federal de Control Externo."— Transcripción de la presentación:

1 Presentación – Auditoría de Rendimientos Experiencias de Brasil Melchior Sawaya Neto Auditor Federal de Control Externo

2 Evaluación de los impactos del Programa de Becas para la Enseñanza Superior

3 Cadena de resultados –Sistema de evaluación de resultados del Programa de Becas Insumos (Cuales recursos utiliza el proyecto con la finalidad de generación de productos) Evaluadores de la cualidad de las universidades Evaluadores de las condiciones socioeconómicas de los potenciales beneficiarios de las becas (garantizar buena focalización) Actividades (Aquello que el proyecto realiza) Evalúa y monitorea universidades cadastradas; Evalúa y monitorea beneficiarios; Concede becas para los grupos con menor participación en la enseñanza superior. Productos (Outputs) (Aquello que el proyecto logra) Aumento en la oferta de vagas sin perder de vista la cualidad de la enseñanza. Resultados (Aquello que el proyecto altera en la vida del beneficiario)) Mayor accesibilidad y permanencia en la enseñanza superior de grupos necesitados. Más horas dedicadas a los estudios; Mejor desempeño escolar. Resultados a largo plazo (Aquello que el proyecto altera en la sociedad) Mayor productividad laboral de grupos con menor accesibilidad a la enseñanza superior; Mayor equidad en la sociedad. Auditoría de Rendimientos Tradicional Resultados Implementación Auditoria de Rendimientos Centrada en Resultados Programa Universidad para Todos (ProUni)

4 Accesibilidad ¿El programa de becas aumenta la probabilidad de ingreso en la enseñanza superior? Permanencia/deserción ¿ El programa de becas disminuye la probabilidad de deserción? Desempeño Académico ¿ El programa de becas mejora el desempeño académico del estudiante?

5 Accesibilidad Base de Datos: SisProuni 2005, Enem (Examen Nacional de Enseñanza Media) 2002 - 2005 Variable de Tratamiento: – ¿ recibió o no oferta de beca? Variable de Interés: – ¿ ingresó en la enseñanza superior?

6 Accesibilidad Metodología: Regresión Discontinua Consiste en evaluar el impacto del programa de becas en la frontera de los criterios de elegibilidad (p. ej. 45 puntos en el Enem) Efecto Promedio del Tratamiento Local

7 Accesibilidad

8 Reserva de vagas para etnias Impacto (p.p) error padrónObs.Intervalo de Conf. Total38.5***0.0381144044.450.6 Mujer39.1***0.026394041.646.0 Hombre37.7***0.049581443.852.9 Sin reservas de vagas para etnias Total28.0***0.023506143.746.3 Mujer28.0***0.034256244.346.3 Hombre28.7***0.041170842.745.7

9 Permanencia/deserción Base de Datos: SisProuni 2005, Enem 2002 - 2004 Variable de Tratamiento: Beca Integral vs Beca Parcial

10 Permanencia/deserción Metodología: Regresión con Reponderación por Escore de Propensión Efecto promedio del Tratamiento sobre los Tratados

11 Permanencia/deserción Definición 1Definición 2 Ha Permanecido No ha PermanecidoTotal Ha Permanecido No ha PermanecidoTotal Parcial8.2991.5159.8148.6375.09713.734 Integral31.6572.99534.65232.64714.33646.983 Total39.9564.51044.46641.28419.43360.717 Parcial20,833,622,120,926,222,6 Integral79,266,477,979,173,877,4 Total (%)100,0 Parcial84,615,4100,062,937,1100,0 Integral91,48,6100,069,530,5100,0 Total (%)89,910,1100,068,032,0100,0

12 Permanencia/deserción Definición 1Definición 2 impacto error padronimpacto error padron Total-8.2***0.003 -8.0 *** 0.004 Hombre -9.6 *** 0.006 -9.1 *** 0.006 Mujer -7.4 *** 0.004 -7.3 *** 0.005 Grupo con Reserva de Vagas para Etnias -10.7 *** 0.006 -9.8 *** 0.006 Grupo sin Reserva de Vagas para Etnias -6.8 *** 0.004 -6.9 *** 0.005

13 Definición 1Definición 2 impacto error padronimpactoerro padron Computación-13.3 *** 0.018-11.1***0.019 Normal Superior-8.5 *** 0.0141.30.015 Derecho-9.1 *** 0.015-16.3***0.017 Ed. Física-3.00.02715.5***0.031 Psicología-8.7 *** 0.025-14.8***0.031 Permanencia/deserción

14 Desempeño Académico Base de Datos: ENADE 2006 2007, ENEM 2002 - 2006 Variable de Tratamiento: Becario ProUni Variable de Interés: puntuación en el ENADE

15 Desempeño Académico Metodología: Regresión con ponderación por escore de propensión Efecto promedio del tratamiento sobre los tratados

16 Desempeño ConcluyentesIniciantes impacto error padronimpacto error padron Total0.050.531.40***0.28 Hombres-1.450.901.35***0.40 Mujeres0.800.651.44***0.30 Blanco0.161.001.07***0.36 Non Blanco-0.010.671.73***0.31

17 Evaluación de la Educación Profesional

18 Cuestiones de auditoría 1.¿Qué factores pueden estar afectando la oferta de servicios educacionales de cualidad? 2.¿ Cuál es la eficacia de las políticas de combate a la deserción? 3.¿ Cuál es la eficacia de las estrategias de inserción profesional realizadas por los Institutos Federales? 4.¿ Qué factores afectan la producción de investigación e innovación hecha por los Institutos Federales?

19 Metodología 1.Visitas de equipos de auditoría a ocho Institutos Federales (IFRS, IFSP, IFRJ, IFES, IFMG, IFSPE, IFPE, IFRN) – Entrevistas con pro-rectores e directores de campus – Grupos focales con profesores – Aplicación de cuestionarios a los estudiantes (n = 2970) 2.Investigación electrónica – Profesores (n = 3717) – Pro-rectores de enseñanza (n = 27) – Pro-rectores de investigación e pro-rectores de extensión (n = 45) 3.Requisición de informaciones a la SETEC (Secretaría de Educación Tecnológica) y a sus Institutos 4.Análisis documental (documentos oficiales, artículos científicos) 5.Uso de bases de datos oficiales (Examen Nacional de Enseñanza Media- ENEM), Censos da Educación)

20 Factores de riesgo a la cualidad de la educación profesional

21 Hallazgo 1 – Los Institutos Federales enfrentan dificultades para seleccionar y mantener sus servidores. Principales evidencias: Retardo en el proveimiento de cargos tras la aprobación de los candidatos en las oposiciones: – Pro-rectores de todos los ocho Institutos Federales visitados confirmaran que el retardo por motivación burocrática en el proveimiento tempestivo de los cargos. Existen dificultades para la fijación de servidores en escuelas de ciudades distantes de los grandes centros urbanos y con infraestructura precaria. – 61% de los pro-rectores de enseñanza e investigación confirman eso; – 64% de los pro-rectores de enseñanza creen que la carencia de profesores calificados en la región de sus escuelas dificultan el proveimiento de los cargos de profesores; – 32% de los profesores de las escuelas inauguradas en 2011 están insatisfechos con su localización.

22 Hallazgos 2 – La oferta y a cualidad de los cursos de formación de docentes es insuficiente y presenta poca eficacia. Principales evidencias: Más del 80% de los pro-rectores y de los profesores encuestados están de acuerdo en que los nuevos estudiantes presentan déficits educacionales que dificultan el aprendizaje de los contenidos enseñados; En la opinión del 77,1% de los profesores, esos déficits dificultan la actuación del profesor en clase; Apenas 21% de los profesores escuchados participaran de cursos de formación pedagógica; A 66% de esos profesores les gustaría tener acceso a formación pedagógica; 1/3 de los pro-rectores de enseñanza confirma que non hubo oferta de cursos entre los años de 2009 y 2011; 39% de los participantes están satisfechos con la calidad de los cursos.

23 Hallazgo 3 – Cantidad insuficiente de bibliotecas, computadoras, salas de aula e de laboratorios en condiciones adecuadas al enseñanza. Principales evidencias: Equipos de las regionales detectaran, en la mayor parte de los Institutos Federales visitados, problemas en la calidad de las instalaciones y equipos. 52% de los profesores no están satisfechos con la infraestructura (75% en las escuelas más nuevos).

24 Análisis de las Políticas de Combate a la deserción

25 Análisis y Evidencias ConcluídoEvadidoTransferencía Interna Transferencía Externa ReprovadoEn Curso Tabla: variables de Sistec (categorías en que los estudiantes se pueden clasificar) Las variables existentes en el Sistec non permiten conocer las características educacionales y socioeconómicas de los estudiantes que serían necesarias para la construcción de estrategias de combate a la deserción.

26 Análisis y Evidencias Obs 1 2 3 4 5 6 Año 2012 2013 2014 2012 2013 2014 Alumno/a José Martins Maria Silva Coef. de Rend. 3 3,5 4 3 4,5 …Renta 600 75 1200 15 1600 Los dos grandes grupos son: a) factores individuales; b) factores institucionales. a.Factores individuales relevantes: a) coeficiente de rendimiento; b) cantidad de retención; c) características sociales y demográficas dos alumnos (edad, etnia, actividad etc); b.Factores institucionales relevantes: a) renta; b) estructura das familias; c) escolaridad de los padres. c) recursos de infraestructura existente en las escuelas etc;

27 Análisis sobre las Políticas de Inserción Profesional

28 ¿Cuál es la eficacia de las estrategias de inserción profesional realizadas por los Institutos? Realización esporádica y poco articulada de acompañamiento de los estudiantes egresos; Potencial de fomento del número de incubadoras de empresas y de empresas junior; Potencial de aumento en el número de entrenamientos en empresas. Muchas escuelas de educación profesional creen que su papel se limita a la enseñanza, de ese modo non concenden mucha importancía a las políticas de inserción profesional. Perdida de cualidad en la educación; Menor número de estudiantes empeados Menor desarrollo del empreendedorismo.

29 Investigación y Extensión

30 ¿ Qué factores influencian la producción de investigaciones y de innovación por parte de los Institutos Federales? Las actividades de investigación aún non se encuentran bien integradas a las actividades de extensión. Ausencia de estímulos claros para que los proyectos de extensión vengan a generar cuestiones para las línea de investigación, así como para que los proyectos de investigación vengan a generar resultados para los proyectos de extensión. Generación de líneas de investigación poco sintonizadas con las necesidades socioeconómicas locales y regionales. Ausencia de beneficios claros de corto e medio plazos.

31 ¿ Cuáles son las dificultades de hacer alianzas con el sector productivo? Dificultades para hacer alianzas con el sector productivo y otras instituciones. Poco conocimiento de la legislación, de los tramites y de los instrumentos legales para formalización de esas alianzas P erdida de oportunidad de recibir donaciones, de compartir técnicos e instalaciones y de recibir recursos financieros para las actividades de investigación e innovación.