LOS INFORMES DE RESULTADOS DE LOS EGEL COMO HERRAMIENTA DE RETROALIMENTACIÓN PARA LAS IES: CONTENIDO Y POSIBILIDADES DE USO. Laura Delgado Maldonado.

Presentación del tema: "LOS INFORMES DE RESULTADOS DE LOS EGEL COMO HERRAMIENTA DE RETROALIMENTACIÓN PARA LAS IES: CONTENIDO Y POSIBILIDADES DE USO. Laura Delgado Maldonado."— Transcripción de la presentación:

1

2 LOS INFORMES DE RESULTADOS DE LOS EGEL COMO HERRAMIENTA DE RETROALIMENTACIÓN PARA LAS IES: CONTENIDO Y POSIBILIDADES DE USO. Laura Delgado Maldonado Departamento de Análisis Psicométrico Centro Nacional de Evaluación para la Educación Superior, A.C. (Ceneval) Dirección General Adjunta de los EGEL 06 y 07 de diciembre de 2007 Campeche, Campeche

3 Programa de actividades
Sesión del 6 de diciembre Horario: 12:30-14:00hrs. Presentación y explicación de la lógica del trabajo para las dos sesiones (12:30-12:40) Ponencia (12:40-13:20) Sesión de preguntas y respuestas (13:20-13:40) Aplicación de cuestionario de opinión a las IES usuarias (13:40-14:00) Sesión del 7 de diciembre Horario: 9:30-12:30hrs. Bienvenida y explicación de la dinámica de la sesión (9:30-10:00) Análisis y valoración crítica de la visión y propuesta del Ceneval: Sugerencias y observaciones de las IES usuarias (10:00-12:00) Formulación de conclusiones (12:00-12:30)

4 Reportes de resultados Informe Anual Institucional Objetivos Características generales Descripción EGEL Resultados Datos descriptivos Variables de contexto y resultados en el EGEL Informes EGEL Nueva generación Reportes de EGEL Desde 1994, año en que se aplica por primera vez el EGEL, el Ceneval entrega: Un reporte individual de resultados para el sustentante. Un reporte global de resultados para la institución usuaria. Archivo electrónico de los resultados por institución usuaria. 4

5 Reportes global de resultados del EGEL para la IES de procedencia
Reportes de resultados Informe Anual Institucional Objetivos Características generales Descripción EGEL Resultados Datos descriptivos Variables de contexto y resultados en el EGEL Informes EGEL Nueva generación Reportes global de resultados del EGEL para la IES de procedencia 5

6 Archivo electrónico de resultados del EGEL para la IES de procedencia
Reportes de resultados Informe Anual Institucional Objetivos Características generales Descripción EGEL Resultados Datos descriptivos Variables de contexto y resultados en el EGEL Informes EGEL Nueva generación Archivo electrónico de resultados del EGEL para la IES de procedencia

7 Informe anual institucional
Reportes de resultados Informe Anual Institucional Objetivos Características generales Descripción EGEL Resultados Datos descriptivos Variables de contexto y resultados en el EGEL Informes EGEL Nueva generación Informe anual institucional Como parte del Compromiso institucional del Ceneval en proporcionar una atención esmerada a sus IES usuarias, en el 2006 se elaboraron por primera vez los Informes anuales institucionales de las 33 licenciaturas en las que se aplica el EGEL.

8 Informe anual institucional
Reportes de resultados Informe Anual Institucional Objetivos Características generales Descripción EGEL Resultados Datos descriptivos Variables de contexto y resultados en el EGEL Informes EGEL Nueva generación Informe anual institucional En total: Se entregaron informes a más de 300 IES y a más de 600 planteles. Para su elaboración se consideraron a 74,569 sustentantes, que representaron al 99.5% de la población total del 2006.

9 Informe anual institucional: acceso a través del minisitio de los EGEL
Reportes de resultados Informe Anual Institucional Objetivos Características generales Descripción EGEL Resultados Datos descriptivos Variables de contexto y resultados en el EGEL Informes EGEL Nueva generación Informe anual institucional: acceso a través del minisitio de los EGEL

10 Informe anual institucional: lineamientos
Reportes de resultados Informe Anual Institucional Objetivos Características generales Descripción EGEL Resultados Datos descriptivos Variables de contexto y resultados en el EGEL Informes EGEL Nueva generación Informe anual institucional: lineamientos La evaluación no es un fin en sí mismo, sino un medio. La evaluación tiene sentido si posibilita la elaboración de políticas educativas y programas que incrementen la calidad académica. Para diseñar y establecer políticas y programas eficaces deben realizarse inferencias válidas a partir de la información obtenida. El manejo de datos e información para formular juicios y valoraciones debe estar fundamentado técnicamente para poder tomar decisiones, establecer líneas de acción y políticas educativas.

11 Informe anual institucional: lineamientos
Reportes de resultados Informe Anual Institucional Objetivos Características generales Descripción EGEL Resultados Datos descriptivos Variables de contexto y resultados en el EGEL Informes EGEL Nueva generación Informe anual institucional: lineamientos La difusión de resultados debe considerar las características técnicas de la evaluación, que se derivan, a su vez, del propósito que persiguen. Por lo que no siempre es conveniente hacer juicios acerca de alumnos, instituciones académicas o sistemas escolares. Instrumentos de Medición: EGEL y Cuestionario de Contexto Generación de datos e Información general Inferencias y Conclusiones Diseño de programas y Políticas educativas

12 Informe anual institucional: objetivos
Reportes de resultados Informe Anual Institucional Objetivos Características generales Descripción EGEL Resultados Datos descriptivos Variables de contexto y resultados en el EGEL Informes EGEL Nueva generación Informe anual institucional: objetivos Proporcionar a las instituciones usuarias: Información descriptiva de la población sustentante (demográficas, socioeconómicas, entre otras). Información de los sustentantes respecto a su rendimiento en la prueba. Información respecto al conjunto de egresados de las distintas IES usuarias. Lo anterior con la finalidad de proporcionar elementos para la toma de decisiones respecto a programas y políticas educativas.

13 Informe anual institucional: características generales
Reportes de resultados Informe Anual Institucional Objetivos Características generales Descripción EGEL Resultados Datos descriptivos Variables de contexto y resultados en el EGEL Informes EGEL Nueva generación Informe anual institucional: características generales El informe cuenta con los siguientes apartados: Descripción del EGEL. Resultados en el EGEL, expresados en puntuaciones y en niveles de desempeño. Relación entre las variables de contexto y los resultados en el EGEL, considerando tanto los niveles de desempeño, como las puntuaciones obtenidas. Datos descriptivos de la población que sustentó el EGEL. Anexos en donde se presenta la información desagregada por IES de procedencia.

14 Descripción del EGEL: Atributos como instrumento de evaluación
Reportes de resultados Informe Anual Institucional Objetivos Características generales Descripción EGEL Resultados Datos descriptivos Variables de contexto y resultados en el EGEL Informes EGEL Nueva generación Descripción del EGEL: Atributos como instrumento de evaluación

15 Reportes de resultados Informe Anual Institucional Objetivos Características generales Descripción EGEL Resultados Datos descriptivos Variables de contexto y resultados en el EGEL Informes EGEL Nueva generación Resultados en el EGEL Los resultados de los sustentantes se presentan en dos vertientes: Resultados expresados en puntuaciones. Permiten identificar las áreas (o subáreas) de mayor dificultad para los egresados y que pueden estar representando un nodo crítico para alcanzar niveles de desempeño superiores a los observados. Resultados expresados en niveles de desempeño. Permiten establecer la proporción de egresados que en cada IES alcanzó un nivel de desempeño satisfactorio o sobresaliente, teniendo como referente adicional la forma como se distribuyó el conjunto de la población sustentante que presentó el EGEL.

16 Resultados expresados en puntuaciones
Reportes de resultados Informe Anual Institucional Objetivos Características generales Descripción EGEL Resultados Datos descriptivos Variables de contexto y resultados en el EGEL Informes EGEL Nueva generación Resultados expresados en puntuaciones

17 Resultados expresados en puntuaciones
Reportes de resultados Informe Anual Institucional Objetivos Características generales Descripción EGEL Resultados Datos descriptivos Variables de contexto y resultados en el EGEL Informes EGEL Nueva generación Resultados expresados en puntuaciones

18 Resultados expresados en Niveles de desempeño
Reportes de resultados Informe Anual Institucional Objetivos Características generales Descripción EGEL Resultados Datos descriptivos Variables de contexto y resultados en el EGEL Informes EGEL Nueva generación Resultados expresados en Niveles de desempeño

19 Resultados por IES expresados en puntuaciones
Reportes de resultados Informe Anual Institucional Objetivos Características generales Descripción EGEL Resultados Datos descriptivos Variables de contexto y resultados en el EGEL Informes EGEL Nueva generación Resultados por IES expresados en puntuaciones

20 Resultados por IES expresados en Niveles de desempeño
Reportes de resultados Informe Anual Institucional Objetivos Características generales Descripción EGEL Resultados Datos descriptivos Variables de contexto y resultados en el EGEL Informes EGEL Nueva generación Resultados por IES expresados en Niveles de desempeño

21 Datos descriptivos Datos sociodemográficos: Estado civil.
Reportes de resultados Informe Anual Institucional Objetivos Características generales Descripción EGEL Resultados Datos descriptivos Variables de contexto y resultados en el EGEL Informes EGEL Nueva generación Datos descriptivos Datos sociodemográficos: Sexo. Estado civil. Lengua materna. Edad. Ingresos económicos: Ingreso personal. Ingreso familiar.

22 Datos descriptivos Condición laboral de los sustentantes que trabajan:
Reportes de resultados Informe Anual Institucional Objetivos Características generales Descripción EGEL Resultados Datos descriptivos Variables de contexto y resultados en el EGEL Informes EGEL Nueva generación Datos descriptivos Condición laboral de los sustentantes que trabajan: Tipo de organización en que trabaja. Sector económico en el que trabaja. Horas de trabajo a la semana. Tipo de trabajo. Puesto o cargo que desempeña. Relación del empleo con sus estudios de licenciatura. Motivos por los cuales NO trabajan los sustentantes.

23 Datos descriptivos Escolaridad de los sustentantes:
Reportes de resultados Informe Anual Institucional Objetivos Características generales Descripción EGEL Resultados Datos descriptivos Variables de contexto y resultados en el EGEL Informes EGEL Nueva generación Datos descriptivos Escolaridad de los sustentantes: Modalidad de la licenciatura. Años en que concluyó sus estudios de licenciatura. Promedio en licenciatura. Estudios posteriores a la licenciatura. Escolaridad de los padres: Nivel máximo de estudios de la madre. Nivel máximo de estudios del padre.

24 Datos descriptivos Datos descriptivos n=8,021 Reportes de resultados
Informe Anual Institucional Objetivos Características generales Descripción EGEL Resultados Datos descriptivos Variables de contexto y resultados en el EGEL Informes EGEL Nueva generación Datos descriptivos n=8,021

25 Variables de contexto y resultados en el EGEL
Reportes de resultados Informe Anual Institucional Objetivos Características generales Descripción EGEL Resultados Datos descriptivos Variables de contexto y resultados en el EGEL Informes EGEL Nueva generación Variables de contexto y resultados en el EGEL Otro de los apartados que constituyen los informes es el referente a la relación entre las variables de contexto y los resultados en el EGEL. Las variables de contexto que se exploraron son: Sexo. Promedio en la licenciatura. Edad. Escolaridad de los padres. Condición laboral: trabaja o no trabaja. Ingreso familiar y/o personal.

26 Variables de contexto y resultados en el EGEL
Reportes de resultados Informe Anual Institucional Objetivos Características generales Descripción EGEL Resultados Datos descriptivos Variables de contexto y resultados en el EGEL Informes EGEL Nueva generación Variables de contexto y resultados en el EGEL Sustentantes desagregados por el promedio en licenciatura en niveles de desempeño.

27 Variables de contexto y resultados en el EGEL
Reportes de resultados Informe Anual Institucional Objetivos Características generales Descripción EGEL Resultados Datos descriptivos Variables de contexto y resultados en el EGEL Informes EGEL Nueva generación Variables de contexto y resultados en el EGEL

28 Los informes anuales institucionales en la nueva generación de EGEL
Reportes de resultados Informe Anual Institucional Objetivos Características generales Descripción EGEL Resultados Datos descriptivos Variables de contexto y resultados en el EGEL Informes EGEL Nueva generación Los informes anuales institucionales en la nueva generación de EGEL Los informes buscan enfatizar: Que la información proporcionada sea útil para el diseño de políticas educativas por parte de las instituciones. Más explícitos con respecto a las conclusiones e inferencias pertinentes. La información en términos cualitativos más que cuantitativos, lo cual conlleva a una distinta aproximación de análisis estadístico de la información.

29 Los informes anuales institucionales en la nueva generación de EGEL
Reportes de resultados Informe Anual Institucional Objetivos Características generales Descripción EGEL Resultados Datos descriptivos Variables de contexto y resultados en el EGEL Informes EGEL Nueva generación Los informes anuales institucionales en la nueva generación de EGEL Dado el énfasis en lo cualitativo sobre lo cuantitativo se plantea el uso de la estadística no-paramétrica, como una aproximación más idónea para el análisis de este tipo de datos, ya que las pruebas no paramétricas: Pueden utilizarse independientemente de cómo se distribuyen los datos. Pueden emplearse tanto para muestras grandes como para muestras muy pequeñas. Son más convenientes para datos categóricos.

30 Los informes anuales institucionales en la nueva generación de EGEL
Reportes de resultados Informe Anual Institucional Objetivos Características generales Descripción EGEL Resultados Datos descriptivos Variables de contexto y resultados en el EGEL Informes EGEL Nueva generación Los informes anuales institucionales en la nueva generación de EGEL Existe por lo menos una prueba no-paramétrica equivalente a una prueba paramétrica. Estas pruebas se pueden clasificar en varias categorías: - Pruebas de diferencias entre grupos. - Pruebas de diferencias entre variables. - Pruebas de relaciones entre variables.

31 Los informes anuales institucionales en la nueva generación de EGEL
Reportes de resultados Informe Anual Institucional Objetivos Características generales Descripción EGEL Resultados Datos descriptivos Variables de contexto y resultados en el EGEL Informes EGEL Nueva generación Los informes anuales institucionales en la nueva generación de EGEL Estas pruebas nos permiten contestarnos las siguientes preguntas: Pruebas de diferencias entre grupos ¿Difieren en sus resultados: hombres y mujeres, escuelas públicas y particulares? Pruebas de diferencias entre variables ¿Difieren en sus resultados: los que tienen padre o madre con mayor nivel educativo? Pruebas de relaciones entre variables ¿Están relacionadas las variables de capital cultural y nivel socioeconómico?

32 Los informes anuales institucionales en la nueva generación de EGEL
Reportes de resultados Informe Anual Institucional Objetivos Características generales Descripción EGEL Resultados Datos descriptivos Variables de contexto y resultados en el EGEL Informes EGEL Nueva generación Los informes anuales institucionales en la nueva generación de EGEL El énfasis de la nueva generación de los EGEL es establecer categorías cualitativas más que diferencias cuantitativas entre los sustentantes. No satisfactorio Satisfactorio Sobresaliente Es poder decir qué caracteriza a los sustentantes que se encuentran en un determinado nivel de desempeño.

33 Los informes anuales institucionales en la nueva generación de EGEL
Reportes de resultados Informe Anual Institucional Objetivos Características generales Descripción EGEL Resultados Datos descriptivos Variables de contexto y resultados en el EGEL Informes EGEL Nueva generación Los informes anuales institucionales en la nueva generación de EGEL Los informes de la nueva generación de EGEL enfatizarán: Aspectos cualitativos de los sustentantes (niveles de desempeño). Los inferencias adecuadas a partir del tipo de datos obtenidos. El uso de la estadística no paramétrica.

34 Laura Delgado Maldonado Departamento de Análisis Psicométrico
GRACIAS Laura Delgado Maldonado Departamento de Análisis Psicométrico