Priscila Guido García y Ricardo L. Hernández España

Presentación del tema: "Priscila Guido García y Ricardo L. Hernández España"— Transcripción de la presentación:

1 Priscila Guido García y Ricardo L. Hernández España
Conferencia Usos de la información: Informes anuales de resultados de los EGEL y reportes de resultados institucionales Priscila Guido García y Ricardo L. Hernández España Centro Nacional de Evaluación para la Educación Superior

2 Departamento de Análisis Psicométrico
Usos de la información: Informes anuales de resultados de los EGEL y reportes de resultados institucionales Dirección del Área de los Exámenes Generales para el Egreso de la Licenciatura Departamento de Análisis Psicométrico 21 de octubre de 2017 Monterrey, Nuevo León

3 Contenido El EGEL: herramienta eficaz para promover los procesos de mejora continua y el aseguramiento de la calidad en las IES Informes anuales de resultados y Reportes de resultados Detección de necesidades de información de las IES usuarias Descripción del proyecto Comentarios 3

4 El EGEL: herramienta eficaz para promover los procesos de mejora continua y el aseguramiento
de la calidad en las IES

5 Objetivo y alcance del EGEL
Identificar en que medida los egresados de la licenciatura cuentan con los conocimientos y habilidades que son esenciales para el inicio del ejercicio profesional en el país. Alcance: Provee información válida y confiable que contribuye a establecer, fundamentalmente, cuatro aspectos: El grado de idoneidad de cada egresado con respecto a un estándar de formación nacional; El nivel de eficacia de los programas que imparten las instituciones de educación superior (IES); Indicadores de rendimiento a partir de los cuales los organismos acreditadores respectivos pueden identificar los méritos de cada programa de licenciatura en cada IES. Acciones institucionales para mejorar los niveles de logro educativo de los estudiantes (mejora continua y aseguramiento de la calidad de los programas educativos). 5

6 EGEL en operación Arquitectura Biología Administración
Dirección de las Ciencias de la Vida y la Conducta Dirección de las Ciencias Sociales y las Humanidades Dirección de Diseño, Ingenierías y Arquitectura Arquitectura Ciencias Computacionales Diseño Gráfico Informática Ingeniería Civil Ingeniería Computacional Ingeniería de Software Ingeniería Eléctrica Ingeniería Electrónica Ingeniería en Alimentos Ingeniería Industrial Ingeniería Mecánica Ingeniería Mecánica-Eléctrica Ingeniería Mecatrónica Ingeniería Química Biología Ciencias Agrícolas Enfermería Medicina General Medicina Veterinaria y Zootecnia Nutrición Odontología Psicología Química Química Clínica Químico Farmacéutico Biólogo Administración Ciencia Política y Administración Pública Ciencias de la Comunicación Comercio/Negocios Internacionales Contaduría Derecho Economía Gastronomía Mercadotecnia Pedagogía Relaciones Internacionales Trabajo Social Turismo 6

7 EGEL aplicados ( ) En 2016 se aplicaron 14,670 exámenes en línea que representan 8.0% de las aplicaciones del año 1,598,546 (23 años)

8 Instituciones usuarias de los EGEL
8

9 Principales ventajas para las IES usuarias
El uso continuo y sistemático del EGEL permite a las IES usuarias: Comparar el nivel de desempeño de sus estudiantes con estándares de formación nacionales Valorar tendencias de efectividad de los programas educativos a lo largo del tiempo Identificar fortalezas y debilidades en los planes curriculares Desarrollar mejoras en los planes curriculares y en los procesos educativos Satisfacer requerimientos para la evaluación interinstitucional, la acreditación y la rendición de cuentas Determinar la elegibilidad de los estudiantes para estudios posteriores 9

10 Criterios que deben atenderse para hacer inferencias válidas sobre la calidad de un programa de licenciatura con base en los resultados del EGEL Debe garantizarse que se siguen siempre los mismos procedimientos y criterios de aplicación (límites de tiempo, restricciones y materiales de apoyo del sustentante). Debe asegurarse que el sustentante, al resolver la prueba, hace su máximo esfuerzo. (Para ello, es indispensable que la IES usuaria, introduzca los dispositivos necesarios para que los resultados en el examen tengan un alto impacto en la vida académica del sustentante) Debe poder contarse con los resultados del conjunto de egresados del programa de la licenciatura o de una muestra representativa de ellos. 10

11 Informes anuales de resultados y Reportes de resultados

12 Informes anuales de resultados
A partir de 2006 publican en el portal del Ceneval los Informes anuales de resultados de los EGEL, los cuales pueden descargarse de forma gratuita en: Objetivo: Proporcionar a las IES información relevante que les permita contrastar los resultados obtenidos por el conjunto de sus sustentantes, con los alcanzados por los sustentantes de otras IES y con el total de la población que sustentó el EGEL en el ámbito nacional.

13 Datos descriptivos de la población que sustentó el EGEL
13

14 Datos descriptivos de la población que sustentó el EGEL
Escolaridad de los padres 14

15 Datos descriptivos de la población que sustentó el EGEL
Bienes y servicios 15

16 Datos descriptivos de la población que sustentó el EGEL
Situación laboral n=2,955 n=7,680 n=2,957

17 Gráfica de distribución en Testimonios de Desempeño
Resultados en el EGEL En esta sección se presentan los resultados del total de la población que aplicó el EGEL durante el año, considerando los puntos de corte y los criterios para asignar los Testimonios de Desempeño Gráfica de distribución en Testimonios de Desempeño 17

18 Gráficas de distribución en Testimonios de desempeño por IES
Las IES se pueden identificar por medio de una clave. Los datos se ordenan considerando el porcentaje de Testimonios de desempeño obtenido. En una primera gráfica se muestran las IES que tuvieron 30 o más sustentantes durante el año y, posteriormente, en otra gráfica, las que tuvieron entre 10 y 29 sustentantes. Estas gráficas permiten a la IES tener una visión inmediata de su situación respecto al comportamiento de la población que en el ámbito nacional presentó el EGEL, así como el de otras IES usuarias. (Ejemplo: IES1090) IES 1090 (110) SIN TESTIMONIO TESTIMONIO DE DESEMPEÑO SATISFACTORIO TESTIMONIO DE DESEMPEÑO SOBRESALIENTE

19 Sección: Niveles de Desempeño alcanzados en cada una de las áreas
Resultados en el EGEL Sección: Niveles de Desempeño alcanzados en cada una de las áreas Comparativo de los niveles de desempeño alcanzados por el conjunto de sustentantes del EGEL por área de conocimiento Permite a la IES tener una visión inmediata de las áreas de oportunidad y fortaleza de las IES usuarias del EGEL en el ámbito nacional. 19

20 Gráficas de distribución en niveles de desempeño por IES
Resultados en el EGEL Gráficas de distribución en niveles de desempeño por IES Área 1 La presentación de los datos sigue la misma lógica que en las gráficas de distribución en Testimonios de desempeño: por un lado se grafican las IES con 30 o más sustentantes y, por el otro, las IES con entre 10 y 29 sustentantes. Con estas gráficas las IES pueden conocer rápidamente en qué áreas sus sustentantes están obteniendo mayores niveles de desempeño y en cuáles es necesario reforzar el conocimiento. Esta información puede servir como herramienta para llevar a cabo un estudio comparativo entre el plan de estudios de la IES y la estructura del EGEL (guía Ceneval), a fin de establecer procesos de mejora en la calidad educativa. 20

21 Variables de contexto y resultados en el EGEL
Ejemplo variable dicotómica: sexo del sustentante Las diferencias observadas en la proporción de sujetos clasificados en ST, TDS y TDSS suponen efectos asociados a las diferentes categorías o valores de las variables de contexto. 21

22 Variables de contexto y resultados en el EGEL
Ejemplo variable ordinal: promedio en la licenciatura 22

23 Encuesta de opinión y resultados en el EGEL
Ejemplo. El lenguaje utilizado en las preguntas es:

24 El Padrón EGEL y el Premio Ceneval
Se integra por programas de las IES que registran una proporción elevada de sus egresados con resultados satisfactorios o sobresalientes en el EGEL. El Ceneval, con base en los resultados alcanzados en la aplicación de los EGEL por el total de egreso (o una muestra representativa), identifica los programas educativos que se ubican dentro de los rangos definidos para alguno de los niveles considerados en el Padrón. Se otorga a los sustentantes que alcanzan el nivel de desempeño sobresaliente en todas y cada una de las áreas que conforman el EGEL que presentaron y, adicionalmente, cumplen con los siguientes requisitos: Ser la primera vez que presentan el EGEL Tener máximo 1 año de haber egresado de la licenciatura 24

25 Posibles resultados Sobresaliente Satisfactorio Sin Testimonio
Reporte individual de resultados Posibles resultados Sobresaliente Satisfactorio Sin Testimonio Dictamen general en el examen Satisfactorio Desempeño en cada área del examen Administración organizacional y gestión de la calidad Administración de las finanzas Administración de la mercadotecnia Administración de los recursos humanos DS ANS 1023 986 1025 1101

26 Reporte individual de resultados
(parte posterior) Desempeño satisfactorio Administración organizacional y gestión de la calidad: El sustentante es capaz de formular planes estratégicos organizacionales que incluyan la filosofía, visión, misión, objetivos y estrategias organizacionales óptimas. También puede identificar estructuras y modelos organizacionales, técnicas y herramientas de las distintas etapas del proceso administrativo, así como precisar los requerimientos de innovación tecnológica, estilos de liderazgo, mecanismos de comunicación y elementos clave para elevar la productividad y resultados en las organizaciones.

27 Reporte institucional (ordenamiento descendente)

28 Reporte institucional (clasificación por niveles de desempeño)
Desempeño en el examen Distribución de sustentantes por tipo de testimonio otorgado Sin Testimonio (ST) Testimonio de Desempeño Satisfactorio (TDS) Testimonio de Desempeño Sobresaliente (TDSS) 0.0% 40.0% 60.0% Áreas del examen Distribución de sustentantes por nivel de desempeño en cada área Aún No Satisfactorio Satisfactorio Sobresaliente Administración organizacional y gestión de la calidad 0.0% 20.0% 80.0% Administración de las finanzas 60.0% Administración de la mercadotecnia Administración de los recursos humanos 40.0%

29 Base de datos que se entrega a la IES
Identificación de la aplicación Identificación de la institución Identificación del sustentante Cuestionario de contexto Calificación del examen Variable I(Área 1) D(Área 1) I(Área 2) D(Área 2) I(Área 3) D(Área 3) I(Área 4) D(Área 4) DICTAMEN Descripción Índice Ceneval Área 1 Dictámen Área 1 Índice Ceneval Área 2 Dictámen Área 2 Índice Ceneval Área 3 Dictámen Área 3 Índice Ceneval Área 4 Dictámen Área 4 Testimonio de desempeño alcanzado en la prueba Valores ( ) ANS DS DSS Sin Testimonio Satisfactorio Sobresaliente Más de 70 columnas con datos socioeconómicos Columna Descripción I(área) Indica el valor del Índice Ceneval (ICNE) alcanzado en el área (Se reportan tantas columnas como áreas contiene la prueba) D(área) Indica el dictamen obtenido en el área. 1 = ANS 2 = DS 3 = DSS (Se reportan tantas columnas como áreas contiene la prueba) Dictamen Indica el desempeño (etiqueta) alcanzado en el examen 29

30 Detección de necesidades de información de las IES usuarias

31 Detección de necesidades
Contar con los resultados en un formato que les permita manejar los datos de acuerdo a sus necesidades. Disponer de los datos, lo más pronto posible, después las aplicaciones. Acceder a resultados que integren todas las aplicaciones de la IES (nacional y especiales). Diseño de un medio interactivo para la consulta de resultados de los egresados de las IES usuarias 31

32 Descripción del proyecto

33 Comunicación efectiva Ceneval-IES
Establecimiento de una alianza estratégica Designación de un enlace institucional Validación de campus y programas educativos de la IES Notificación oportuna de cambios en la IES (cambio de enlace institucional, alta o baja de campus, etc.) IES USUARIA DE LOS EGEL 33

34 ¡Gracias!