LA NUEVA GENERACIÓN DE LOS EGEL: CARACTERÍSTICAS, VENTAJAS Y CONDICIONES DE USO Jorge Hernández Uralde Director General Adjunto de los EGEL Centro Nacional de Evaluación para la Educación Superior, A.C. (Ceneval) Dirección General Adjunta de los EGEL. 6 de diciembre de 2007 Campeche, Campeche

CONTENIDO Los Exámenes Generales para el Egreso de la Licenciatura Propósito Características Alcance Datos sobre su expansión Delimitación de contenido Revisión y actualización de los EGEL en operación Justificación Enfoque metodológico La nueva Generación de los EGEL Ventajas Condiciones para su adecuada aplicación Interpretación de resultados Resumen

Los Exámenes de Egreso de Licenciaturas La revisión y actualización de los EGEL en operación La nueva generación de EGEL PROPÓSITO DEL EGEL El EGEL es una prueba nacional, especializada por carrera profesional, que tiene como objetivo… Identificar la medida en que los egresados de la Licenciatura cuentan con los conocimientos y habilidades esenciales para el inicio del ejercicio profesional en el país.

CARACTERÍSTICAS DEL EGEL Los Exámenes de Egreso de Licenciaturas La revisión y actualización de los EGEL en operación La nueva generación de EGEL CARACTERÍSTICAS DEL EGEL ATRIBUTO DEFINICIÓN Especializado por carrera profesional Considera las particularidades de contenido y enfoque de una formación profesional particular. No incluye conocimientos y habilidades profesionales genéricos. De alcance nacional Considera los aspectos esenciales de la formación profesional. No está referido a un currículo en particular. Estandarizado Cuenta con reglas fijas de diseño, elaboración, aplicación y calificación. Criterial Se diseña con referencia a un estándar de desempeño preestablecido. De máximo esfuerzo Permite establecer el nivel de rendimiento del sustentante, sobre la base de que éste hace su mejor esfuerzo al sustentar la prueba. Objetiva Tiene criterios de calificación unívocos y precisos, lo cual permite su automatización. Sensible a la instrucción Evalúa resultados de aprendizaje de programas de formación profesional, los cuales son una consecuencia de la experiencia educativa.

Los Exámenes de Egreso de Licenciaturas La revisión y actualización de los EGEL en operación La nueva generación de EGEL ALCANCE DEL EGEL Con el uso continuo y sistemático del EGEL se espera poder contar con información válida y confiable que contribuya a establecer, fundamentalmente, tres aspectos: El grado de idoneidad de cada egresado con respecto a un estándar de formación nacional; El nivel de eficacia y pertinencia de los distintos programas y modalidades de formación profesional que administran las IES; Los indicadores de rendimiento a partir de los cuales, los organismos acreditadores respectivos, puedan identificar los méritos de cada programa de licenciatura en cada institución educativa.

EXPANSIÓN DE LOS EGEL Existen 33 EGEL en operación. Los Exámenes de Egreso de Licenciaturas La revisión y actualización de los EGEL en operación La nueva generación de EGEL EXPANSIÓN DE LOS EGEL Existen 33 EGEL en operación. El próximo año entrarán en operación tres más: Ciencias de la Comunicación Nutrición Biología En 2008 se iniciarán los estudios de factibilidad de otros seis exámenes. De 1994 a la fecha, más de 450, 000 egresados de la Licenciatura han sido evaluados por un EGEL.

EXPANSIÓN DE LOS EGEL Durante 2007: Los Exámenes de Egreso de Licenciaturas La revisión y actualización de los EGEL en operación La nueva generación de EGEL EXPANSIÓN DE LOS EGEL Durante 2007: Más de 80, 000 egresados sustentaron alguno de los 33 EGEL en operación. Representando cerca del 40% del total del egreso nacional de las Licenciaturas relacionadas con estos EGEL. Los sustentantes del EGEL provienen de más de 300 IES, públicas y privadas, de todas las entidades federativas del país. Un número importante de estas IES han establecido en sus reglamentos de exámenes y titulación, la sustentación y aprobación del EGEL como requisito previo para la titulación. 8

DELIMITACIÓN DEL CONTENIDO DE LOS EGEL EN OPERACIÓN Los Exámenes de Egreso de Licenciaturas La revisión y actualización de los EGEL en operación La nueva generación de EGEL DELIMITACIÓN DEL CONTENIDO DE LOS EGEL EN OPERACIÓN En la delimitación del contenido de la mayoría de los EGEL en operación, se puso en práctica una metodología, fundamentalmente, centrada en la oferta educativa de las IES. 1° Se identificaron los puntos en común de los perfiles profesionales de egreso y los contenidos de los planes de estudio de las licenciaturas; 2° De este conjunto de aspectos, se seleccionaron aquellos que se consideraron críticos para el ejercicio de cada profesión. 3° A partir de la importancia relativa de cada uno de estos aspectos, se determinó su peso específico en el examen. 4° A partir del nivel de profundidad con el que se estudian en la licenciatura, se determinó el nivel de complejidad cognitiva en que son evaluados.

DELIMITACIÓN DEL CONTENIDO DE LOS EGEL EN OPERACIÓN... Los Exámenes de Egreso de Licenciaturas La revisión y actualización de los EGEL en operación La nueva generación de EGEL DELIMITACIÓN DEL CONTENIDO DE LOS EGEL EN OPERACIÓN... Los supuestos que subyacen a este enfoque son: Los planes y programas de estudios de la licenciatura están relacionados con las necesidades del ejercicio profesional; Los contenidos de mayor importancia disciplinar o formativa suelen ser los que se comparten por los diferentes planes de estudios; La calidad académica y profesional de los integrantes de los Consejos Técnicos y su cuerpos auxiliares, garantiza que los contenidos finalmente seleccionados, refieran a conocimientos y habilidades críticos para el inicio del ejercicio profesional.

Los Exámenes de Egreso de Licenciaturas La revisión y actualización de los EGEL en operación La nueva generación de EGEL JUSTIFICACIÓN La principal responsabilidad de una agencia dedicada al desarrollo y operación de instrumentos de evaluación consiste en asegurar... que la validez y confiabilidad de éstos sea una constante, es decir, que midan lo que deben medir, con exactitud, durante el tiempo que se mantengan en operación. Por ello, están obligadas a realizar, periódicamente (óptimamente cada cinco años o seis años) la revisión y actualización de los instrumentos que operan.

JUSTIFICACIÓN … Los Exámenes de Egreso de Licenciaturas La revisión y actualización de los EGEL en operación La nueva generación de EGEL En el caso del CENEVAL y los EGEL, la importancia que tiene esta revisión y actualización se acrecienta, en virtud de que: Las profesiones y los planes de estudio de formación profesional, son campos dinámicos en constante transformación; Nos encontramos en una etapa de aceptación y uso generalizado de los EGEL por parte de las IES, públicas y privadas, de todo el país.

IMPLICACIONES INSTITUCIONALES Los Exámenes de Egreso de Licenciaturas La revisión y actualización de los EGEL en operación La nueva generación de EGEL Realizar la revisión y actualización de los EGEL en operación, implica la puesta en práctica de un complejo proceso, metodológico, técnico y de generación de consensos en el que participan... Más de 600 expertos de IES, colegios y asociaciones profesionales e instancias empleadoras de todo el país, que integran los Consejos Técnicos de los distintos EGEL. Miles de académicos y profesionistas en ejercicio, vinculados con las respectivas licenciaturas y carreras profesionales, que responderán una encuesta de validación sobre tareas profesionales.

ENFOQUE PARA LA REVISIÓN Y ACTUALIZACIÓN DEL CONTENIDO DE LOS EGEL Los Exámenes de Egreso de Licenciaturas La revisión y actualización de los EGEL en operación La nueva generación de EGEL Para fortalecer la objetividad del proceso de revisión y actualización de los EGEL en operación, se planteó seguir una metodología diferente: Centrada en la identificación de los puntos de encuentro entre la oferta educativa y los requerimientos del mundo del trabajo. Toma también en cuenta los puntos en común de los Currículos de la licenciaturas, pero teniendo un punto de partida distinto… la recuperación de lo que hacen las personas al enfrentar y resolver situaciones y problemas característicos de la profesión.

ENFOQUE PARA LA REVISIÓN Y ACTUALIZACIÓN DEL CONTENIDO DE LOS EGEL… Los Exámenes de Egreso de Licenciaturas La revisión y actualización de los EGEL en operación La nueva generación de EGEL Se requiere, progresivamente, especificar: El papel y las responsabilidades del profesionista en la sociedad en términos de funciones profesionales; Las actividades profesionales típicamente involucradas en cada función profesional, Las tareas que resultan críticas para el desarrollo de cada una de las actividades profesionales identificadas, De estas tareas críticas, aquellas que se abordan en la mayor parte de los currículos de las licenciaturas respectivas del país, Los conocimientos y habilidades que son esenciales para la adecuada realización de estas tareas profesionales.  

PROCEDIMIENTO PARA LA REVISIÓN Y ACTUALIZACIÓN DEL EGEL DETERMINAR Y ACOPIAR FUENTES DE INFORMACIÓN IDENTIFICAR LAS ACTIVIDADES RELACIONADAS CON LAS FUNCIONES PROFESIONALES SI DEFINIR FUNCIONES PROFESIONALES VALIDAR NO NO VALIDAR NO SI IDENTIFICAR LOS CONOCIMIENTOS Y LAS HABILIDADES IMPLICADOS EN LAS TAREAS SI DEFINIR LAS TAREAS CRÍTICAS DE CADA ACTIVIDAD VALIDAR VALIDAR SI NO DEFINIR OPERACIONALMENTE LOS CONOCIMIENTOS Y HABILIDADES SI VALIDAR ESTRUCTURA DEL EGEL NO

ENCUESTA PARA LA VALIDACIÓN SOCIAL DE LAS TAREAS PROFESIONALES Los Exámenes de Egreso de Licenciaturas La revisión y actualización de los EGEL en operación La nueva generación de EGEL Objetivos de la encuesta: Confirmar las tareas que deben ser consideradas para la delimitación del contenido del EGEL Determinar el peso específico que tendrán en el EGEL los conocimientos y habilidades implicados en cada tarea profesional Recoger sugerencias sobre tareas que deben ser contempladas para la delimitación del contenido del EGEL

ESPECIFICACIÓN DE REACTIVOS Los Exámenes de Egreso de Licenciaturas La revisión y actualización de los EGEL en operación La nueva generación de EGEL La especificación de un reactivo es… La descripción detallada de lo que se espera que el sustentante sea capaz de realizar como evidencia de que posee un conocimiento o habilidad cognitiva determinada. Incluye, como condición indispensable, la descripción, en términos observables, de dos aspectos: La acción que el sustentante debe ser capaz de realizar, en el contexto de la prueba. Las condiciones en las que se espera realice esta acción, en el contexto de la prueba.

ESPECIFICACIÓN DE REACTIVOS Los Exámenes de Egreso de Licenciaturas La revisión y actualización de los EGEL en operación La nueva generación de EGEL Para el caso del EGEL incluye también la descripción de un tercer aspecto fundamental: El papel y la importancia que tienen los conocimientos y habilidades cognitivas que se pretenden medir, en el contexto de la ejecución de la tarea profesional en la que están implicados. Esta descripción, constituye un referente muy importante para la elaboración de reactivos a partir de “casos” o problemas profesionales.

FASES DE CONSTRUCCIÓN Y MANTENIMIENTO Los Exámenes de Egreso de Licenciaturas La revisión y actualización de los EGEL en operación La nueva generación de EGEL FASES DE CONSTRUCCIÓN Y MANTENIMIENTO BRAE SII Ensamble versión piloto Estructura del examen Revisión editorial Revisión técnica Calibración piloto Especificación reactivo Revisión técnica Revisión técnica Ensamble versión operativa Elaboración reactivos Revisión editorial Migración Revisión técnica Revisión técnica Validación externa Calibración operativa Revisión estilo Revisión técnica Revisión técnica Mantenimiento de banco

FASES FINALES DEL PROCESO Los Exámenes de Egreso de Licenciaturas La revisión y actualización de los EGEL en operación La nueva generación de EGEL FASES FINALES DEL PROCESO Impresión de materiales Distribución de materiales Aplicación del examen Lectura hojas de respuesta Calificación de los sustentantes Elaboración de bases de datos Calibración de reactivos Establecimiento de puntos de corte y especificación niveles de desempeño Emisión de reportes

VENTAJAS DEL EGEL DE NUEVA GENERACIÓN Los Exámenes de Egreso de Licenciaturas La revisión y actualización de los EGEL en operación La nueva generación de EGEL VENTAJAS DEL EGEL DE NUEVA GENERACIÓN Su contenido se encontrará: Socialmente validado Definido en forma más precisa y detallada Orientado a determinar si los egresados son capaces de utilizar lo que han estudiado y aprendido en su licenciatura, en situaciones similares a las que enfrentarán en el ejercicio profesional Contarán con estándares de desempeño definidos en forma cualitativa, con base en los cuales, se podrá conocer... Qué problemas y situaciones es capaz de resolver un sustentante cuando alcanza un desempeño satisfactorio y cuales, cuando alcanza un desempeño sobresaliente.  

CONDICIONES DE APLICACIÓN Los Exámenes de Egreso de Licenciaturas La revisión y actualización de los EGEL en operación La nueva generación de EGEL CONDICIONES DE APLICACIÓN La potencialidad del EGEL de nueva generación está ligada al hecho de que se le utilice en forma apropiada. Se diseña y elabora como una prueba estandarizada, con el objeto de garantizar la comparabilidad de sus resultados: Siempre son iguales el dominio medido, las instrucciones, el formato, la tipografía de las preguntas y la forma de asignar las puntuaciones. Como se tienen diferentes preguntas en distintas versiones de la prueba, se utilizan procedimientos formales y estadísticos que garantizan que las versiones sean rigurosamente equivalentes para todos los sustentantes.

CONDICIONES DE APLICACIÓN Los Exámenes de Egreso de Licenciaturas La revisión y actualización de los EGEL en operación La nueva generación de EGEL CONDICIONES DE APLICACIÓN En su aplicación siempre son iguales los límites de tiempo, las restricciones y los materiales de apoyo que utiliza el sustentante. Sin embargo, hay un aspecto más sutil referido a las condiciones de aplicación que el Ceneval no controla: La motivación con la que el sustentante enfrenta la resolución de la prueba. Debe asegurarse que el sustentante al resolver la prueba haga su máximo esfuerzo. Para lo cual, es condición indispensable que… La IES usuaria, introduzca los incentivos necesarios, estableciendola como una evaluación de alto impacto en la vida académica del sustentante.

LA INTERPRETACIÓN DE LOS RESULTADOS Los Exámenes de Egreso de Licenciaturas La revisión y actualización de los EGEL en operación La nueva generación de EGEL LA INTERPRETACIÓN DE LOS RESULTADOS En las pruebas de evaluación educativas referidas a un criterio, como es el caso del EGEL, lo que se busca es: Comparar los resultados de una persona contra un patrón o estándar de desempeño, el cual… Refiere a un cambio educativo deseado o previsto Se define con independencia del puntaje obtenido por el conjunto de los sustentantes. En el caso del EGEL de nueva generación, este estándar invariablemente, estará referido a… El dominio que debe mostrar el sustentante respecto de conocimientos y habilidades que se consideran indispensables para iniciarse en el ejercicio de la profesión. .

INTERPRETACIÓN DE LOS RESULTADOS Los Exámenes de Egreso de Licenciaturas La revisión y actualización de los EGEL en operación La nueva generación de EGEL INTERPRETACIÓN DE LOS RESULTADOS El énfasis está en establecer categorías cualitativas más que diferencias cuantitativas entre los sustentantes. Se requiere establecer un punto de corte que permita identificar a partir de que puntaje el sustentante alcanza el estándar de desempeño No satisfactorio Satisfactorio Sobresaliente Las puntuaciones obtenidas, por tanto, permiten inferir los problemas y situaciones que el sustentante es capaz de resolver

LA INTERPRETACIÓN DE LOS RESULTADOS Los Exámenes de Egreso de Licenciaturas La revisión y actualización de los EGEL en operación La nueva generación de EGEL LA INTERPRETACIÓN DE LOS RESULTADOS Con el EGEL de nueva generación, en el caso de la evaluación del egresado, no es relevante: Conocer la posición relativa que éste ocupa en el continum de puntuaciones del total de personas que sustentaron la prueba. Es decir… Si se encuentra entre los últimos o los primeros en el continum de puntuaciones de la población evaluada o Si su puntuación se encuentra o no cerca de, por ejemplo, la media aritmética, la desviación estándar, un determinado percentil.

LA INTERPRETACIÓN DE LOS RESULTADOS Los Exámenes de Egreso de Licenciaturas La revisión y actualización de los EGEL en operación La nueva generación de EGEL LA INTERPRETACIÓN DE LOS RESULTADOS En la evaluación de los programas de licenciatura, uno de los principales indicadores de calidad los es, sin duda, el nivel de aprendizaje efectivo alcanzado por sus estudiantes y egresados. Por tanto, al utilizar el EGEL de nueva generación, lo relevante es: la proporción de egresados que logran alcanzar el estándar de desempeño. Lo irrelevante: la puntuación promedio obtenida por el conjunto de egresados.

INTERPRETACIÓN DE LOS RESULTADOS Los Exámenes de Egreso de Licenciaturas La revisión y actualización de los EGEL en operación La nueva generación de EGEL INTERPRETACIÓN DE LOS RESULTADOS En el caso de la comparación entre IES, lo relevante es: la proporción diferencial en que se ubican los egresados de las IES (equivalentes) en cada nivel de desempeño. Lo irrelevante: la posición relativa en que se ubican los egresados de cada IES a partir de sus puntuaciones promedio.

LA INTERPRETACIÓN DE LOS RESULTADOS Los Exámenes de Egreso de Licenciaturas La revisión y actualización de los EGEL en operación La nueva generación de EGEL LA INTERPRETACIÓN DE LOS RESULTADOS De cualquier forma, los resultados del EGEL no pueden considerarse, en ningún caso, como indicadores suficientes para obtener conclusiones absolutas sobre: la idoneidad profesional de un egresado o la calidad de un programa de formación profesional  

LA INTERPRETACIÓN DE LOS RESULTADOS Los Exámenes de Egreso de Licenciaturas La revisión y actualización de los EGEL en operación La nueva generación de EGEL LA INTERPRETACIÓN DE LOS RESULTADOS Entre otras cosas, porque no abarca la evaluación de aspectos relevantes de la formación de los egresados, tales como: Sus habilidades sociales, afectivas y motríces Sus valores Sus conocimientos y habilidades de tipo genérico Los resultados del EGEL deben verse, siempre, como indicadores complementarios de los demás que recojan las IES en su sistema de evaluación institucional.  

LA INTERPRETACIÓN DE LOS RESULTADOS Los Exámenes de Egreso de Licenciaturas La revisión y actualización de los EGEL en operación La nueva generación de EGEL LA INTERPRETACIÓN DE LOS RESULTADOS Para poder hacer inferencias válidas respecto de la calidad de un programa con base en los resultados del EGEL se requiere, además, contar con los resultados de: El conjunto de egresados del programa o Una muestra representativa de ellos

A MANERA DE RESUMEN Realizar la revisión y actualización de los EGEL en operación, es una responsabilidad insoslayable del Ceneval que implica la puesta en práctica de un complejo proceso en el que participa una gran cantidad de representantes y expertos de las IES y colegios profesionales y profesionistas en ejercicio. Los EGEL de nueva generación, producto de este proceso: Representan un avance importante respecto a los vigentes, en virtud de que su contenido se encontrará validado socialmente, definido con mayor precisión y orientado a determinar si los egresados son capaces de utilizar lo que han estudiado y aprendido en su licenciatura, en situaciones similares a las que enfrentarán en el ejercicio profesional. Serán herramientas de evaluación sumamente poderosas, siempre y cuando se les utilice y sus resultados se interpreten en consonancia con los propósitos y supuestos teórico - metodológicos con base en los cuales se les diseña y elabora.

Jorge Hernández Uralde Director General Adjunto de los EGEL GRACIAS Jorge Hernández Uralde Director General Adjunto de los EGEL jorge.hernandez@ceneval.edu.mx