Panel de rectores uso de los resultados de los instrumentos Mtro. Itzcóatl Tonatiuh Bravo Padilla Rector General de la Universidad de Guadalajara Dr. Cipriano Sánchez García, L.C. Rector de la Universidad Anáhuac México Mtro. Rogelio G. Garza Rivera Rector de la Universidad Autónoma de Nuevo León Ing. Manuel Campuzano Treviño Rector de la Universidad Tecnológica de México

Panel de rectores uso de los resultados de los instrumentos Ing. Manuel Campuzano Treviño Rector de la Universidad Tecnológica de México

Utilización de resultados de instrumentos externos de evaluación en la Universidad Tecnológica de México Octubre, 2017

Contenido Beneficios de la evaluación externa mediante pruebas estandarizadas Usos de los resultados de la evaluación durante el ingreso, trayectoria y egreso de los estudiantes Buenas prácticas implementadas sobre la base de los resultados de los EXANI-II y EGEL Usos de la información derivada del cuestionario de contexto aplicada a los sustentantes de los EGEL Información adicional que se podría incorporar en los informes de resultados de las pruebas aplicadas por el CENEVAL Visión futura: necesidades en materia de evaluación educativa

1. Beneficios de la evaluación externa mediante pruebas estandarizadas Analizar el valor agregado que se da a los estudiantes de licenciatura, medido como la entrada del EXANI-II a la Universidad vs. los resultados de salida con los EGEL Análisis de contenidos mínimos que cada profesión debe tener en su plan de estudios (mapa curricular) Comparaciones internas entre campus para buscar diferencias en el desempeño de los egresados y analizar mejores prácticas académicas para mejorar el desempeño de los estudiantes

PORCENTAJE DEBAJO DE LA MEDIA NACIONAL Análisis histórico de resultados EXANI-II de ingreso a Licenciatura Media Nacional e ingreso a la UNITEC, 2013-16 Índice CENEVAL Diferencias Puntos -20 -25 -10 -47 PORCENTAJE DEBAJO DE LA MEDIA NACIONAL 2013 2014 2015 2016 -1.9% -2.4% -1% -4.6% Los alumnos que entran a licenciatura a la UNITEC han tenido resultados inferiores a la media nacional en 2013-16, los cuales varían entre -1 y - 4.6% respecto a la MN

Análisis histórico de resultados EGEL por niveles de desempeño satisfactorio (DS) y sobresaliente (DSS), Nacional y UNITEC, 2013-16 %DS+DSS Diferencias p.p. +7.5 +7.6 +5.7 +4.4 Porcentaje arriba de la media Nacional vs. aplicaciones cuatrimestrales media UNITEC % UNITEC vs. Nacional 14.5% 15.1% 9.1% 11.5% Los egresados de la UNITEC han tenido resultados superiores a la Media Nacional 2013-16, entre 9.1% y 14.5% respecto a la MN, lo que representa un valor agregado respecto al ingreso, medido con el EXANI-II

Ejemplo. Mapa curricular de la Licenciatura en Ingeniería en Ingeniería Industrial # Materias 1er año Materias 2° año Materias 3er año Materias 4° año 1er cuatrimestre 2° cuatrimestre 3er cuatrimestre 4° cuatrimestre 5° cuatrimestre 6° cuatrimestre 7° cuatrimestre 8° cuatrimestre 9° cuatrimestre 10° cuatrimestre 11° cuatrimestre 12° cuatrimestre 1 Álgebra superior aplicada Álgebra lineal aplicada Probabilidad y estadística Métodos numéricos Investigación de operaciones y optimización Desarrollo del talento humano (EGEL-IINDU) Estrategias y pronósticos para la toma de decisiones (EGEL-IINDU) Diseño del trabajo (EGEL-IINDU) Medición del trabajo (EGEL-IINDU) Formulación y evaluación de proyectos (EGEL-IINDU) Administración de proyectos industriales Seminario de ingeniería industrial y de sistemas (EGEL-IINDU) 2 Cálculo diferencial Cálculo integral Cálculo vectorial Ecuaciones diferenciales aplicadas Estadística aplicada y pronósticos (EGEL-IINDU) Planeación de la producción (EGEL-IINDU) Administración de inventarios (EGEL-IINDU) Administración de la capacidad (EGEL-IINDU) Logística (EGEL-IINDU) Logística avanzada (EGEL-IINDU) Planeación avanzada de la calidad (EGEL-IINDU) Emprendimiento e innovación en la industria 3 Estática Cinemática y dinámica Electricidad y magnetismo Estructura de la materia Termodinámica Electrónica Instrumentación y medición (EGEL-IINDU) Costos y presupuestos Sistemas de mantenimiento (EGEL-IINDU) Ingeniería de procesos industriales (EGEL-IINDU) Automatización y control en la era digital Administración de la cadena de suministro (EGEL-IINDU) 4 Modelos de gestión de negocios Ingeniería y tecnología de información Bases de datos para ingeniería Diseño por computadora Ingeniería de sistemas Diseño de instalaciones y productividad (EGEL-IINDU) Tecnología y manejo de materiales (EGEL-IINDU) Análisis de sistemas de manufactura (EGEL-IINDU) Tecnología digital para sistemas de manufactura (EGEL-IINDU) Diseño y simulación de sistemas de manufactura (EGEL-IINDU) Administración y prospectiva estratégica (EGEL-IINDU) Seguridad industrial (EGEL-IINDU) 5 Ciencia y técnica con humanismo Comunicación oral y escrita Ciudadanía y desarrollo sustentable Calidad y productividad en ingeniería (EGEL-IINDU) Ingeniería industrial en el siglo XXI Administración de operaciones industriales Materias que contienen algunos temas del EGEL de Ingeniería Industrial (EGEL-IINDU), el 46%

2. Usos de los resultados de la evaluación durante el ingreso, trayectoria y egreso de los estudiantes Medimos la situación de ingreso a licenciatura con el EXANI-II de los estudiantes externos, así como de los egresados de la Preparatoria UNITEC Respecto a la educación media superior, buscamos mejorar el desempeño de nuestros estudiantes en los estudios profesionales Al egreso de los estudiantes analizamos por plantel y modalidad el comportamiento de los egresados en las carreras donde hay EGEL Lo que hacemos no tiene un impacto

EXANI-II. Resultados por escuela de procedencia al ingreso a Licenciatura. 2016 M.N. 2016 (1,013) Total de inscritos en la UNITEC -47 puntos respecto M.N. (-4.6%) Proceden de otras Preparatorias -51 puntos respecto M.N. (-5.3%) 1,028 Proceden de Preparatoria UNITEC -2 puntos respecto M.N. (-0.2%) Media Preparatoria UNITEC 2016 -17 puntos respecto M.N. (-1.6%) Puntaje mínimo Media Teórica Puntaje máximo Sustentantes ICNE TOTAL ingreso a Licenciatura UNITEC 17,871 966 Otras Preparatorias 16,385 962 Preparatoria UNITEC 1,486 1,011

Resultados EGEL de la media Nacional vs Resultados EGEL de la media Nacional vs. media de los campus de la UNITEC, 2016 %DS+DSS 1,301 2,260 7,653 2,354 142 1,596 140,064 Sust. En el año 2016, todos los campus sin excepción se ubicaron por arriba de la media nacional Campus Toluca tuvo su primera aplicación en este año, con resultados superiores a la media nacional Nota: los datos “Nacional” provienen de los informes institucionales anuales del CENEVAL y los datos de la UNITEC de las aplicaciones cuatrimestrales

3. Buenas prácticas implementadas con base en los resultados de EXANI y EGEL La UNITEC ha desarrollado un Índice de Desempeño Académico para reconocer el trabajo académico de los directores y rectores, parte de este índice corresponde al desempeño en el EGEL de los alumnos por carreras y campus A través de este índice, se ha desarrollado una competencia sana que busca mejorar los estándares en los campus con base en ese indicador

El Indicador de Desempeño Académico (IDA) considera: Reconocimiento al Desempeño Académico [1/3] El Indicador de Desempeño Académico (IDA) considera: Reconocimiento a los directores académicos en todos los niveles y Rectores de campus Requisitos de elegibilidad (e.g. tener egresados, al menos dos períodos en la posición en el año de evaluación) La metodología de medición se basa en variables internas y externas ponderadas En 2016, se otorgó el reconocimiento a 13 de 110 directores académicos y rectores (el 11.8%) Tipo de evaluación Variables de evaluación (Director Académico) Peso Operación Académica (60%) Verificaciones académicas 20% Evaluación de profesores 10% Asistencia neta de profesores Retención 7.5% Evaluación del director por profesores (anual) 2.5% Evaluación del director por alumnos (anual) NPS (anual) Evaluaciones Externas (40%) Resultados EGEL 25% Inclusión en el padrón EGEL 15%

Reconocimiento al Desempeño Académico [2/3] Ejemplo: evaluación de un director de licenciatura Reporte de resultados de los directores en los tres ciclos de evaluación. Cálculo del promedio en cada variable y conversión a escala 1-100. Cálculo del valor ponderado de cada variable. Asignación de puntuaciones en función de resultados EGEL en las licenciaturas a cargo del director. Cálculo del Indicador de Desempeño Académico (IDA). Acomodo del ranking en orden descendente e identificación del primer lugar. OPERACIÓN ACADÉMICA (60%) EVALUACIONES EXTERNAS (40%) IDA Directores Académicos Verificaciones Académicas Evaluación de profesores % Asistencia neta de profesores Retención Evaluación por profesores Evaluación por alumnos Resultados NPS EGEL Padrón EGEL Ponderador 20 % 10 % 7.5 % 2.5 % 25 % 15 % 100% A 95.83 88.57 99.92 76.64 95.59 83.05 30.38 87.50 100.0 87.38 B 98.15 88.46 99.99 89.89 87.32 79.69 30.27 50.00 79.16 C 94.94 88.72 99.93 82.88 97.31 86.19 38.47 79.04 … J 85.05 88.97 99.79 87.90 86.22 77.62 23.49 37.50 72.71

Reconocimiento al Desempeño Académico [3/3] Reglas relacionadas con el EGEL 2016 Los resultados en el EGEL se toman en cuenta de acuerdo con la representatividad de sustentantes (mínimo 10 al año) y las carreras que presentan dicho examen Para Directores de Matemáticas, el cálculo del 40% de evaluaciones externas se realiza con el promedio simple del EGEL del campus de la UNITEC sin considerar el Padrón EGEL. En los resultados del EGEL se asignan puntos de acuerdo con las diferencias del resultado de aplicaciones internas por programa-campus del año a evaluar vs. los siguientes referentes: Resultado de aplicaciones internas por programa-campus del año anterior (2015) Media nacional por programa del año anterior (2015) Promedio de aplicaciones internas UNITEC por programa del año a evaluar (2016) Sumatoria de diferencias entre el resultado programa-campus actual vs. las referencias Escala De 1 a 10 puntos 25 puntos De 10.01 a 20 puntos 50 puntos De 20.01 a 30 puntos 75 puntos  Superior a 30 puntos 100 puntos Cuando un director tiene asignadas varias carreras con EGEL, la puntuación corresponde al promedio de las puntuaciones por carrera.

4. Usos de la información derivada del cuestionario de contexto aplicada a los sustentantes del EGEL Entendemos que la situación socioeconómica, la situación laboral y la escolaridad de los padres de los estudiantes influyen en su desempeño académico, entre otros factores Por ejemplo, observamos que los alumnos becados tienen un mejor desempeño, lo que los incentiva a la superación, debido a que la UNITEC otorga las becas por mérito

Desempeño de sustentantes por beca (Ej.: EGEL Administración) A nivel nacional los sustentantes becados o sin beca obtienen prácticamente el mismo resultado en el %DS+DSS En la UNITEC se observa una diferencia significativa entre los sustentantes becados, quienes obtienen 72.2% vs. 58.5% de los no becados

5. Información adicional que podría ser incorporada en los informes de las pruebas aplicadas por el CENEVAL Proveer información por modalidad de estudio (tradicional, ejecutiva, en-línea) Clasificar la información estadística que se proporciona en el Informe Anual de Resultados (Anexo I. Resultados en el EGEL en testimonios y niveles de desempeño) por entidad federativa y régimen Integrar la información que se proporciona a una herramienta de Business Intelligence (BI)

Informe Anual de Resultados 2016. EGEL-ADMON ANEXO I. RESULTADOS EN EL EGEL EN TESTIMONIOS Y NIVELES DE DESEMPEÑO Con la finalidad de realizar estudios comparativos por regiones es importante incorporar en las tablas de datos de los anexos dos columnas más para Entidad Federativa y Régimen

6. Visión futura: necesidades en materia de evaluación educativa [1/2] Actualizar los EGEL respecto a las nuevas tendencias de la profesión y las tecnologías. A medida que se acelera la Cuarta Revolución Industrial, las carreras de las IES deben actualizar sus contenidos y el CENEVAL, a su vez, debe efectuar una actualización oportuna de las pruebas El desarrollo y evaluación de competencias son tópicos complejos, por lo que entendemos las dificultades de medirlas bajo conceptos y criterios de evaluación estandarizados Es importante considerar la empleabilidad de los egresados, y brindar esta información a la sociedad y los prospectos a ingresar a la universidad

6. Visión futura: necesidades en materia de evaluación educativa [2/2] En la medición de la empleabilidad se debe valorar el retorno de la inversión (cuánto se invierte en la educación y cuál es su retorno) Los ingresos que van a percibir los alumnos en su futura carrera profesional, depende de muchos factores y del potencial de cada alumno; sin embargo, se puede hacer una medición de los primeros 3-5 años de empleo Una variable muy importante para la evaluación de la educación superior es la Movilidad Social, entendida como el ascenso de una persona respecto a su origen y sí misma. Las IES deben incorporarla para que la educación sea un catalizador en dicha movilidad social (ejemplo, el Social Mobility Index en EEUU)

% con ingresos por debajo de la media Donativos (en millones) Movilidad social en las universidades de Estados Unidos [1/2] El Índice de Movilidad Social (Social Mobility Index, SMI) se obtiene al evaluar: la educación entregada a los estudiantes económicamente más desfavorecidos (ingresos familiares por debajo de la media nacional); las colegiaturas anuales; el % de graduados; y el salario reportado 2.5 años después de que los estudiantes se gradúan Posición SMI Institución Ciudad Estado Colegiatura anual % con ingresos por debajo de la media % graduados Salario reportado Donativos (en millones) 1 135.275951 CUNY Bernard M Baruch College New York NY $6,561 40 65.5 $51,700 $156.34 2 111.945158 North Carolina A & T State University Greensboro NC $5,642 50 47.9 $50,500 $43.87 3 108.077433 Rowan University Glassboro NJ $12,616 61.3 66.6 $47,100 $171.06 4 98.827698 University of California-Irvine Irvine CA $13,179 38 86.4 $51,900 $310.16 5 94.205226 California State Polytechnic University-Pomona Pomona $6,904 38.5 56.3 $51,000 $86.64 6 92.116598 California State University-Fresno Fresno $6,299 53.7 52.3 $45,100 $153.54 7 92.050361 San Jose State University San Jose $7,323 33.5 51.6 $56,800 $119.27 8 89.549696 California State University-Long Beach Long Beach $6,452 39.4 65.1 $45,300 $57.05 9 87.227604 CUNY City College $6,389 53 44.1 $51,300 $264.61 10 82.48138 CUNY Queens College Queens $6,507 43.5 56.6 $45,700 $49.71 Fuente: 2016 Social Mobility Index. CollegeNET http://www.socialmobilityindex.org/

% con ingresos por debajo de la media Donativos (en millones) Movilidad social en las universidades de Estados Unidos [2/2] (Top 10 de mayor prestigio. US News National University Ranking1) Posición SMI Institución Ciudad Estado Colegiatura anual % con ingresos por debajo de la media % graduados Salario reportado Donativos (en millones) 469 15.872898 Massachusetts Institute of Technology Cambridge MA $45,016 10.5 91.3 $78,300 $12,425.13 687 10.38665 Stanford University Stanford CA $45,195 9.7 94.5 $70,800 $21,466.01 696 10.231516 Princeton University Princeton NJ $41,820 10.6 96.7 $65,700 $20,576.36 759 8.869979 Duke University Durham NC $47,243 10.9 94.8 $61,300 $7,036.78 793 8.119336 Harvard University $43,938 97.5 $65,200 $36,429.26 837 6.901244 Columbia University New York NY $51,008 8.6 94.6 $64,000 $9,223.05 858 6.290416 University of Pennsylvania Philadelphia PA $47,668 8.2 95.6 $62,200 $9,582.34 888 4.837012 Dartmouth College Hanover NH $48,108 6.3 95.1 $60,800 $4,468.22 905 3.744875 Yale University New Haven CT $45,800 6 96.2 $23,858.56 914 2.55064 University of Chicago Chicago IL $49,380 5.8 92.8 $53,000 $6,539.29 Fuente: 2016 Social Mobility Index. CollegeNET http://www.socialmobilityindex.org/ 1 https://www.usnews.com/best-colleges/rankings/national-universities

Empleabilidad y movilidad social [1/5] El International Finance Corporation (IFC) realizó para la UNITEC en 2014 y 2015 un estudio de empleabilidad y movilidad social. Metodología: Se construyó un grupo de control con individuos graduados de otras universidades que comparten características de pretratamiento con el grupo tratado Se propusieron dos grupos de comparación diferentes : Un grupo de personas que se graduó de otras universidades (no UNITEC), que incluye instituciones públicas y privadas; Un grupo de individuos que se graduaron de una universidad privada solamente, incluyendo alternativas financieramente accesibles Se definieron las principales características de los graduados incluidos en el estudio (variables de muestreo) para delimitar la heterogeneidad de la muestra. Esta definición tenía el objetivo de garantizar una muestra representativa de la población de Laureate, bajo dos restricciones principales: i) había pocos datos administrativos disponibles; y ii) hubo un período de tiempo relativamente corto de la influencia de Laureate en la UNITEC. agragar metodologia liga de estudio de la FUENTE: “Affordable Higher Education in México”, (International Finance Corporation. Abril 2015) http://www.ifc.org/wps/wcm/connect/130ebb00483535468aceff299ede9589/IFC+-+Laureate+Affordable+Higher+Education+in+Mexico+C230+Final+Report+confidential+clause+removed.pdf?MOD=AJPERES

Empleabilidad y movilidad social [2/5] + Empleabilidad + Rapidez La tasa de empleo para los alumnos de UNITEC es 92%, +5.7 pts arriba de otras universidades privadas. Los alumnos de UNITEC son contratados en su primer trabajo en menos tiempo una vez graduados, (4.2 meses vs 8.1 meses de otras universidades privadas). Tasa de empleo Tiempo (meses) en encontrar su primer empleo -3.9 meses 5ppts agragar metodologia liga de estudio de la FUENTE: “Affordable Higher Education in México”, (International Finance Corporation. Abril 2015)

Sueldo promedio mensual Calidad del empleo (prestaciones) Empleabilidad y movilidad social [3/5] Impacto de ingresos y calidad laboral + Ingresos + Calidad laboral En promedio los alumnos graduados de UNITEC, ganan 19% más que de otras universidades privadas. Los beneficios laborales de los alumnos de UNITEC son mejores que otras universidades públicas y privadas. Sueldo promedio mensual Calidad del empleo (prestaciones) + 19% + 18% FUENTE: “Affordable Higher Education in México”, (International Finance Corporation. Abril 2015)

% de graduados en puestos Gerenciales Empleabilidad y movilidad social [4/5] Impacto de ingresos y calidad laboral + Posiciones gerenciales + Promociones laborales 27% de los alumnos UNITEC han sido promovidos a posiciones gerenciales vs en las otras 18%. 38% de los alumnos UNITEC han sido recientemente promovidos dentro de sus trabajos vs 21% de otras universidades privadas. % de graduados en puestos Gerenciales % de graduados recientemente promovidos 9ppts 17ppts FUENTE: “Affordable Higher Education in México”, (International Finance Corporation. Abril 2015)

Empleabilidad y movilidad social [5/5] Impacto Social + Impacto Socioeconómico + Cambios Positivos (prestigio) El porcentaje de graduados UNITEC que ha experimentado cambios positivos en su nivel socioeconómico es +30ppts superior al de otras universidades privadas (41% vs 11%). 72% de los egresados de la UNITEC expresan cambios positivos en el prestigio que les ofrece su profesión con respecto de la ocupación de sus padres vs el 62% de otras universidades privadas. % de egresados con cambios positivos en NSE Cambios en el prestigio ocupacional del egresado UNITEC 10ppts 30ppts FUENTE: “Affordable Higher Education in México”, (International Finance Corporation. Abril 2015)