Dr. Teófilo J. Ramos Noviembre 19, Conversatorio Internacional Aseguramiento de la Calidad en la Educación Superior

Contexto Institucional El Tecnológico de Monterrey fue fundado en 1943 por un grupo de empresarios mexicanos, bajo el liderazgo de Don Eugenio Garza Sada Institución privada sin fines de lucro Independiente Genera los recursos necesarios para su operación El Tecnológico de Monterrey fue fundado en 1943 por un grupo de empresarios mexicanos, bajo el liderazgo de Don Eugenio Garza Sada Institución privada sin fines de lucro Independiente Genera los recursos necesarios para su operación 2

31 Campus y una Universidad Virtual 95,124 estudiantes: Preparatoria: 27,326 Profesional: 55,211 Posgrado: 12, % de la educación superior de México 54% con beca o apoyo financiero 9,431 profesores (2,876/6,555) 10,697 estudiantes del Tec de Mty estudiaron el extranjero 4,892 estudiantes extranjeros estudiaron el Tec de Mty Contexto Institucional 3

54 carreras profesionales 16 programas de especialidades médicas 30 programas de maestría 10 programas de doctorado 220,229 egresados de carreras profesionales 60,842 egresados de programas de posgrado 4

Componentes esenciales de la Calidad Académica en el Tecnológico de Monterrey Mejora Continua Evaluación de Programas Académico Selección de Alumnos Evaluación del Aprendizaje Seguimiento de Egresados Efectividad Institucional 5

Calidad Académica en el Tecnológico de Monterrey Mejora Continua Estándares de admisión Pruebas estandarizadas (College Board) Antecedentes académicos Selección de Alumnos 6

Calidad Académica en el Tecnológico de Monterrey Mejora Continua Estándares de admisión Pruebas estandarizadas (College Board) Antecedentes académicos Selección de Alumnos Exámenes estandarizados Pruebas nacionales Evaluación del Aprendizaje 7

Resultados en CENEVAL 2014 Profesional 155,659 alumnos de 574 instituciones tomaron EGEL 6,717 alumnos fueron del Tec (4.31%) fueron del Tec (4.31%) EGEL: Examen General de Egreso de Licenciatura 8

5.7% (386/6,717) de nuestros alumnos obtienen el Premio CENEVAL al Desempeño de Excelencia- EGEL mientras que a nivel nacional se otorga solo al 1.2% de los sustentantes (1,832/155,659) 21% (386/1,832) de los alumnos que obtuvieron el Premio CENEVAL al Desempeño de Excelencia- EGEL son del Tec de Mty. (386/1,832) de los alumnos que obtuvieron el Premio CENEVAL al Desempeño de Excelencia- EGEL son del Tec de Mty. 9 Resultados en CENEVAL 2014

32% (175/550) de los programas que se encuentran en el Padrón de Programas de Licenciatura de Alto Rendimiento son del Tec de Mty. 10 CENEVAL Padrón de Programas de Licenciatura de Alto Rendimiento CENEVAL Padrón de Programas de Licenciatura de Alto Rendimiento (175/192) de los programas del Tec de Mty ( que cumplen con el requisito del mínimo número de egresados ), se encuentran incorporados al Padrón de Programas de Licenciatura de Alto Rendimiento. 91% Nivel 1 (330) 80% o mas de los sustentantes del programa obtienen desempeño sobresaliente o satisfactorio Nivel 2 (220) %

Calidad Académica en el Tecnológico de Monterrey Mejora Continua Estándares de admisión Pruebas estandarizadas (College Board) Antecedentes académicos Selección de Alumnos Exámenes estandarizados Pruebas nacionales Evaluación del Aprendizaje Estudios de egresados: Candidatos a graduarse, 3 meses de graduados, Trayectoria de graduados 5,10, 15, 20 y 25 años Empleadores Seguimiento de Egresados 11

A los 5 añosA los 25 años Encuesta 2014 Egresados que son o han sido socios o dueños de una empresa 40%64% Egresados que ocupan un cargo directivo28%74% Egresados que estudiaron o estudian un posgrado 42%60% Egresados con al menos una experiencia laboral en extranjero 23%34% Trayectoria de Egresados de Profesional 12

Calidad Académica en el Tecnológico de Monterrey Mejora Continua Estándares de admisión Pruebas estandarizadas (College Board) Antecedentes académicos Selección de Alumnos Exámenes estandarizados Pruebas nacionales Evaluación del Aprendizaje Estudios de egresados: Candidatos a graduarse, 3 meses de graduados, Trayectoria de graduados 5,10, 15, 20 y 25 años Empleadores Seguimiento de Egresados Indicadores de Excelencia Académica, Tableros Juntas de Evaluación Efectividad Institucional 13

Efectividad Institucional: Indicadores Alumnos Perfil del profesor Capacitación y desarrollo Aplicación del Modelo Educativo Profesores Opiniones sobre el ambiente laboral Opiniones sobre los directivos Perfil y desempeño de los directivos Directivos Acreditaciones Alumnado y crecimiento por programa Programas Académicos Biblioteca Infraestructura computacional Servicios de apoyo Perfil de ingreso y trayectoria Evaluación del servicio académico Competencias profesionales Asuntos estudiantiles Internacionalización Egresados 14

Calidad Académica en el Tecnológico de Monterrey Mejora Continua Institucionales y de Programas Nacionales e Internacionales Estándares de admisión Pruebas estandarizadas (College Board) Antecedentes académicos Selección de Alumnos Exámenes estandarizados Pruebas nacionales Evaluación del Aprendizaje Estudios de egresados: Candidatos a graduarse, 3 meses de graduados, Trayectoria de graduados 5,10, 15, 20 y 25 años Empleadores Seguimiento de Egresados Indicadores de Excelencia Académica: IDEA (alumnos, profesores, directivos), Tableros Juntas de Evaluación Efectividad Institucional 15

16 ACREDITACIÓN Es un proceso de evaluación mediante el cual es posible determinar si una institución, programa o carrera satisface un conjunto de estándares y parámetros de buena calidad relativos a su quehacer académico, establecidos previamente. En el caso de que esto ocurra, se otorga al programa un reconocimiento que constituye una garantía publica de la satisfacción de dichos estándares y parámetros.

Cada acreditadora tiene procedimientos y estándares a seguir. En general r epresentan una revisión profunda de los procesos mas importantes para ofrecer un programa académico –Misión –Programas académicos y procesos de enseñanza-aprendizaje –Estudiantes y egresados –Profesores e investigación –Contribución a la comunidad –Infraestructura, recursos y administración –Extensión, difusión del conocimiento y vinculación –Internacionalización 17

Enfocadas al aseguramiento de la calidad Puede ser no gubernamental o gubernamental Puede ser voluntaria u obligatoria Requiere de una auto-evaluación Es un proceso de revisión continua (por lo general cada 5 años) Está relacionada con los propósitos institucionales Se fundamenta en una revisión de pares 18

Tendencia internacional de las acreditaciones  Énfasis en la medición de resultados del aprendizaje y en general de resultados esperados en todos los procesos de la institución (vs. métricas fijas principalmente de insumos utilizadas en modelos anteriores )  uso de los resultados para la mejora continua del programa ¿Cómo se logra? A través del cumplimiento del perfil de egreso de los programas, expresado en:  Competencias de egreso (“learning outcomes”)  Logros esperados del egresado (“program objectives”) 19

Consejo para la Acreditación de la Educación Superior Las disciplinas atendidas actualmente son: Es la única instancia reconocida y facultada por el Gobierno Mexicano, a través de la Secretaría de Educación Pública, SEP, para conferir reconocimiento formal a organizaciones cuyo fin sea acreditar programas académicos que ofrezcan Instituciones de Educación Superior (IES) públicas y privadas, (en cualquier modalidad) previa valoración de su capacidad organizativa, técnica y operativa. Copaes acredita a quienes acreditan

Organizaciones acreditadoras Actividad Física y Deporte Agronomía Arquitectura Artes Biología Ciencias Del Mar Ciencias Sociales Contabilidad y Administración Actualmente Copaes ha reconocido 28 organizaciones acreditadoras, las disciplinas atendidas actualmente son: Medicina Nutriología Odontología Optometría Pedagogía y educación Psicología Química Turismo Medicina veterinaria Derecho Diseño Economía Enfermería Humanidades Informática y computación Ingeniería Física

¿Qué elementos se revisan para acreditar un programa? Categorías% 1. Personal académico Alumnos Plan de estudios Infraestructura y equipamiento Investigación 5 6. Vinculación 8 7. Normatividad institucional que regule la operación del programa 5 8. Conducción académico-administrativa del programa 5 9. Proceso de planeación y evaluación Gestión administrativa y financiera 8

Fuente: COPAES, 2014 Programas acreditados 2002 a 2014

Acreditaciones 2014 DescripciónNo. Total de programas acreditados*2,920 Total de programas (Educación Superior)20,506 Porcentaje del total14.2% Total alumnos en programas acreditados*1,255,467 Total de alumnos (Educación Superior)3,071,643 Porcentaje de alumnos cursando programas acreditados. 40.9% *Fuentes: Copaes 2014 (Incluye programas vigentes y con prorroga para la reacreditación) y SEP / SES / DGESU /Dirección de Planeación y Evaluación/Subdirección de Sistematización y Análisis de Indicadores. 09 de Enero de 2013.

Acreditaciones en el Tecnológico de Monterrey a junio 2014 Institucional Nacional:Nacional: FIMPES Internacional:Internacional: SACS Programas de profesional Nacional :Nacional : 100% de los programas de profesional acreditados por organismos de COPAES (195) o evaluados en el Nivel 1 por CIEES (10) InternacionalInternacional 31 programas acreditados: AACSB(6), ABET(23), CLAEP/ACEJMC (2) Programas de posgrado Nacional :Nacional : 42 programas reconocidos por el PNPC-CONACYT Internacional :Internacional : 10 programas: AACSB, AMBA, EQUIS 25

Calidad Académica en el Tecnológico de Monterrey Mejora Continua Medición de competencias de egreso “Learning outcomes” (Programas académicos) Evaluación de Programas Académicos Institucionales y de Programas Nacionales e Internacionales Estándares de admisión Pruebas estandarizadas (College Board) Antecedentes académicos Selección de Alumnos Exámenes estandarizados Pruebas nacionales Evaluación del Aprendizaje Estudios de egresados: Candidatos a graduarse, 3 meses de graduados, Trayectoria de graduados 5,10, 15, 20 y 25 años Empleadores Seguimiento de Egresados Indicadores de Excelencia Académica: IDEA (alumnos, profesores, directivos), Tableros Juntas de Evaluación Efectividad Institucional 26

Programas basados en competencias y su evaluación 27

Contexto de programas basados en competencias Fortalecimiento de la rendición de cuentas Énfasis en la medición del aprendizaje versus medición de la infraestructura y los procesos académicos Tendencia internacional de las acreditaciones 28

Objetivo Asegurar el cumplimiento del perfil de egreso de los programas académicos. 29

ABET Criterion 2. Program Educational Objectives The program must have published program educational objectives that are consistent with the mission of the institution, the needs of the program’s various constituencies, and these criteria. There must be a documented and effective process, involving program constituencies, for the periodic review and revision of these program educational objectives. 30

ABET Criterion 3. Student Outcomes The program must have documented student outcomes that prepare graduates to attain the program educational objectives. Student outcomes are outcomes (a) through (k) plus any additional outcomes that may be articulated by the program. (a) an ability to apply knowledge of mathematics, science, and engineering (b) an ability to design and conduct experiments, as well as to analyze and interpret data (c) an ability to design a system, component, or process to meet desired needs within realistic constraints such as economic, environmental, social, political, ethical, health and safety, manufacturability, and sustainability (d) an ability to function on multidisciplinary teams (e) an ability to identify, formulate, and solve engineering problems (f) an understanding of professional and ethical responsibility (g) an ability to communicate effectively (h) the broad education necessary to understand the impact of engineering solutions in a global, economic, environmental, and societal context (i) a recognition of the need for, and an ability to engage in life-long learning (j) a knowledge of contemporary issues (k) an ability to use the techniques, skills, and modern engineering tools necessary for engineering practice. 31

ABET Criterion 4: Continuous Improvement “The program must regularly use appropriate, documented processes for assessing and evaluating the extent to which both the program educational objectives and the student outcomes are being attained. The results of these evaluations must be systematically utilized as input for the continuous improvement of the program. Other available information may also be used to assist in the continuous improvement of the program.” 32

ABET Definiciones Assessment – Assessment is one or more processes that identify, collect, and prepare data to evaluate the attainment of student outcomes and program educational objectives. Effective assessment uses relevant direct, indirect, quantitative and qualitative measures as appropriate to the objective or outcome being measured. Appropriate sampling methods may be used as part of an assessment process. Evaluation – Evaluation is one or more processes for interpreting the data and evidence accumulated through assessment processes. Evaluation determines the extent to which student outcomes and program educational objectives are being attained. Evaluation results in decisions and actions regarding program improvement. 33

SACS The institution identifies expected outcomes, assess the extent to which theses outcomes, and provides evidence of improvement based on analysis of the results in each of the following areas: Educational programs, to include student learning outcomes. Academic and student support services Administrative support services Research within its mission Community/public service within its mission 34

Nuestra definición de Assessment Assessment es la evaluación sistemática de los programas académicos con base en resultados del aprendizaje (learning outcomes*) y utilizando los resultados de la evaluación para la mejora continua *En el Tecnológico de Monterrey las denominamos competencias de egreso 35

Evaluación a nivel curso Semestres 1er2do3er4to5to….9no M11M12M13M14…. M19 M21M22M23M24…. M29 M31M32M33M34…. M39 ……………...… Mn1Mn2Mn3Mn4…. Mn9 Evaluación de programa y ciclos de mejora Logros esperados Al momento de graduarse Competencias de Egreso (CE’s): Alumnos Generales Comunes del área De la especialidad En cada materia, los profesores y departamentos académicos evalúan objetivos de aprendizaje del curso: conocimientos, habilidades, actitudes y valores. Para ser evaluadas las CE´s, tienen que ser expresadas en criterios de desempeño. Esto es lo que ya se haceEsto se añade Evaluación de programas 36

Definición Acciones educativas Cursos, actividades co-curriculares, programas de apoyo, recursos de aprendizaje Directa Indirecta Valoración Medición Evaluación Decisión de mejora continua Plan de Evaluación Competencias de egreso Criterios de desempeño Proceso de evaluación de programas 37

Etapa 1. Perfil de egreso basado en competencias Etapa 2. Plan de evaluación del programa Etapa 3. Evaluación y Resultados Etapa 4. Acciones de mejora Etapas del proceso de evaluación de programas 38

Etapa 1. Perfil de Egreso basado en Competencias

Etapa 1. Perfil de Egreso basado en competencias Profesionales: Básicas de la Profesión Administración Ingeniería Ciencias Sociales y Humanidades Ciencias de la Salud Profesionales: De la Especialidad Mecánico Administrador Mecatrónica Biotecnología Médico Cirujano Psicología Laboral Arquitecto Ciencia Política Etc. Personales: 1.Dominio del Inglés 2.Ética 3.Ciudadanía 4.Capacidad emprendedora y de innovación 5.Liderazgo 6.Confianza en sí mismo 7.Compromiso con el medio ambiente 8.Comunicación oral y escrita 9.Perspectiva global

Combinación de atributos — con respecto al conocimiento y su aplicación, a las actitudes y a las responsabilidades— que hacen referencia a las capacidades que un estudiante debe haber desarrollado al momento de su graduación. Competencias de Egreso (CEs) Etapa 1. Perfil de Egreso basado en competencias

Criterios de Desempeño (CDs) Enunciados específicos medibles que identifican comportamientos observables que evidencian el desarrollo de una competencia. Se definen al menos 2 por cada CE Etapa 1. Perfil de Egreso basado en competencias

 El alumno será capaz de resolver problemas de ingeniería industrial de manera satisfactoria haciendo uso de métodos matemáticos (rúbrica).  El alumno obtiene un resultado Satisfactorio o Sobresaliente en la sección de Gestión de la Cadena de Suministros del examen del CENEVAL (examen). El alumno resolverá problemas del área de ingeniería industrial y de sistemas utilizando herramientas matemáticas y científicas. Ejemplo: Carrera Ingeniero Industrial y de Sistemas Competencia de egreso: Criterios de desempeño:

Etapa 2. Plan de Evaluación de cada carrera Vicerrectoría Académica Junio 2012

 Es la guía para realizar la evaluación del programa.  Para cada criterio de desempeño de cada una de las competencias de egreso, identificar: o Frecuencia de la medición o Método de medición o Dónde medir o Forma de cumplimiento y metas o Responsable de la medición Etapa 2. Plan de Evaluación de cada carrera

Consideraciones metodológicas:  Es una tarea adicional a la evaluación del curso pero puede hacerse sobre el producto de un curso (course embedded assessment)  También es posible realizarlo en un evento especial (assessment center) Etapa 2. Plan de Evaluación de cada carrera

Consideraciones metodológicas:  Se evalúa el programa académico, y no al alumno o al profesor en lo individual, a través de evidencias del desarrollo de las competencias a nivel programa. Etapa 2. Plan de Evaluación de cada carrera

Consideraciones metodológicas:  Se pueden utilizar los siguientes métodos de medición: o Métodos indirectos: mediante los resultados de encuestas. Ejemplo: Instrumento de Competencias Éticas y Ciudadanas o Métodos directos: se observa de primera mano el desempeño del alumno. Ejemplos: Examen estandarizado (EGEL, TOEFL). Aplicación de rúbrica (evaluación de un ensayo, proyecto, presentación oral). Etapa 2. Plan de Evaluación de cada carrera

Consideraciones metodológicas:  No se requiere medir todo, ni todo el tiempo: o La medición puede ser semestral o anual o La medición se realiza sobre una muestra aleatoria Etapa 2. Plan de Evaluación de cada carrera

Etapa 3. Evaluación y Resultados

Ejecutar el plan de evaluación  Realizar la medición de las competencias de egreso de acuerdo con el plan de evaluación.  Integrar reportes para el análisis colegiado y la toma de decisiones de mejor. Etapa 3. Evaluación y resultados

Etapa 4. Documentación de Acciones de Mejora Vicerrectoría Académica Junio 2012

 Realizar el análisis de resultados de la medición y la definición de acciones de mejora y su implementación (se recomienda integrar esas actividades dentro del plan semestral de trabajo departamental)  Documentar y dar seguimiento a los acuerdos  Asegurar el inicio de un nuevo ciclo de medición y mejora Etapa 4. Documentación de Acciones de Mejora

Sistema para Administrar la Evaluación de Programas Académicos (SAEP)

Herramienta de apoyo para administrar la evaluación: Sistema en línea Permite dar seguimiento a la evaluación de programa Enlaza los resultados de evaluaciones oficiales (pruebas nacionales, encuestas institucionales y externas) con criterios de desempeño Facilita la evaluación de evidencias a través de rúbricas Documenta los resultados del desarrollo de competencias y las acciones de mejora establecidasSAEP

Proceso de evaluación en SAEP Etapa 1: Perfil Etapa 2: Plan de evaluación Etapa 3: Evaluación Etapa 4: Acciones de mejora SAEP como herramienta de ayuda en el proceso de evaluación de programas académicos Se define el plan de evaluación por carrera-campus: Métodos de evaluación (encuestas, rúbricas y exámenes) Formas de cumplimiento, responsables y metas Permite generar reportes en word o html Se visualiza el perfil de egreso por carrera Permite generar reportes en word o html Permite a los profesores evaluar trabajos de alumnos a través de rúbricas Obtiene de fuentes oficiales resultados de exámenes (TOEFL, CENEVAL) y encuestas (Trayectoria, ICEC, NSSE) Permite generar reportes de avance en word o html Funcionalidad de exportar a Excel los resultados Permite agregar por criterio de desempeño acciones de mejora Funcionalidad de documentar información adicional

Algunos resultados de estos procesos  Enfoque al aseguramiento de la calidad académica  Reconocimiento y prestigio nacional e internacional por la acreditación externa de los programas académicos. Se facilitan las conversaciones con aliados académicos internacionales (actuales y potenciales).  Garantía del cumplimiento de objetivos. 57

 Identificación de áreas de oportunidad para mejorar.  Se refuerza la visión del quehacer importante, desde el cumplimiento de la Misión hasta los Perfiles de Egreso y de que hay que demostrar que se está logrando (rendición de cuentas)  Desarrollo de la cultura de la “documentación”. 58

Muchas gracias Dr. Teófilo J. Ramos 59