Líneas de investigación y estudios relacionados con resultados del EGEL Rafael Hernández Director de los EGEL de Ciencias de la Vida y la Conducta Centro Nacional de Evaluación para la Educación Superior, A.C. (Ceneval) Dirección General Adjunta de los EGEL 06-08 de diciembre de 2007 Campeche, Campeche

Dinámica de trabajo 1ª sesión. Diciembre 6 12:30-13:10 Conferencia 13:10-13:30 Sesión de preguntas 13:30-14:00 Levantamiento de información (encuesta) 2ª sesión. Diciembre 7 9:30-10:00 Organización en mesas de trabajo 10:00-11:00 Discusión de la propuesta del Ceneval 11:00-12:00 Recopilación de sugerencias y observaciones de las IES usuarias por grupo de trabajo 12:00-12:30 Presentación de conclusiones por mesa

Contenido Conceptos y preguntas en torno a la investigación educativa Reportes del Ceneval: Resultados de los sustentantes en Índice Ceneval Bases de datos con variables de contexto Informe anual de resultados Orientación de la investigación Cuestionarios de contexto del Ceneval

Medir o evaluar, ¿ese es el dilema? Conceptos y preguntas Reportes del Ceneval Investigación: - Comparativos - Predictivos - Explicativos Eficacia Cuestionarios de Contexto Medir o evaluar, ¿ese es el dilema? Cuando una institución aplica un EGEL, cuenta los testimonios satisfactorios y sobresalientes que obtienen sus estudiantes y compara sus resultados con los de otras instituciones (y los reporta en los PIFI, procesos de acreditación, etc.), ¿está haciendo evaluación? 5

¿Se puede medir la eficacia educativa? Conceptos y preguntas Reportes del Ceneval Investigación: - Comparativos - Predictivos - Explicativos Eficacia Cuestionarios de Contexto ¿Los resultados de los sustentantes son atribuibles al contexto, a los individuos, al profesor, o a las instituciones? ¿Cuál es la contribución de la planta docente y de la escuela al proceso de aprendizaje del estudiante? ¿Se puede medir la eficacia educativa? ¿Puede el EGEL ayudarme a conocer la eficacia de mi programa académico o institución? 6

¿Qué debo buscar cuando se analizan los resultados de una evaluación? Conceptos y preguntas Reportes del Ceneval Investigación: - Comparativos - Predictivos - Explicativos Eficacia Cuestionarios de Contexto ¿Qué debo buscar cuando se analizan los resultados de una evaluación? ¿Las deficiencias o los logros? ¿Se puede hacer evaluación e investigación educativa sin jerarquizar a las instituciones y sin generar resentimientos? 7

Reportes Resultados de los sustentantes en Índice Ceneval Conceptos y preguntas Reportes del Ceneval Investigación: - Comparativos - Predictivos - Explicativos Eficacia Cuestionarios de Contexto Reportes Resultados de los sustentantes en Índice Ceneval Testimonios de desempeño Satisfactorio Sobresaliente Bases de datos con variables de contexto (información de la hoja de registro) Informe anual de resultados

Reporte de resultados EGEL

Dos tipos de exámenes: EXANI y EGEL Conceptos y preguntas Reportes del Ceneval Investigación: - Comparativos - Predictivos - Explicativos Eficacia Cuestionarios de Contexto Dos tipos de exámenes: EXANI y EGEL Dos tipos de escala diferentes con un mismo nombre: Índice Ceneval EXANI Examen referido a la norma EGEL Examen referido al criterio

Calificación de los EXANI Número de aciertos Índice Ceneval % aciertos 700 850 30 25 60 50 1000 1150 75 90 120 100 1300

Calificación de los EGEL Escala Ceneval Examen 1 % rc Examen 2 % rc No satisfactorio 700 Pto. corte Satisfactorio Pto. corte 40 Pto. corte 1000 48 60 Sobresaliente Pto. corte 1150 94 1300 100 100

Base de datos con variables de contexto (Información de la hoja de registro)

Conceptos y preguntas Reportes del Ceneval Investigación: - Comparativos - Predictivos - Explicativos Eficacia Cuestionarios de Contexto

Condiciones necesarias para el desarrollo de estudios sobre el EGEL Conceptos y preguntas Reportes del Ceneval Investigación: - Comparativos - Predictivos - Explicativos Eficacia Cuestionarios de Contexto Condiciones necesarias para el desarrollo de estudios sobre el EGEL Objetivo de la investigación Marco teórico de la investigación Escala de medición de las variables Representatividad de la muestra y alcances del estudio Características de la población sustentante

Investigación educativa Conceptos y preguntas Reportes del Ceneval Investigación: - Comparativos - Predictivos - Explicativos Eficacia Cuestionarios de Contexto Investigación educativa Estudios comparativos Estudios predictivos Estudios explicativos Estudios sobre eficacia 16

Estudios comparativos Conceptos y preguntas Reportes del Ceneval Investigación: - Comparativos - Predictivos - Explicativos Eficacia Cuestionarios de Contexto Estudios comparativos Contrastar valores respecto de: Proporción o % de sustentantes por arriba del punto de corte Proporción o % de testimonios versus: Referentes o parámetros internos de la institución Referentes similares, regionales, nacionales e internacionales 17

Estudios comparativos Supuestos: Medidas comparables en las variables bajo estudio (equivalentes) Población igualada en las variables importantes Escuelas similares

Comparación de niveles de desempeño por institución

Conceptos y preguntas Reportes del Ceneval Investigación: - Comparativos - Predictivos - Explicativos Eficacia Cuestionarios de Contexto Estudios predictivos Se orientan a predecir el éxito académico que tendrán los estudiantes en ciclos escolares posteriores o en el desempeño laboral. Se requiere tomar mediciones de las variables en diferentes tiempos. 20

590 egresados de la ULSA sustentantes del ENERAM 2001-2003 Conceptos y preguntas Reportes del Ceneval Investigación: - Comparativos - Predictivos - Explicativos Eficacia Cuestionarios de Contexto Félix, O. A. y Ahumada, A. M. Desempeño de los egresados de la ULSA en el ENARM* (2001-2003). Participantes: 590 egresados de la ULSA sustentantes del ENERAM 2001-2003 Variables: Promedio de la carrera Resultado en el EGEL Curso AMLS (Actualización Médica La Salle) Hospital del internado Lugar del servicio social *ENARM = Examen Nacional de Aspirantes a Residencias Médicas 21 21

Ceneval. (2004). El EGEL-Medicina Ceneval. (2004). El EGEL-Medicina. El mejor predictor para el examen de residencias médicas. Este País, Noviembre, p47-50 Aspirantes 11.6% Desempeño académico NS= No satisfactorio DS= Desempeño Satisfactorio DSS= Desempeño Sobresaliente

Conceptos y preguntas Reportes del Ceneval Investigación: - Comparativos - Predictivos - Explicativos Eficacia Cuestionarios de Contexto Pérez, G.J.A. y Martínez, P.J.H. (2006). Modelos de predicción del desempeño de estudiantes de licenciatura sujetos a instrumentos de evaluación. Revista Iberoamericana de Educación. Número 39/7. Objetivo: Pronosticar el desempeño de 155 sustentantes del EGEL egresados del programa de Ingeniería Civil de la UASLP

Conceptos y preguntas Reportes del Ceneval Investigación: - Comparativos - Predictivos - Explicativos Eficacia Cuestionarios de Contexto Resultados: 137 sustentantes (88.4 %) obtuvieron pronóstico positivo, al correlacionar de manera satisfactoria los resultados; índice de desempeño establecido (70%) y calificaciones arriba de 1000 puntos en el índice Ceneval.

Estudios explicativos Conceptos y preguntas Reportes del Ceneval Investigación: - Comparativos - Predictivos - Explicativos Eficacia Cuestionarios de Contexto Estudios explicativos Se orientan a generar modelos que dan cuenta de la influencia de variables personales, económicas, escolares o sociales sobre el aprendizaje. Pueden utilizarse diseños longitudinales o cortes transversales. 25

Conceptos y preguntas Reportes del Ceneval Investigación: - Comparativos - Predictivos - Explicativos Eficacia Cuestionarios de Contexto Hernández, J., Márquez, A. y Palomar, J. (2006). Factores asociados con el desempeño académico en el EXANI-I: zona metropolitana de la ciudad de México 1996-2000. Revista Mexicana de Investigación Educativa, 11, 547-581. Objetivo: Identificar el impacto de variables socioeconómicas y educativas sobre el rendimiento académico de sustentantes del EXANI-I, así como la estructura de relaciones que se establecía entre las diversas variables consideradas.

Aciertos obtenidos por los sustentantes según la escolaridad de la madre y el ingreso familiar mensual

Conceptos y preguntas Reportes del Ceneval Investigación: - Comparativos - Predictivos - Explicativos Eficacia Cuestionarios de Contexto Eficacia y mejora Encuesta sobre Igualdad de Oportunidades Educativas, (EEOS) conocida como: El Reporte Coleman (Coleman et al., 1966) 28

CharlesTeddlie and Susan Stringfield, 2007 Evolución de la efectividad escolar, indicadores escolares y la rendición de cuentas para la mejora educativa Encuesta sobre Igualdad de Oportunidades Educativas (EEOS) (El Reporte Coleman, 1966) Indicadores escolares Acciones para la mejora educativa Efectividad escolar Rendición de cuentas Procesos educativos Productos Susan Kochan, 2007 CharlesTeddlie and Susan Stringfield, 2007

Conceptos y preguntas Reportes del Ceneval Investigación: - Comparativos - Predictivos - Explicativos Eficacia Cuestionarios de Contexto Efectividad escolar Legados de la Investigación sobre efectividad escolar: Bajo condiciones apropiadas, todos los estudiantes pueden aprender. El valor agregado sobre el estigma ESE (SES). El bajo desempeño escolar no es sólo un problema individual del estudiante o su familia. Las mejores instituciones están mejor integradas (estructuralmente, simbólicamente y culturalmente), que las menos efectivas. Tony Townsend, 2007

Fuentes y % estimado de explicación de la varianza en el desempeño de los estudiantes

De las hojas de registro a los cuestionarios de contexto Lucía Monroy Cazorla Directora General Adjunta Técnica y de Investigación Centro Nacional de Evaluación para la Educación Superior, A.C. (Ceneval) 06-08 de diciembre de 2007 Campeche, Campeche

Los cuestionarios de contexto: una definición Conceptos y preguntas Reportes del Ceneval Investigación: - Comparativos - Predictivos - Explicativos Eficacia Cuestionarios de Contexto Los cuestionarios de contexto: una definición Son instrumentos de medición que se aplican para obtener información y hacer inferencias cuantitativas acerca de la población. A diferencia de los exámenes, en un cuestionario de contexto no existen respuestas correctas e incorrectas.

Conceptos y preguntas Reportes del Ceneval Investigación: - Comparativos - Predictivos - Explicativos Eficacia Cuestionarios de Contexto Características Un cuestionario bien diseñado debe generar información: Válida. Las variables que se incorporan responden a definiciones claras de lo que se pretende medir. Confiable. Las mediciones deben ser consistentes, por lo que cambios en las puntuaciones deben reflejar cambios en la situación de los respondientes. Los resultados de los cuestionarios deben ser reproducibles en poblaciones similares. No sesgada. Las mediciones deben presentarse a los respondientes de forma tal que no favorezcan a grupos de la población.

Las hojas de registro: motivos de cambio Conceptos y preguntas Reportes del Ceneval Investigación: - Comparativos - Predictivos - Explicativos Eficacia Cuestionarios de Contexto Las hojas de registro: motivos de cambio Bajo impacto. Eliminación de variables que no están consistentemente asociadas con el logro académico. Cuestiones metodológicas. Cambios en las variables que presentan baja tasa de respuestas o producen respuestas inverosímiles. Diseño inapropiado. El formato de algunas preguntas generaba confusión entre las categorías de respuesta. Baja utilidad. Variables que no han sido utilizadas en los reportes que produce el Ceneval.

Las hojas de registro: estructura 2007 Conceptos y preguntas Reportes del Ceneval Investigación: - Comparativos - Predictivos - Explicativos Eficacia Cuestionarios de Contexto Las hojas de registro: estructura 2007 Área Número de Preguntas Identificación del examen 2 Identificación del sustentante 6 Institución de procedencia 4 Escolaridad 5 Situación laboral 7 Datos socioeconómicos 11 Datos sobre el examen 3 TOTAL 38

Los nuevos cuestionarios de contexto: utilidad Conceptos y preguntas Reportes del Ceneval Investigación: - Comparativos - Predictivos - Explicativos Eficacia Cuestionarios de Contexto Los nuevos cuestionarios de contexto: utilidad Describir a la población sustentante del examen. 1 Contextualizar las medidas obtenidas en las pruebas de logro académico. 2 Proponer modelos de explicación sobre el rendimiento escolar de los alumnos en diferentes asignaturas y grados escolares. 3

Los nuevos cuestionarios de contexto: supuestos Conceptos y preguntas Reportes del Ceneval Investigación: - Comparativos - Predictivos - Explicativos Eficacia Cuestionarios de Contexto Los nuevos cuestionarios de contexto: supuestos Responder a los propósitos de la medición. Cada una de las preguntas debe ser útil y pertinente para lograr el objeto de medición. Los constructos explorados deben incorporar variables manifiestas acordes con la definición conceptual. La escala de medición de las variables debe corresponder a la definición del constructo que se mide y corresponder de manera natural a la pregunta. Los modelos estadísticos para el análisis de los datos deben contemplar la métrica de las variables manifiestas y de los constructos definidos.

Proceso de construcción de los nuevos cuestionarios Conceptos y preguntas Reportes del Ceneval Investigación: - Comparativos - Predictivos - Explicativos Eficacia Cuestionarios de Contexto Proceso de construcción de los nuevos cuestionarios Definir el propósito de la evaluación. Revisar el estado actual del conocimiento. Determinar el perfil de los investigadores que conformarán el Consejo Técnico del Cuestionario. Determinar el diseño del estudio y los requerimientos para la aplicación. Seleccionar las variables que se incorporarán. Construir el instrumento. Analizar el instrumento con grupos focales. Realizar un estudio piloto del instrumento en poblaciones similares.

Proceso de construcción de los nuevos cuestionarios Conceptos y preguntas Reportes del Ceneval Investigación: - Comparativos - Predictivos - Explicativos Eficacia Cuestionarios de Contexto Proceso de construcción de los nuevos cuestionarios Revisar los resultados del piloteo y conformar las versiones definitivas. Aplicar el instrumento. Leer y elaborar las bases de datos. Analizar el comportamiento de las preguntas. Elaborar los indicadores de los constructos medidos. Elaborar los perfiles descriptivos de la población. Generar modelos explicativos del aprendizaje (mediano plazo). Difundir los resultados. 40

Consejo Técnico 41

Cuestionarios de contexto elaborados en 2007 Directores SEP Docentes SEP Sustentantes EXANI I, II, III EGEL Exámenes SEP

Estructura de los nuevos cuestionarios Módulo básico Módulo investigación Módulo temporal Descriptivas Personales Escolares Sociales Recursos no-cognitivos Capital cultural familiar Capital socio-económico familiar Calidad de la escuela de procedencia Recursos cognitivos: cómputo e inglés Comportamientos de riesgo Clima escolar Influencia de los pares

Cuestionario de Contexto para sustentantes del EGEL Estructura Cuestionario de Contexto para sustentantes del EGEL Módulo Temporal

Cuestionario de Contexto para docentes Estructura Cuestionario de Contexto para docentes Elaborado para SEP

Cuestionario de Contexto para directores Estructura Cuestionario de Contexto para directores Elaborado para SEP

Encuesta 47

Directora General Adjunta Técnica y de Investigación Muchas Gracias Lucía Monroy Cazorla Directora General Adjunta Técnica y de Investigación lucia.monroy@ceneval.edu.mx Rafael Hernández Director de los EGEL de Ciencias de la Vida y la Conducta rafael.hernandez@ceneval.edu.mx