Instituto de Investigaciones Psicológicas Programa Permanente Prueba de Aptitud Académica y Programa de Pruebas Específicas para Ingreso a Carrera El Modelo de Admisión en la UCR: Aspectos conceptuales y de validación Dra. Eiliana Montero Octubre, 2011

Principios Excelencia: seleccionar los examinados con las mayores posibilidades de éxito académico en la Universidad y en carreras particulares Equidad: No contribuir a ampliar las brechas de oportunidades educativas entre diferentes grupos de población, sino, más bien, en la medida de lo científicamente posible, contribuir a disminuir estas brechas

Principios La necesidad de diseñar modelos e instrumentos de admisión que tomen, de partida, a la equidad como uno de sus pilares básicos, conjuntamente con la excelencia Enfrentar este reto es esencial, en los tiempos que corren, para que la Universidad pueda, efectivamente, ser capaz de contribuir a los procesos de movilidad e integración social que son parte de su misión fundamental

Métodos Empleo de múltiples indicadores Procesos continuos de validación Contar con equipo humano permanente debidamente formado y capacitado

Métodos El análisis de validez predictiva es fundamental y se realiza para establecer el grado de asociación entre el puntaje del indicador y la medida de rendimiento académico. Se emplean modelos de regresión y modelos de ecuaciones estructurales

Marco de referencia Modelos jerárquicos de inteligencia y habilidades intelectuales Psicología cognitiva Psicometría Evaluación y medición educativa

Los datos empíricos favorecen actualmente teorías jerárquicas de las habilidades intelectuales John B. Carroll: Teoría de los 3 estratos g: factor general de habilidad intelectual (inteligencia), capacidad para procesar información en tareas de naturaleza intelectual Factor g C F Y V U R T Inteligencia fluida: Inducción Deducción Raz. Cuant. Raz. Piagetiano Inteligencia cristalizada: Comp. lenguaje Léxico Segunda lengua Gramática Rapidez de procesamiento de decisión: Tiempo de reacción simple Rapidez proc. semántico Memoria y aprendizaje general: Memoria sem. Memoria visual Ampl. Mem. Percepción visual: Perc. Espacial Rastreo Percepción auditiva: Ajuste absoluto Discri. sonidos Discri. musical Capacidad de recuperación: Fluidez Flexibilidad Originalidad

Teorías jerárquicas de habilidades intelectuales Desde aquí se justifica el uso de indicadores de habilidades generales y habilidades más específicas para ciertas áreas y carreras Podría pensarse de este como un marco teórico híbrido entre teorías monistas (Spearman) y teorías pluralistas (Gardner)

Validez y equidad La validez tiene que ver con cuán apropiadas son las inferencias e interpretaciones que se hacen a partir de los puntajes de las pruebas (Samuel Messick, uno de los autores contemporáneos más importantes en medición educativa) Los equipos constructores de pruebas deben también preocuparse por los usos que se les dan y las consecuencias sociales que se derivan de estos usos (la ciencia y la ética de la evaluación)

Validez y equidad En general, puede haber personas que tengan similar potencial para aprender y cursar apropiadamente una carrera universitaria, pero que han tenido muy diferentes oportunidades educativas Un trato equitativo puede implicar tratamiento diferencial para personas con diferentes condiciones o en diferentes contextos

Validez y equidad Cómo identificar a los(as) estudiantes con desventajas educativas es también un reto En Sudáfrica (Universidad de Ciudad del Cabo) utilizan 8 indicadores, uno de ellos es ser de “primera generación” Se habla de múltiples niveles o “capas” de desventaja

El Modelo de Admisión debería: 1- Coadyuvar en los procesos de selección y/o de diagnóstico de candidatos(as) a la Universidad y a carreras particulares, suministrando instrumentos de alta validez y confiabilidad, orientados a medir habilidades generales y habilidades específicas que se consideran fundamentales en el perfil de entrada del estudiante para el éxito académico en la Universidad y en áreas y carreras específicas

El Modelo de Admisión debería: 2- Lograr el propósito anterior con la mayor equidad, de manera que el proceso no contribuya a ampliar las brechas de oportunidades educativas ya existentes entre diferentes grupos de población 3- Mecanismo que permita seleccionar a aquellos (as) candidatos(as) que tengan mayores probabilidades de éxito académico

El Modelo de Admisión de la UCR Concebido originalmente como un mecanismo que permita seleccionar a aquellos(as) candidatos(as) que tengan mayores probabilidades de éxito académico Principio de excelencia: se deben seleccionar los(as) examinados(as) con mayor potencial académico para la educación universitaria en la UCR Principio de equidad: medir el potencial y no lo que ya se ha aprendido

El Modelo de Admisión de la UCR Procedimiento de selección para la admisión general a la Universidad En términos operativos la aplicación de estos principios implica que los(as) candidatos(as) con puntajes de admisión más elevados deben tener mayor probabilidad de entrar a la Universidad Este principio se está violentando actualmente con el procedimiento para ingreso directo a carrera

El Modelo de Admisión de la UCR La lógica del proceso es simple: seleccionar aquellos(as) examinados(as) con los puntajes de admisión más altos, ordenados de mayor a menor, hasta llegar a llenar los cupos disponibles en la Universidad Interpretación referida a normas El modelo no contempla el uso del Promedio de Admisión como instrumento de selección en carreras específicas (el último estudio de validez predictiva indica diferentes grados de predictibilidad para diferentes áreas)

Dos componentes Educación Diversificada: Rendimiento PAA: Habilidades generales de razonamiento, en contexto verbal y en contexto matemático Concepción equivocada: la prueba determina la admisión. No se obtiene un 600 en la prueba de admisión, 600 es el promedio de los componentes Evidencia del estudio de validez predictiva: deberían separarse la parte de contexto verbal y la de contexto matemático

Evidencias de validez predictiva Estudio de factores asociados al rendimiento (Montero y Villalobos) Predicción del Promedio Ponderado Acumulado para estudiantes de segundo y tercer año de carrera Predicción de nota en curso específico Estudio de validez predictiva del Promedio de Admisión y sus componentes (Jiménez y Morales) El puntaje en Educación Diversificada y el puntaje en la PAA son los mejores predictores del rendimiento, cohorte del año 1999 En conjunto, presentan una correlación de 0,4 con el criterio “Logro Académico”

Validez de constructo Marco teórico inicial no estaba claramente especificado (desde SAT de EU). Se está haciendo explícito actualmente. Basado en la teoría del factor g (Spearman) Siguen presentándose evidencias de la existencia de este factor, correlación entre pruebas de habilidades intelectuales Se puede definir como la capacidad para procesar información en tareas de naturaleza intelectual

¿Qué hace el equipo técnico de la PAA para enfrentar la problemática del impacto de la cultura y el contexto de los examinados? Mantener a un mínimo los conocimientos Análisis de sensibilidad Estudios de DIF Públicos y privados Hombres y mujeres Urbano y Rural (próximamente) En ciertos casos calificados (por ejemplo cultura indígena) la brecha es tan amplia que no se puede eliminar por completo

Nuestra posición El Promedio de Admisión puede ser complementado: mide solo ciertos aspectos de la aptitud académica y nunca fue pensado para ser utilizado como mecanismo de selección para ingreso a carrera Tapia y Molina: “La PAA fue construida pensando en la medición de habilidades generales y por tanto, de acuerdo con las tendencias actuales en el campo de la psicología cognitiva, no es la prueba ideal para juzgar el posible desempeño de un(a) estudiante en un campo específico”

Jiménez y Morales: “Se recomienda por tanto, continuar utilizando el Promedio de Admisión … como criterio de selección para el ingreso a la Universidad. Para ingreso a carrera, se ve la necesidad de la aplicación de pruebas específicas por áreas y a la vez, realizar análisis que permitan confrontar los resultados obtenidos en este estudio.” (p. 71, el subrayado es de quien escribe)

Proyecto de Pruebas Específicas Responde a una decisión institucional, que se materializa en un acuerdo del Consejo Universitario en sesión 4836, celebrada el 13 de octubre del 2003 El proyecto inicia a mediados del 2005 con apoyo de la Rectoría A la fecha se han construido y recolectado diversas evidencias de validez para cuatro instrumentos Prueba de Habilidades Cuantitativas Prueba de Expresión Escrita, uso normativo del lenguaje, Prueba de Producción Escrita, habilidad comunicativa Test de Razonamiento Abstracto

Para reflexionar El reto es medir potencial de aprendizaje y no lo que el examinado(a) ya sabe Se debe garantizar no solo la admisión, sino también la permanencia y la graduación Una vez que un(a) estudiante de un grupo en desventaja ingresa a la Universidad, se requieren apoyos y orientación adicionales necesarios para su desarrollo académico

Para reflexionar Hay grupos con tantas “capas de desventaja educativa” que pueden requerir procesos alternativos de admisión y programas académicos diferenciados para nivelarse con la población regular Experiencia exitosa: Programa de Admisión Alternativo de la Universidad de Ciudad del Cabo en Sudáfrica, coordinado por el Dr. Alan Cliff.

Artículo Cliff, A. y Montero, E. (2010). El Balance entre Excelencia y Equidad en Pruebas de Admisión: Contribuciones de Experiencias en Sudáfrica y Costa Rica. Revista Iberoamericana de Evaluación Educativa, 3 (2), pp. 7-28. http://www.rinace.net/riee/numeros/vol3-num2/art1.pdf