1 Descubrimiento de Patrones de Desempeño Académico en la Competencia de Lectura Crítica Contrato

2 Ricardo Timarán Pereira, Ph.D. Arsenio Hidalgo Troya, Mg. Javier Caicedo Zambrano, Ph.D. Grupo de Investigación GRIAS Facultad de Ingeniería, Departamento de Sistemas Universidad de Nariño Pasto Isabel Hernández Arteaga, Ph.D. Juan Carlos Alvarado, Mg. Grupo de Investigación Potencial Sináptico Universidad Cooperativa de Colombia Pasto

3 Agenda Conceptos Preliminares Proceso de Descubrimiento de Patrones de rendimiento académico Conclusiones y Trabajos Futuros Tópicos

4 Conceptos Preliminares

5 Las Pruebas Saber Pro En Colombia, uno de los objetivos del examen de estado de calidad de la educación superior Saber Pro, es comprobar el grado de desarrollo de competencias de los estudiantes próximos a culminar los programas académicos de pregrado que ofrecen las instituciones de educación superior. El examen está compuesto por pruebas que evalúan competencias genéricas y específicas

6 Las Competencias Genéricas En la competencia de lectura crítica se evalúan los desempeños asociados a lectura, pensamiento crítico y entendimiento interpersonal En la competencia de razonamiento cuantitativo se evalúan los desempeños relacionados con uso de lenguaje cuantitativo y solución de problemas. En escritura se evalúa la competencia para comunicar ideas por escrito referidas a un tema dado. En inglés se evalúa la competencia del estudiante para comunicarse efectivamente en inglés.

7 Descubrir patrones de desempeño académico en las competencias genéricas de los estudiantes de programas profesionales en las pruebas Saber Pro A partir de datos sociodemográficos, económicos, académicos e institucionales almacenados en las bases de datos del ICFES Utilizando técnicas de Minería de Datos. Que permitan generar conocimiento encaminado a soportar las decisiones institucionales y gubernamentales para mejoramiento de la calidad de la educación superior en Colombia. Objetivo del proyecto

8 Metodología CRISP-DM ( Cross Industry Standard Process for Data Mining)

9 Proceso de descubrimiento de patrones de rendimiento académico

10 Análisis del Problema Apropiación del conocimiento sobre Competencias Genéricas y Pruebas Saber Pro Competencias Genéricas Razonamiento Cuantitativo Comunicación Escrita InglésLectura Crítica

11 Análisis de los Datos Identificación, recopilación y familiarización con la información de las bases de datos disponibles en el ICFES. Construcción de un repositorio inicial de datos: T153123A94. Selección de estudiantes de programas profesionales y sus resultados en lectura crítica en el repositorio de datos T97055A94LEC. Construcción de un diccionario de datos del repositorio T97055A94LEC con las fuentes del ICFES. Clasificación de atributos en sociodemográficos, económicos, académicos e institucionales.

12 Preparación de los Datos Limpieza de datos, eliminando atributos 100% nulos y con valores constantes. Creación de nuevos atributos a partir de los existentes. Discretización de valores continuos. Creación de índices para ciertos atributos Como resultado de esta fase se obtuvo el repositorio final para lectura crítica T97055A32LEC.

13 Atributos T97055A32LEC

14 Atributos T97068A35

15 Atributos T97068A35

16 Atributos T97068A35

17 Atributos T97068A35

18 Modelado TAREAPARÁMETROSVALOR CLASIFICACIÓNALGORITMOJ48 FACTOR CONFIANZA: C25% INSTANCIAS POR NODO: M 10%, 5%, 1%, 0.5% VALIDACION MODELOValidación cruzada No. FOLDS10 ATRIBUTO CLASECOMPETENCIA EVALUACION CLASIFICADOR MATRIZ DE CONFUSIÓN PREPODAM=1% C=25% POSPODASOPORTE MINIMO=0.5% CONFIANZA MÍNIMA=60%

19 Árbol de Decisión resultante

20 Evaluación === 10 Fold Cross Validation === === Summary === Correctly Classified Instances % Incorrectly Classified Instances % Kappa statistic Mean absolute error0.442 Root mean squared error Relative absolute error % Root relative squared error % Coverage of cases (0.95 level) % Mean rel. region size (0.95 level) % Total Number of Instances97055 === Confusion Matrix === a b <-- classified as | a = Y | b = N === 10 Fold Cross Validation === === Summary === Correctly Classified Instances % Incorrectly Classified Instances % Kappa statistic Mean absolute error0.442 Root mean squared error Relative absolute error % Root relative squared error % Coverage of cases (0.95 level) % Mean rel. region size (0.95 level) % Total Number of Instances97055 === Confusion Matrix === a b <-- classified as | a = Y | b = N

21 Patrones Lectura Crítica Regla 2. Si la IES no está acreditada y la metodología de formación es a distancia entonces el desempeño de los estudiantes en lectura crítica tiene mayor probabilidad de estar bajo la media. El 12.48% de los estudiantes analizados en esta competencia en la prueba SaberPro se clasifican de esta manera. El 69.11% de los (12.48%) estudiantes se clasifican correctamente y el 27.52% de los estudiantes que están bajo la media cumplen este patrón. Regla 7. Si la IES está acreditada entonces el desempeño de los estudiantes en lectura crítica tiene mayor probabilidad de estar sobre la media. El 16.80% de los estudiantes analizados en esta competencia en la prueba SaberPro se clasifican de esta manera. El 78.87% de los (16.80%) estudiantes se clasifican correctamente y el 30.74% de los estudiantes que están sobre la media cumplen este patrón.

22 Implementación o Explotación El conocimiento descubierto se incorporará al existente y se podrá integrar a los procesos de toma de decisiones del ICFES y de las instituciones gubernamentales y académicas que velan por la calidad de la educación superior. Una vez estas instituciones intervengan los factores asociados al desempeño académico en la competencia genérica de Lectura Crítica, de los estudiantes de programas profesionales que presentaron las Pruebas SaberPro, será posible analizar los resultados y determinar sus efectos.

23 Conclusiones y Trabajos Futuros

24 Entre los patrones descubiertos, se destacan la acreditación institucional, la acreditación de los programas, la modalidad de estudio presencial, los ingresos familiares altos como factores importantes asociados al buen desempeño académico de los estudiantes en las pruebas SaberPro, en la competencia genérica de Lectura Crítica. Conclusiones

25 El bajo desempeño en lectura crítica se asocia a IES no acreditadas, la modalidad a distancia, bajo nivel económico y con instituciones de tipo tecnológicas o técnicas profesionales. Conviene al estado y a las IES que ofertan programas en modalidad a distancia, revisar cuidadosamente el cumplimiento de los factores para la acreditación de programas de pregrado delineados por el CNA, para evitar el detrimento de la calidad de la formación profesional bajo esta modalidad. Conclusiones

26 Complementar este estudio utilizando otras técnicas de minería de datos como Asociación y Clustering que permitan relacionar que atributos se presentan juntos asociados al desempeño académico en las pruebas Saber Pro y cómo se agrupan los individuos de acuerdo a su rendimiento en dichas pruebas. Trabajos Futuros

27 Ricardo Timarán Pereira, Ph.D. Arsenio Hidalgo Troya, Mg. Javier Caicedo Zambrano, Ph.D. Grupo de Investigación GRIAS Facultad de Ingeniería, Departamento de Sistemas Universidad de Nariño Pasto Isabel Hernández Arteaga, Ph.D. Juan Carlos Alvarado, Mg. Grupo de Investigación Potencial Sináptico Universidad Cooperativa de Colombia Pasto