Los nuevos exámenes SABER PRO

Presentación del tema: "Los nuevos exámenes SABER PRO"— Transcripción de la presentación:

1 Los nuevos exámenes SABER PRO
Javier Botero Álvarez Viceministro de Educación Superior Margarita Peña Borrero Directora General - ICFES Julián Mariño Von Hildebrand Director de Evaluación - ICFES Bogotá, agosto 24 de 2011

2 Plan de la presentación
El sistema de calidad de la Educación Superior Aprendizajes de los ECAES (2004 – 2008) Marco Legal de la transformación de los Exámenes de Estado de la Educación Superior Decreto 3963 Periodo de transición Resoluciones de características mínimas Propósitos de los nuevos exámenes Los nuevos exámenes de ES: SABER PRO Módulos Competencias Genéricas Competencias Comunes a Grupos de Programas Producción de resultados: Grupos de Referencia Transición ECAES – SABER PRO Cómo se construye Avance Evaluación Noviembre 2011 Combinaciones de módulos

3 Plan de la presentación
El sistema de calidad de la Educación Superior Aprendizajes de los ECAES (2004 – 2008) Marco Legal de la transformación de los Exámenes de Estado de la Educación Superior Decreto 3963 Periodo de transición Resoluciones de características mínimas Propósitos de los nuevos exámenes Los nuevos exámenes de ES: SABER PRO Módulos Competencias Genéricas Competencias Comunes a Grupos de Programas Producción de resultados: Grupos de Referencia Transición ECAES – SABER PRO Cómo se construye Avance Evaluación Noviembre 2011 Combinaciones de módulos

4 Objetivos del Sistema de Calidad de la Educación Superior
Promover, gestionar y mejorar permanentemente la calidad de las instituciones y programas de educación superior y su impacto en la formación de los estudiantes Generar una cultura de evaluación y autoevaluación permanente y sistemática Propender por la pertinencia y cobertura de la Educación Superior en el país Fomentar la búsqueda de la atención integral de los estudiantes y demás actores de la comunidad académica, con los servicios del sistema Promover una cultura de autocontrol que conduzca a una mayor eficiencia y transparencia en la gestión de las Instituciones de Educación Superior

5 Sistema de Calidad de la Educación Superior
Evaluación Fomento Aseguramiento de la calidad Registro calificado Planes de mejoramiento Reconocimiento a la excelencia Verificación de condiciones Acreditación de calidad Inspección y Vigilancia Ministerio de Educación Nacional CESU CONACES C.N.A. Formulación de políticas públicas Normas y procesos de calidad Investigación científica para el mejoramiento continuo Operación del modelo Verificación del cumplimiento de normas SNIES. Sistema Nacional de Información de la Educación Superior SACES. Sistema de Aseguramiento de la Calidad de la Educación Superior SPADIES. Sistema de Prevención y Atención de la Deserción de la Educación Superior OLE. Observatorio Laboral de la Educación ICFES I E S

6 Evaluación en el Sistema de Calidad de la Educación Superior
Normatividad Antecedentes Normativos Actualización legislativa de la evaluación externa. Ley 1188 de 2008 Condiciones generales de calidad Decreto reglamentario 1295 de 2010 Características específicas de calidad Ley 1324 de 2009 Cambia la naturaleza jurídica las funciones del ICFES Regula los Exámenes de Estado Decreto 3963 de 2009 Reglamenta las pruebas de estado de la educación superior

7 Evaluación en el Sistema de Calidad de la Educación Superior
Estudiantes Saber 11º Saber Pro Docentes Uso efectivo de los resultados de la evaluación docente como insumo para el mejoramiento de la calidad IES y Programas Seguimiento a las condiciones de oferta de programas Seguimiento a la permanencia (SPADIES) Atención integral al estudiante Egresados Vinculación al mercado laboral (Observatorio Laboral para la Educación)

8 Objetivos de SABER PRO (Decreto 3963 de 2009)
Evaluación de Estudiantes en el Sistema de Calidad de la Educación Superior Pruebas Saber Pro Objetivos de SABER PRO (Decreto 3963 de 2009) Servir de fuente de información para la construcción de indicadores de evaluación de la calidad de los programas e instituciones de educación superior y del servicio público educativo, que soporten la cualificación de los procesos institucionales, la formulación de políticas y el proceso de toma de decisiones en todos los órdenes y componentes del sistema educativo. Comprobar el grado de desarrollo de las competencias de los estudiantes próximos a culminar los programas que ofrecen las instituciones de educación superior de tal manera que sirva como insumo para el mejoramiento continuo. Producir indicadores de valor agregado de la educación superior en relación con el nivel de competencias de quienes ingresan a este nivel.

9 Plan de la presentación
El sistema de calidad de la Educación Superior Aprendizajes de los ECAES (2004 – 2008) Marco Legal de la transformación de los Exámenes de Estado de la Educación Superior Decreto 3963 Periodo de transición Resoluciones de características mínimas Propósitos de los nuevos exámenes Los nuevos exámenes de ES: SABER PRO Módulos Competencias Genéricas Competencias Comunes a Grupos de Programas Producción de resultados: Grupos de Referencia Transición ECAES – SABER PRO Cómo se construye Avance Evaluación Noviembre 2011 Combinaciones de módulos

10 Número de programas evaluados, 2004 - 2008
38 50 54 55

11 Total de estudiantes evaluados por área del conocimiento, 2004 - 2008

12 Puntajes promedio ECAES, 2004 - 2008

13 Puntaje ECAES, 2008 Diferencias Oficial – Privado

14 Participación por ECAES
5 ECAES concentraban el 44% de los evaluados, mientras 15 representaban tan sólo el 3%.

15 Limitaciones de los ECAES (2004 – 2008)
Los resultados producidos presentan las siguientes dificultades para construir indicadores que apoyen la toma de decisiones sobre calidad en Educación Superior: Sesgo por no presentación del examen de una parte importante de la población (cerca del 25% entre individuales y programas enteros). Imposibilidad para comparar las medidas entre programas: los exámenes evalúan cosas distintas en poblaciones distintas. Ni los promedios, ni las distribuciones, ni las variaciones son comparables. Posibilidades restringidas de uso para la toma de decisiones en los niveles altos de la administración del sistema (por encima de programa: facultades, rectorías, MEN, público en general) debido a la atomización de resultados.

16 Limitaciones de los ECAES (2004 – 2008)
Posibilidades restringidas de interpretación pedagógica de los resultados de los exámenes particulares. No se asocian a los puntajes descripciones pedagógicas sobre qué pueden hacer los estudiantes y qué les falta. Con excepción de Inglés y de una evaluación limitada de Comprensión Lectora, no se da cuenta del desarrollo de competencias transversales, requeridas para cualquier profesional. Orientación a la producción de resultados brutos, no medidas de valor agregado. Los mejores puntajes corresponden sistemáticamente a las instituciones con procesos de selección más estrictos. Problemas técnicos que afectan la calidad de las mediciones debidos a los tamaños demasiado pequeños de las poblaciones que se evalúan con algunos de ellos.

17 Plan de la presentación
El sistema de calidad de la Educación Superior Aprendizajes de los ECAES (2004 – 2008) Marco Legal de la transformación de los Exámenes de Estado de la Educación Superior Decreto 3963 Periodo de transición Resoluciones de características mínimas Propósitos de los nuevos exámenes Los nuevos exámenes de ES: SABER PRO Módulos Competencias Genéricas Competencias Comunes a Grupos de Programas Producción de resultados: Grupos de Referencia Transición ECAES – SABER PRO Cómo se construye Avance Evaluación Noviembre 2011 Combinaciones de módulos

18 Marco legal – Decreto 3963 de 2009
Competencias a evaluar Se deben evaluar las competencias de los estudiantes que están próximos a culminar los distintos programas de pregrado, en la medida en que puedan ser valoradas con exámenes externos de carácter masivo, incluyendo aquellas genéricas que son necesarias para el adecuado desempeño profesional o académico independientemente del programa que hayan cursado. Las competencias específicas serán definidas por el MEN con la participación de la comunidad académica, profesional y del sector productivo, teniendo en cuenta los elementos disciplinares fundamentales de la formación superior que son comunes a grupos de programas en una o más áreas del conocimiento. Los exámenes estandarizados no pretenden ser la medida de la calidad de la formación impartida.

19 Marco legal – Decreto 3963 de 2009
Nuevas reglas Obligatoriedad de los exámenes de Estado (de Media y Superior), para ingresar al pregrado y obtener el título Adopción de estructuras de examen e indicadores comparables por períodos no menores a 12 años Establecimiento de un periodo de transición para la adopción gradual de las nuevas estructuras. Durante este periodo se elaborarán y validarán las nuevas evaluaciones.

20 Competencias del MEN y del ICFES MINISTERIO DE EDUCACIÓN
Establece los propósitos de la evaluación, sus efectos y, a través de las resoluciones, qué debe evaluarse: Competencias genéricas Competencias comunes Competencias específicas Diseña y construye las pruebas, las aplica y produce reportes de resultados (individuales y agregados): Instrumentos (módulos) Resultados por grupos de referencia En cooperación con: Comunidad académica Sector productivo

21 Resoluciones de características específicas definidas por competencias
Área Apoyo Proyectos de resolución para evaluación por CONACES Derecho ACOFADE Arquitectura ACFA Economía AFADECO Ingeniería ACOFI Psicología ASCOFAPSI Administración ASCOLFA 30 de agosto. Presentación propuesta por parte de entidades de apoyo Salud Alianza de Salud Comunicación AFACOM Veterinaria y Agrarias ASFAMEVEZ y ACOFIA Contaduría REDFACONT Ciencias Naturales ACOFACIEN

22 Plan de la presentación
El sistema de calidad de la Educación Superior Aprendizajes de los ECAES (2004 – 2008) Marco Legal de la transformación de los Exámenes de Estado de la Educación Superior Decreto 3963 Periodo de transición Resoluciones de características mínimas Propósitos de los nuevos exámenes Los nuevos exámenes de ES: SABER PRO Módulos Competencias Genéricas Competencias Comunes a Grupos de Programas Producción de resultados: Grupos de Referencia Transición ECAES – SABER PRO Cómo se construye Avance Evaluación Noviembre 2011 Combinaciones de módulos

23 Propósito de los nuevos exámenes
Apoyar el Sistema de Aseguramiento de la Calidad de la Educación Superior con mejor información para la toma de decisiones. Evaluar todo el sistema de ES Garantizar la utilidad de los indicadores Garantizar la confiabilidad y la continuidad Garantizar interpretación pedagógica

24 Propósito de los nuevos exámenes
Evaluar todo el sistema de ES La Ley 1324 hizo obligatorio el presentarse al examen para obtener el título. Con esta medida se logró corregir el sesgo enorme que producía la no presentación del examen por parte de estudiantes y programas enteros. El nuevo esquema de evaluación debe permitir evaluar a la totalidad de la población de ES.

25 Propósito de los nuevos exámenes
Garantizar la utilidad de los indicadores Los indicadores producidos deben apoyar la toma de decisiones de los distintos niveles del sistema de educación y de otros grupos de interés: deben permitir hacer comparaciones y establecer referentes para diversas agrupaciones. Se deben evaluar elementos comunes para distintos tipos de formación. Para poder identificar experiencias exitosas de formación en ES no basta con medir resultados de salida de los estudiantes. Es necesario tener una medida de variación entre la entrada y la salida, una medida de valor agregado.

26 Propósito de los nuevos exámenes
Garantizar la confiabilidad y la continuidad de los indicadores Se deben garantizar las condiciones técnicas de evaluación en exámenes estandarizados, en particular, respetar los tamaños mínimos de grupos evaluados. La evaluación se debe enfocar en los elementos fundamentales que no son susceptibles de variar en el corto plazo. La evaluación de elementos altamente específicos y variables debe desarrollarse en las instituciones de ES.

27 Propósito de los nuevos exámenes
Garantizar interpretación pedagógica Para que la evaluación produzca una información rica en términos cualitativos, que permita orientar las decisiones pedagógicas, es necesario identificar niveles y elaborar interpretaciones de los rendimientos que los caracterizan.

28 Plan de la presentación
El sistema de calidad de la Educación Superior Aprendizajes de los ECAES (2004 – 2008) Marco legal de la transformación de los Exámenes de Estado de la Educación Superior Decreto 3963 Periodo de transición Resoluciones de características mínimas Propósitos de los nuevos exámenes Los nuevos exámenes de ES: SABER PRO Módulos Competencias Genéricas Competencias Comunes a Grupos de Programas Producción de resultados: Grupos de Referencia Transición ECAES – SABER PRO Cómo se construye Avance Evaluación Noviembre 2011 Combinaciones de módulos

29 Estructura de los exámenes
Los exámenes SABER PRO se estructuran por módulos (componentes combinables ) de evaluación de dos tipos de competencias: Competencias genéricas Competencias específicas comunes a grupos de programas Algunos módulos de competencias genéricas se incorporarán también a SABER 11º para producir medidas de valor agregado.

30 Módulos de Competencias Genéricas
Lectura Crítica Razonamiento Cuantitativo Cultura Ciudadana y Entendimiento del Entorno Redacción Inglés Todas las personas que presenten el examen deberán tomar estas pruebas comunes.

31 Módulos de Competencias Genéricas
Lectura Crítica: desempeños asociados a Lectura, Pensamiento Crítico y Entendimiento Interpersonal Leer analítica y reflexivamente. Comprender los planteamientos expuestos en un texto e identificar sus perspectivas y juicios de valor. Identificar y recuperar información presente en uno o varios textos, construir su sentido global, establecer relaciones entre enunciados y evaluar intencionalidad. Se evaluará también en SABER 11º.

32 Módulos de Competencias Genéricas
Razonamiento Cuantitativo: desempeños relacionados con Uso Lenguaje Cuantitativo y Solución de Problemas. Comprensión de conceptos básicos de las matemáticas para analizar, modelar y resolver problemas, aplicando métodos y procedimientos cuantitativos y esquemáticos. Interpretación de datos, la formulación de problemas y la ejecución, evaluación y validación de procedimientos y estrategias. Se evaluará también en SABER 11º.

33 Módulos de Competencias Genéricas
Competencias Ciudadanas y Entendimiento del Entorno Reconocer y valorar la diversidad cultural y los derechos individuales y colectivos. Entender, en el contexto nacional y global, los grandes problemas sociales, económicos, políticos y ambientales contemporáneos. Identificar dilemas éticos en situaciones concretas. En desarrollo

34 Módulos de Competencias Genéricas
Escritura Comunicar ideas por escrito referidas a un tema dado. Los escritos se califican teniendo en cuenta los siguientes criterios: Elaboración de la intención y el propósito. Claridad de la estructura y la organización. Manejo del lenguaje y las convenciones.

35 Módulos de Competencias Genéricas
Inglés Comunicarse efectivamente en inglés. Permiten clasificar a los evaluados en cuatro categorías de desempeño, según las bandas del Marco Común Europeo. Se evalúa en SABER 11º.

36 Módulos de Competencias Específicas comunes de grupos de programas
Cada módulo evalúa un saber hacer complejo en contexto que se define con base en las competencias fundamentales de grupos de programas o áreas de conocimiento. Se refieren a problemas que son comunes a distintos programas, más que a contenidos curriculares específicos. Corresponden a una definición de cada formación, no de forma aislada, sino a partir de sus interacciones y sus elementos comunes con las demás. Se usan para evaluar estudiantes de distintos programas, incluso de distintas áreas del conocimiento.

37 Módulos de competencias comunes
Ejemplos: Diseño en ingeniería Indagación Investigación en ciencias sociales Salud pública Gestión de recursos El Ministerio determinará, a partir de 2012, para cada programa, los módulos que serán obligatorios para sus estudiantes, con base en lo establecido en las resoluciones de características mínimas. De acuerdo con su orientación propia, cada programa podrá seleccionar módulos adicionales (sujeto a limitaciones de tamaño de estos) en los que evaluar a sus estudiantes.

38 Producción de resultados
No se pretende que los estudiantes de todas las formaciones desarrollen a un mismo nivel las competencias genéricas, ni aún las comunes a grupos de programas. Entregar solo un puntaje o un promedio no es informativo, es preciso ubicarlo con respecto a una referencia. Para que la referencia tenga sentido, es preciso conformar grupos de referencia. Se deben definir niveles de desempeño para los módulos.

39 Se han conformado 30 grupos de referencia según nivel de formación:
Agrupación de programas con características similares entre los que se compararán los resultados de la evaluación. Los grupos de referencia se definieron según la clasificación de programas del Sistema Nacional de Información de la Educación Superior (SNIES) del Ministerio de Educación Nacional y la Clasificación Internacional Normalizada de la Educación (CINE) de la Unesco. Se han conformado 30 grupos de referencia según nivel de formación: 14 de nivel universitario 6 de nivel tecnológico 6 de nivel técnico 2 para niveles técnicos y tecnólogos 1 para todos los niveles 1 para el ciclo de normalistas superiores

40 Presentación de resultados
Se entregarán resultados por módulo. No habrá un puntaje total del examen. RESULTADOS INDIVIDUALES – por módulo Puntaje Nivel de desempeño Promedio de puntajes en el grupo de referencia Desviación estándar de puntajes del grupo de referencia RESULTADOS INSTITUCIONALES – por módulo Resultados individuales (de sus estudiantes) Distribución por niveles de desempeño (público) Promedios de puntajes en relación con los promedios y desviaciones del grupo de referencia y el total nacional (público)

41 Número de programas por nivel clasificados en cada grupo de referencia
Grupos de referencia Número de programas por nivel clasificados en cada grupo de referencia Administración y turismo 2.568 Técnico 905 Tecnológico 1.663 Arquitectura y urbanismo 160 Universitario Artes – diseño - comunicación 850 405 445 Bellas artes y diseño 388 Ciencias agropecuarias 814 169 393 252 Ciencias económicas y administrativas 2.160 Universitario Ciencias militares y navales 13 Ciencias naturales y exactas 346 Ciencias sociales 633 Comunicación, periodismo y publicidad 345 Derecho 416 Educación 2.194

42 Número de programas por nivel clasificados en cada grupo de referencia
Grupos de referencia Número de programas por nivel clasificados en cada grupo de referencia Humanidades 222 Universitario Ingeniería 2.384 Ingeniería, industria y minas 1.431 Técnico 387 Tecnológico 1.044 Judicial 168 No universitario Medicina 151 Militar y policial 26 Normales superiores 492 Recreación y deportes 120 Todas Salud 916 Técnico 127 Tecnológico 226 Universitario 563 TIC 1.026 293 733 TOTAL GENERAL 17.823

43 Plan de la presentación
El sistema de calidad de la Educación Superior Aprendizajes de los ECAES (2004 – 2008) Marco legal de la transformación de los Exámenes de Estado de la Educación Superior Decreto 3963 Periodo de transición Resoluciones de características mínimas Propósitos de los nuevos exámenes Los nuevos exámenes de ES: SABER PRO Módulos Competencias Genéricas Competencias Comunes a Grupos de Programas Producción de resultados: Grupos de Referencia Transición ECAES – SABER PRO Cómo se construye Avance Evaluación Noviembre 2011 Combinaciones de módulos

44 Transición ECAES – SABER PRO

45 Transición ECAES – SABER PRO El proceso…
Se ha realizado un proceso participativo en la elaboración y validación de módulos y en la construcción de preguntas: Participación de más de 30 Asociaciones de Facultades, Redes y Programas. Más de 60 talleres, grupos focales y sesiones de discusión para la elaboración de módulos y validación de especificaciones. Más de 50 sesiones de validación de especificaciones de módulos cubriendo todas las regiones del país y en las ciudades principales en donde tienen sede los diferentes programas. Participación de más de 500 docentes de Instituciones de Educación Superior en todas las fases del proceso de diseño de módulos.

46 Plan de la presentación
El sistema de calidad de la Educación Superior Aprendizajes de los ECAES (2004 – 2008) Marco legal de la transformación de los Exámenes de Estado de la Educación Superior Decreto 3963 Periodo de transición Resoluciones de características mínimas Propósitos de los nuevos exámenes Los nuevos exámenes de ES: SABER PRO Módulos Competencias Genéricas Competencias Comunes a Grupos de Programas Producción de resultados: Grupos de Referencia Transición ECAES – SABER PRO Cómo se construye Avance Evaluación Noviembre 2011 Combinaciones de módulos

47 Aplicación de noviembre 2011
Competencias Genéricas Lectura Crítica Razonamiento Cuantitativo Inglés Escritura Competencias Específicas Cada programa establece, según su grupo de referencia, en cuál de las 50 combinaciones de módulos de competencias comunes son evaluados sus estudiantes. Mañana Tarde

48 Módulos para el examen SABER PRO de Noviembre de 2011
Se ha logrado consolidar 20 módulos de competencias específicas comunes a grupos de programas. No se pretende que todos los programas de una misma área tomen los mismos módulos. La oferta de exámenes para noviembre se estructuró en 50 combinaciones de módulos. Se han definido diferentes combinaciones de módulos para cada grupo de referencia. Cada programa seleccionará aquella que sea más afín con su perfil de formación, entre las que se ofrezcan para su grupo de referencia.

49 Competencias Específicas Comunes
MÓDULOS 1 Administración y gestión de la salud 2 Comunicación Científica 3 Desarrollo e implementación de estrategias comerciales y logísticas 4 Diseño de ingeniería 5 Ensamblaje, mantenimiento y operación de maquinaria y equipos 6 Enseñar 7 Ética y bioética 8 Evaluar 9 Formar 10 Formulación de proyectos de Ingeniería 11 Gestión de proyectos 12 Indagación 13 Indagación y modelación 14 Investigación en Sociales y Humanidades 15 Módulos específicos de Derecho 16 Producción agrícola 17 Producción pecuaria 18 Producción sostenible y manejo de sistemas de producción agropecuario 19 Salud pública 20 Salud y Bienestar Animal Competencias Específicas Comunes

50 Muchas Gracias!

51 Resultados de noviembre 2011
Se entregarán resultados por módulo. No habrá un puntaje total del examen. Se reportarán Quintiles de puntaje en lugar de niveles de desempeño. Los resultados institucionales no serán públicos, se entregarán individualmente a cada universidad. Para permitir la investigación con resultados, estos se publicarán sin identificar a las instituciones. RESULTADOS INDIVIDUALES – por módulo Puntaje Quintil dentro del grupo de referencia Promedio de puntajes en el grupo de referencia Desviación estándar de puntajes del grupo de referencia RESULTADOS INSTITUCIONALES – por módulo Resultados individuales (de sus estudiantes) Distribución por quintiles dentro del grupo de referencia (NO PÚBLICO) Promedios de puntajes en relación con los promedios y desviaciones del grupo de referencia y el total nacional (NO PÚBLICO)