SABER PRO Examen de Estado de la Calidad de la Educación Superior TALLER CONSTRUCCIÓN DE ITEMS INGENIERIAS Bogotá, Agosto 13 de 2012

AGENDA 1. CONTEXTO GENERAL 2. PROCESO DE CONSTRUCCION DE PRUEBAS. 3.PROCESO DE CONSTRUCCIÓN DE ITEMS - METODOLOGIA DEL TALLER. 4. APLICATIVO.

ASPECTOS LEGALES PRUEBA SABER PRO Evalúa las competencias necesarias para el adecuado desempeño profesional o académico, incluyendo las competencias genéricas que todo egresado de la educación superior debe tener, independientemente del programa que haya cursado. La totalidad de los estudiantes de programas a evaluar que hayan aprobado por lo menos el 75% de los créditos académicos. Mediante la aplicación de pruebas estandarizadas.

OBJETIVOS Ley 1324 de julio de 2009 y Decreto 3963 de octubre de 2009 Comprobar el desarrollo de las competencias de los estudiantes de educación superior que están próximos a graduarse Producir indicadores de valor agregado de la educación superior Proporcionar información para comparar programas, instituciones y metodologías, y mostrar su evolución en el tiempo

1.Balance de trabajo – I

Estructura de los exámenes Los exámenes SABER PRO se estructuran por módulos de evaluación de dos tipos de competencias: 1.Competencias genéricas (sesión de la mañana) 2.Competencias específicas comunes a grupos de programas (sesión de la tarde)

2010: Se elaboró el marco de referencia con 5 dimensiones a evaluar: Habilidades matemáticas y científicas en ingeniería Investigación y manejo de la información Formulación de proyectos de ingeniería Diseño en ingeniería Naturaleza de la ingeniería Marco de Referencia y Especificaciones de prueba

Aplicación de pruebas 2011 – I DimensiónComponentes Ítems/ componente Ítems/ dimensión Indagación, modelamiento e incertidumbre Indagación Modelamiento8 Manejo de incertidumbre7 Investigación y manejo de información Investigación y estudios10 18 Herramientas informáticas para el manejo de información 8 Diseño en ingeniería Diseño conceptual8 16 Identificación del problema de diseño8 Formulación de proyectos Identificación y caracterización de los proyectos 5 16 Formulación de proyectos de ingeniería11 TOTAL80

Aplicación de pruebas 2011 – II MóduloNo. de preguntas Indagación 2 (módulo de ingeniería) 30 Modelamiento (módulo compartido por ingeniería y ciencias naturales) 30 Diseño en ingeniería*24 Formulación de proyectos Naturaleza de la ingeniería 24 TOTAL **

Aplicación de pruebas 2011 – II Categorías Diseño en IngenieríaNo. de preguntas Diseño de infraestructura 24 Diseño de procesos agroalimentarios 24 Diseño de procesos industriales 24 Diseño de software 24 Diseño de sistemas productivos y logísticos 24 Diseño de sistemas de control 24 Diseño de sistemas de desarrollo sostenible 24 Diseño de sistemas mecánicos 24 Diseño de sistemas productivos agropecuarios ---

Aplicación de pruebas 2012 – I MóduloNo. de preguntas Indagación 35 Modelamiento35 Formulación de proyectos Naturaleza de la ingeniería 35 Diseño en ingeniería*24 TOTAL **

Aplicación de pruebas 2012 – I Categorías Diseño en IngenieríaNo. de preguntas Diseño de infraestructura 24 Diseño de procesos agroalimentarios 24 Diseño de procesos industriales 24 Diseño de software 24 Diseño de sistemas productivos y logísticos 24 Diseño de sistemas de control 24 Diseño de sistemas de desarrollo sostenible 24 Diseño de sistemas mecánicos 24 Diseño de sistemas productivos agropecuarios 24

FUNDAMENTACIÓN CONCEPTUAL CONSTRUCCIÓN DE PRUEBAS ANALISIS DE ÍTEMS RESULTADOS DIVULGACIÓN Y SOCIALIZACIÓN APLICACIÓN DE PRUEBAS PROCESAMIENTO PROCESO DE EVALUACIÓN

ELEMENTOS DEL MODELO BASADO EN EVIDENCIAS PropósitoPropósito Analizar Dominio (Componentes) (Componentes) ConstruirAfirmacionesConstruirAfirmaciones Definir Tareas Actividades Actividades PlantearEvidenciasPlantearEvidencias

Validez: Que mida lo que pretende medir Validez: Que mida lo que pretende medir Confiabilidad: Que se obtengan medidas precisas y repetitivas. Confiabilidad: Que se obtengan medidas precisas y repetitivas. Objetividad: Independiente de la población a evaluar y del ente evaluador. Objetividad: Independiente de la población a evaluar y del ente evaluador. Condiciones de una Prueba Condiciones de una Prueba

PROCESO DE CONSTRUCCIÓN DE ÍTEMS Definición y distribución de los ítems Definición y distribución de los ítems Taller de capacitación Revisión Construcción individual Validación Revisión de estilo Revisión ICFES Diagramación Ingreso al Banco de ítems - Identificador

¿QUE SE ESPERA CONSTRUIR? DIMENSIÓN CASOS 5 -6 preguntas INDIVIDUALES TOTAL 1 de septiembre Diseño en Ingeniería (por cada contexto) 635 Formulación de proyectos 40

SELECCIONADA Selección Múltiple: Con única respuesta Con múltiple respuesta De información suficiente De análisis de relación Falso/verdadero Apareamiento CONSTRUIDA Completamiento Respuesta corta Respuesta extendida Ensayo Si la respuesta dada por el estudiante es TIPOS DE ÍTEMS Y COMPLEJIDAD

ÍTEMS DE SELECCIÓN MÚLTIPLE CON ÚNICA RESPUESTA Este tipo de preguntas consta de un enunciado y de cuatro opciones de respuesta entre las cuales debe escogerse la que se considera válida. La opción válida es aquella que además de ser correcta desde lo disciplinar, responde o da solución al problema/tarea planteado en el enunciado.

CASO Se desprenden varias preguntas que se componen de UN ENUNCIADO CUATRO OPCIONES DE RESPUESTA ESTRUCTURA DE UN ÍTEMS

CASO Representa la descripción, basada en diferentes fuentes de información, de una situación problemática próxima a situaciones reales profesionales. Se busca que el caso brinde al estudiante la oportunidad de demostrar sus competencias en la solución de un problema de ingeniería.

CARACTERÍSTICAS DE UN CASO Coherencia con la tarea de evaluación. Coherencia con las condiciones logísticas de la evaluación (tiempo y complejidad). La selección del contexto es una labor exigente en cuanto a su propósito es justamente contextualizar y no confundir al evaluado. De acuerdo con el marco de referencia para la prueba de ingeniería: – Debe plantear un problema o situación realista en Ingeniería que el estudiante pueda resolver. – Debe ser lo suficientemente genérico para que cualquier estudiante de Ingeniería lo pueda resolver. – Debe contener información suficiente para poder generar entre tres y cuatro preguntas. – No debe contener información irrelevante, al menos que se quiera – No todos los casos deben tener preguntas con todos los tipos de conocimiento. Se explicará con base en un ejemplo suministrado por ACOFI

ENUNCIADO Es el planteamiento de la problemática que se espera sea resuelta por el evaluado. En el enunciado se expone la tarea de evaluación elegida para dar cuenta del objeto evaluado y por tanto dirige el esfuerzo del evaluado para generar o seleccionar una respuesta 1 Puede ser presentados en forma de Pregunta, afirmación, solicitud Acción o proceso cognitivo Conocimiento disciplinar 1 AERA, APA, NCME. (1999). Standards for educational and Psychological testing. Washington.

OPCIONES DE RESPUESTA Son posibles respuestas a la problemática planteada en el enunciado. Para el tipo de pregunta de selección múltiple con única respuesta sólo una de ellas es válida (conocida como Clave)

Ejemplo ítems liberados

REGLAS PARA LA CONSTRUCCIÓN DE ÍTEMS

REGLAS GENERALES Verificar que el ítem corresponda con los propósitos de la evaluación, la estructura de la prueba y los valores taxonómicos definidos.

REGLAS GENERALES Todos los ítems de una prueba deben ser independientes entre sí. La información de uno no debe servir de pauta para contestar otro, ni la respuesta a un ítem debe depender de haber encontrado primero la de uno anterior.

REGLAS GENERALES Evitar los ítems que pueden contestarse por sentido común y aquellos cuya respuesta depende únicamente de recordar un término, un símbolo, un dato o la fecha en que ocurrió un evento, a menos que esa sea la tarea a evaluar.

REGLAS GENERALES Evitar expresiones rebuscadas que puedan confundir. Se recomienda emplear un lenguaje directo, sencillo y comprensible.

REGLAS GENERALES Los ítems no deben contener juicios de valor explícitos o implícitos.

REGLAS GENERALES Coherencia gramatical y ortográfica de cada uno de los ítems

REGLAS GENERALES PRUEBA INGENIERIA Las preguntas pueden evaluar conocimientos declarativo, procedimental y esquemático. Se sugiere incluir preguntas para cada tipo de conocimiento a evaluar. Las preguntas solamente se pueden contestar leyendo y entendiendo el caso. Las preguntas pueden evaluar diferentes dimensiones, componentes y evidencias.

REGLAS SOBRE LOS ENUNCIADOS Presente en el enunciado la tarea de evaluación.

REGLAS SOBRE LOS ENUNCIADOS Los enunciados deben ser afirmativos, en caso de ser necesaria la negación, se debe llamar la atención hacia la formulación negativa con el uso de la mayúscula y negrilla.

La doble negación puede afectar la comprensión, por ejemplo. : “No es cierto que no procedan los recursos”. REGLAS SOBRE LOS ENUNCIADOS

Evitar enunciados demasiado extensos y poco atractivos ya que desmotivan la lectura, disminuyen el tiempo de respuesta y fatigan. REGLAS SOBRE LOS ENUNCIADOS

Garantizar la coherencia interna del enunciado y de este con las opciones de respuesta. REGLAS SOBRE LOS ENUNCIADOS

Deben pertenecer al mismo campo semántico y asegurar la concordancia gramatical entre la proposición del enunciado y cada opción. REGLAS SOBRE LAS OPCIONES

No deben dar indicaciones sobre la clave por ofrecer un cierto contraste en cuanto a  longitud  precisión / imprecisión  uso común / técnico  generalización / particularización REGLAS SOBRE LAS OPCIONES

No se deben repetir expresiones si éstas se pueden incluir en el enunciado del ítem; repetir una palabra del enunciado, en cualquiera de las opciones, puede llevar a que sea elegida como respuesta, sin serlo. REGLAS SOBRE LAS OPCIONES

Se deben evitar expresiones como “todas o ninguna de las anteriores, nunca, siempre, totalmente, absolutamente, completamente”, en su lugar construir alternativas de respuesta plausibles. REGLAS SOBRE LAS OPCIONES

Mantener la independencia entre las opciones. No deben ser sinónimas. REGLAS SOBRE LAS OPCIONES

Evite opciones fácilmente descartables. REGLAS SOBRE LAS OPCIONES

Justifique cada una de las opciones, lo cual ayudará a que solo hay solo una válida y que las demás son plausibles para quienes no dominan completamente la tarea de evaluación. REGLAS SOBRE LAS OPCIONES

COMO GARANTIZAR LA CONFIDENCIALIDAD Durante los talleres de revisión y ajuste de los ítems se deberán aplicar los mecanismos de seguridad establecidos, para evitar que los ítems sean conocidos por personas ajenas al grupo responsable de la construcción. Garantizar que no queden en circulación colectiva las versiones impresas o magnéticas, de los ítems generados durante el proceso de construcción, de revisión y ajuste de los mismos. Finalizado este proceso, las versiones de los ítems que no vayan a ser incluidos en la prueba deben ser destruidos, y borrados de los discos duros de los computadores, memorias USB, CDs, etc., verificando que se eliminen de la papelera.

METODOLOGÍA DE CONTRUCCIÓN DE ITEMS Se inicia con la presentación y discusión de los casos previamente elaborados por los constructores. Elaboración de un ítem en forma individual o en grupo. Trabajo por contexto de diseño, para discutir y seleccionar varios ítems y diligenciados. Selección preguntas Plenaria: Presentación de los casos y preguntas elaborados en cada contexto de diseño.

¡Muchas gracias! Equipo de trabajo ICFES Stella Sierra Salinas Yanneth Castelblanco Marcelo Luis Alfredo Posada Delgado Juan Francisco Velázquez