Taller Evaluación externa y construcción de Ítems

Presentación del tema: "Taller Evaluación externa y construcción de Ítems"— Transcripción de la presentación:

1 Taller Evaluación externa y construcción de Ítems
Comprometidos con la excelencia en la enseñanza de la ingeniería Bucaramanga, 14 de agosto de 2015

2 Yanneth Castelblanco Marcelo Bucaramanga, 14 de agosto de 2015
Taller Evaluación externa y construcción de Ítems Yanneth Castelblanco Marcelo Bucaramanga, 14 de agosto de 2015

3 Comprometidos con la excelencia en la enseñanza de la ingeniería
Propósito del taller Comprometidos con la excelencia en la enseñanza de la ingeniería Aproximar a los participantes a los fundamentos técnicos desde los que se ha estructurado y consolidado el examen Saber Pro para el área de Ingeniería. Primera parte: contexto general del examen Saber Pro y de la evaluación en el área. Segunda parte: construcción de un ítem.

4 Comprometidos con la excelencia en la enseñanza de la ingeniería
Agenda Comprometidos con la excelencia en la enseñanza de la ingeniería Reflexión inicial. Evaluación externa. Estructura de Saber Pro. Módulos específicos en el área de ingeniería. Construcción de ítems. Cierre.

5 Comprometidos con la excelencia en la enseñanza de la ingeniería
1. Reflexión Inicial

6 Comprometidos con la excelencia en la enseñanza de la ingeniería
2. Reflexión Inicial Comprometidos con la excelencia en la enseñanza de la ingeniería ¿Para qué realiza una evaluación? ¿Qué criterios utiliza para evaluar? ¿Cómo selecciona los criterios con los que evalúa? ¿Qué aspectos tiene en cuenta cuando diseña una evaluación? ¿Cómo da información a los estudiantes acerca de su desempeño partir de una evaluación?

7 Comprometidos con la excelencia en la enseñanza de la ingeniería
Evaluación Comprometidos con la excelencia en la enseñanza de la ingeniería Es el proceso mediante el cual se llega a inferencias o a juicios sobre los aprendizajes de los estudiantes basado en un conjunto de observaciones sistemáticamente medidas. Con la evaluación se pretende elaborar juicios a cerca de las competencias o habilidades de los estudiantes y se busca que estos juicios sean válidos en el contexto educativo.

8 Comprometidos con la excelencia en la enseñanza de la ingeniería
2. Evaluación Externa

9 Sistema de Aseguramiento de la Calidad de la Educación Superior
Comprometidos con la excelencia en la enseñanza de la ingeniería Sistema de Aseguramiento de la Calidad de la Educación Superior Para brindar garantías en los temas de evaluación, certificación y acreditación de la calidad de a educación superior en Colombia. Lo conforman los organismos, las acciones y las estrategias que aplican desde el proceso mismo de creación y establecimiento de una institución de educación superior, hasta el desempeño del profesional que egresa del sistema.

10 Comprometidos con la excelencia en la enseñanza de la ingeniería
Objetivos del sistema de Aseguramiento de la Calidad de la Educación Superior Promover, gestionar y mejorar permanentemente la calidad de las instituciones y programas de Educación Superior y su impacto en la formación de los estudiantes. Generar una cultura de evaluación y autoevaluación permanente y sistemática. Propender por la pertinencia y cobertura de la Educación Superior en el país.

11 Comprometidos con la excelencia en la enseñanza de la ingeniería
Objetivos del sistema de Aseguramiento de la Calidad de la Educación Superior Fomentar la búsqueda de la atención integral de los estudiantes y demás actores de la comunidad educativa, con los servicios del sistema. Promover una cultura de autocontrol que conduzca a una mayor eficiencia y transparencia en la gestión de las Instituciones de Educación Superior.

12 Comprometidos con la excelencia en la enseñanza de la ingeniería

13 Comprometidos con la excelencia en la enseñanza de la ingeniería
3. Examen Saber Pro

14 Propósito de los nuevos exámenes
Comprometidos con la excelencia en la enseñanza de la ingeniería Apoyar el Sistema de Aseguramiento de la Calidad de la Educación Superior con mejor información para la toma de decisiones: Evaluar todo el sistema de educación superior. Garantizar la utilidad de los indicadores. Garantizar la confiabilidad y la continuidad. Garantizar interpretación pedagógica.

15 Comprometidos con la excelencia en la enseñanza de la ingeniería
Saber Pro Comprometidos con la excelencia en la enseñanza de la ingeniería El Examen de Estado de Calidad de la Educación Superior, SABER PRO, es un instrumento estandarizado para la evaluación externa de la calidad de la educación superior. Forma parte, con otros procesos y acciones, de un conjunto de instrumentos que el Gobierno Nacional dispone para evaluar la calidad del servicio educativo y ejercer su inspección y vigilancia.

16 Comprometidos con la excelencia en la enseñanza de la ingeniería
Objetivos de Saber Pro Comprometidos con la excelencia en la enseñanza de la ingeniería (Decreto 3963 de 2009) Servir de fuente de información para la construcción de indicadores de evaluación de la calidad de los programas e instituciones de educación superior y del servicio público educativo. Comprobar el grado de desarrollo de las competencias de los estudiantes próximos a culminar los programas que ofrecen las instituciones de educación superior. Producir indicadores de valor agregado de la educación superior en relación con el nivel de competencias de quienes ingresan a este nivel.

17 Comprometidos con la excelencia en la enseñanza de la ingeniería
¿ A quien se evalúa? Comprometidos con la excelencia en la enseñanza de la ingeniería El examen SABER PRO lo presentan estudiantes de programas de técnicos profesionales, tecnologías y profesionales universitarios que hayan aprobado por lo menos el 75% de los créditos académicos del programa que cursan. La presentación de SABER PRO es obligatoria como requisito de grado, además de los otros requisitos que cada institución de educación superior haya establecido para este propósito.

18 (Decreto 3963 de 2009) Competencias a evaluar
Comprometidos con la excelencia en la enseñanza de la ingeniería Competencias a evaluar Se deben evaluar las competencias de los estudiantes que están próximos a culminar los distintos programas de pregrado, en la medida en que puedan ser valoradas con exámenes externos de carácter masivo, incluyendo aquellas genéricas que son necesarias para el adecuado desempeño profesional o académico independientemente del programa que hayan cursado.

19 (Decreto 3963 de 2009) Competencias a evaluar
Comprometidos con la excelencia en la enseñanza de la ingeniería Competencias a evaluar Las competencias específicas serán definidas por el MEN con la participación de la comunidad académica, profesional y del sector productivo, teniendo en cuenta los elementos disciplinares fundamentales de la formación superior que son comunes a grupos de programas en una o más áreas del conocimiento. Los exámenes estandarizados no pretenden ser la medida de la calidad de la formación impartida.

20 4. Estructura de Saber Pro
Comprometidos con la excelencia en la enseñanza de la ingeniería 4. Estructura de Saber Pro

21 Estructura de los Exámenes
Comprometidos con la excelencia en la enseñanza de la ingeniería Los exámenes SABER PRO se estructuran por módulos (componentes combinables) de evaluación de dos tipos de competencias: Competencias genéricas. Competencias específicas comunes a un área de formación o grupos de programas.

22 Estructura del Exámen Sesión Competencias evaluadas Módulo Primera
Comprometidos con la excelencia en la enseñanza de la ingeniería Sesión Competencias evaluadas Módulo Primera Competencias genéricas Lectura crítica Razonamiento cuantitativo Competencias ciudadanas Inglés Escritura Segunda Competencias específicas Formulación de proyectos de ingeniería Pensamiento científico (5 énfasis) Diseño en ingeniería (8 contextos)

23 Módulos específicos para el área de ingeniería
Comprometidos con la excelencia en la enseñanza de la ingeniería Módulos específicos para el área de ingeniería Pensamiento científico. Formulación de proyectos de ingeniería. Diseño en ingeniería.

24 Pensamiento Científico
Comprometidos con la excelencia en la enseñanza de la ingeniería Pensamiento Científico

25 Pensamiento Científico
Comprometidos con la excelencia en la enseñanza de la ingeniería Definición Componente No. de preguntas Involucra la capacidad que tienen los estudiantes de comprender, analizar y afrontar situaciones reales o abstractas con rigor científico. Núcleo común: evalúa habilidades generales de un estudiante de cualquier carrera donde se incluya una formación científica. 30 indagan por las mismas habilidades en un contexto específico de cada área en particular. 15 TOTAL 45 El pensamiento científico se establece como una competencia transversal a las carreras de ingeniería, ciencias de la salud, ciencias naturales, matemáticas y estadística.

26 Pensamiento Científico
Comprometidos con la excelencia en la enseñanza de la ingeniería

27 Formulación de Proyectos de Ingeniería
Comprometidos con la excelencia en la enseñanza de la ingeniería Formulación de Proyectos de Ingeniería

28 Formulación de Proyectos de Ingeniería
Comprometidos con la excelencia en la enseñanza de la ingeniería Formulación de Proyectos de Ingeniería Evalúa la capacidad para contextualizar, identificar y formular proyectos de ingeniería considerando las condiciones del entorno y el análisis de alternativas relevantes en un marco metodológico pertinente para la formulación. Se espera que el estudiante en su carrera sea capaz de comprender lo que es un proyecto en ingeniería, conocer conceptos y procedimientos básicos en la formulación de proyectos de ingeniería.

29 Comprometidos con la excelencia en la enseñanza de la ingeniería
Diseño en Ingeniería

30 Comprometidos con la excelencia en la enseñanza de la ingeniería
Diseño en Ingeniería Planifica y concibe productos tecnológicos como artefactos, sistemas o procesos, mediante la integración de conocimientos y principios de las matemáticas, ciencias, tecnología y ciencias de la ingeniería, con el fin de satisfacer necesidades y cumplir con requerimientos y restricciones técnicas, financieras, de mercado, ambientales, sociales, éticas y económicas.

31 Comprometidos con la excelencia en la enseñanza de la ingeniería
Diseño en Ingeniería Comprometidos con la excelencia en la enseñanza de la ingeniería MOMENTO DESCRIPCIÓN ESTRUCTURACIÓN Formular el problema de diseño a partir de la identificación y análisis de necesidades del usuario, para traducirlas en características técnicas del producto tecnológico. CONCEPTUAL Proponer, analizar y evaluar alternativas de solución para seleccionar la más conveniente tomando en cuenta requerimientos, restricciones y características técnicas. DETALLE Especificar en forma detallada el producto tecnológico y sus componentes.

32 5. Construcción de Preguntas
Comprometidos con la excelencia en la enseñanza de la ingeniería 5. Construcción de Preguntas

33 ETAPAS EN EL PROCESO DE EVALUACIÓN
DISEÑO DE LA EVALUACIÓN Propósito del examen Población Objeto de evaluación Estructura y especificaciones de prueba Usuarios CONSTRUCCIÓN DE PRUEBAS Procesos de: Elaboración de preguntas Revisión de preguntas Armada de pruebas APLICACIÓN DE PRUEBAS PROCESAMIENTO ANALISIS DE ITEMS Análisis de estadísticos de preguntas y prueba de acuerdo con el modelo seleccionado RESULTADOS DIVULGACIÓN Y SOCIALIZACIÓN DE LA EVALUACIÓN Y SUS RESULTADOS Interpretación y análisis contextuales de resultados, para diferentes audiencias.

34 MODELO BASADO EN EVIDENCIAS
¿Qué quiero medir? Categorías cognitivas y conceptuales en un área particular, a partir de referentes educativos (por ejemplo los Estándares de Competencias). Propósito de la evaluación Dominio Competencias Corresponden a los prototipos de actividades y situaciones que debe resolver el estudiante en una evaluación. Afirmaciones Tareas Conductas o productos observables que pueden ser evaluados para comprobar las afirmaciones Es un enunciado que se quiere hacer sobre los conocimientos, habilidades y competencias de los evaluados. Evidencias

35 Estructura de un ítem SITUACIÓN O CONTEXTO UN ENUNCIADO
Comprometidos con la excelencia en la enseñanza de la ingeniería SITUACIÓN O CONTEXTO Se desprenden varias preguntas que se componen de UN ENUNCIADO CUATRO OPCIONES DE RESPUESTA

36 ÍTEMS DE SELECCIÓN MÚLTIPLE CON ÚNICA RESPUESTA
Comprometidos con la excelencia en la enseñanza de la ingeniería ÍTEMS DE SELECCIÓN MÚLTIPLE CON ÚNICA RESPUESTA Este tipo de ítems consta de un enunciado y de cuatro opciones de respuesta, entre las cuales debe escogerse la que se considera válida. La opción válida (clave) es aquella que además de ser correcta desde lo disciplinar, responde o da solución al problema/tarea planteado en el enunciado.

37 Comprometidos con la excelencia en la enseñanza de la ingeniería
Situación o Contexto Comprometidos con la excelencia en la enseñanza de la ingeniería Es la información necesaria que sitúa conceptualmente al evaluado para la resolución de una problemática. Provee elementos necesarios y suficientes para focalizar la tarea de evaluación. Puede ser un texto (o situación), una gráfica, un dibujo, una tabla, o cualquier información a partir de la cual se deriva el enunciado. Debe estar relacionado con la tarea de evaluación y con las opciones de respuesta. Debe ser coherente con las condiciones técnicas de la evaluación (tiempo y complejidad). La selección del contexto es una labor exigente en cuanto a que su propósito es justamente contextualizar y no confundir al evaluado.

38 Comprometidos con la excelencia en la enseñanza de la ingeniería
Enunciado Comprometidos con la excelencia en la enseñanza de la ingeniería Es el planteamiento de la problemática que se espera sea resuelta por el evaluado. En el enunciado se expone la tarea de evaluación elegida para dar cuenta del objeto evaluado y por tanto, dirige el esfuerzo del evaluado para generar o seleccionar una respuesta. Éste debe proveer una idea completa y clara de la tarea de evaluación y contener la información necesaria y suficiente para contestar el ítem.

39 Comprometidos con la excelencia en la enseñanza de la ingeniería
Opciones de Respuesta Comprometidos con la excelencia en la enseñanza de la ingeniería Son posibles respuestas a la problemática planteada en el enunciado. Para el tipo de pregunta de selección múltiple con única respuesta sólo una de ellas es válida (conocida como Clave).

40 Reglas para la construcción de ítems
Comprometidos con la excelencia en la enseñanza de la ingeniería Reglas para la construcción de ítems

41 Comprometidos con la excelencia en la enseñanza de la ingeniería
Reglas Generales Comprometidos con la excelencia en la enseñanza de la ingeniería Verificar que el ítem corresponda con los propósitos de la evaluación la estructura de la prueba. Asegurar la independencia de los ítems. La información de uno no debe servir de pauta para contestar otro, ni la respuesta a un ítem debe depender de haber encontrado primero la de uno anterior. Evitar los ítems que pueden contestarse por sentido común y aquellos cuya respuesta depende únicamente de recordar un término, un símbolo, un dato o la fecha en que ocurrió un evento.

42 Reglas sobre los enunciados
Comprometidos con la excelencia en la enseñanza de la ingeniería Utilizar enunciados afirmativos. Resaltar en mayúscula o negrilla la negación en caso de ser necesario. Evitar el uso de la doble negación ya que puede afectar la comprensión del ítem, por ejemplo: “No es cierto que no procedan los recursos”. Evitar enunciados demasiado extensos y poco atractivos ya que desmotivan la lectura, disminuyen el tiempo de respuesta y fatigan. Asegurar la coherencia interna del enunciado y de éste con las opciones de respuesta.

43 Reglas sobres las opciones
Comprometidos con la excelencia en la enseñanza de la ingeniería Garantizar la concordancia gramatical entre el enunciado y cada opción de respuesta, manteniendo el campo semántico propuesto. Evitar dar pistas sobre la respuesta a un ítem por ofrecer un cierto contraste, en las opciones de respuesta, en cuanto a longitud precisión / imprecisión uso común / técnico generalización / particularización Justificar cada una de las opciones de respuesta, lo cual ayudará a que haya solo una válida y que las demás sean plausibles para quienes no dominan completamente la tarea de evaluación.

44 Reglas sobres las opciones
Comprometidos con la excelencia en la enseñanza de la ingeniería Evitar la repetición de expresiones en las opciones de respuesta, si éstas se pueden incluir en el enunciado del ítem; repetir una palabra del enunciado, en cualquiera de las opciones, puede llevar a que sea elegida como respuesta, sin serlo. Evitar el uso de expresiones: “todas o ninguna de las anteriores, nunca, siempre, totalmente, absolutamente, completamente”, en su lugar construir alternativas de respuesta plausibles a la pregunta. Mantener la independencia entre las opciones. No deben ser sinónimas. Evitar opciones fácilmente descartables.

45 ACOFI, 40 años Comprometidos con la excelencia en la enseñanza de la ingeniería
Muchas gracias