¿Qué es la evaluación? Proceso de indagación dirigido a recolectar información cuantitativa y cualitativa con el propósito de obtener conclusiones sobre.

Presentación del tema: "¿Qué es la evaluación? Proceso de indagación dirigido a recolectar información cuantitativa y cualitativa con el propósito de obtener conclusiones sobre."— Transcripción de la presentación:

1 ¿Qué es la evaluación? Proceso de indagación dirigido a recolectar información cuantitativa y cualitativa con el propósito de obtener conclusiones sobre el valor, mérito, importancia o calidad de un programa, producto, persona, política, propuesta o plan.

2 ¿Qué es la evaluación educativa? Es una actividad continua e integrada que tiene por objetivo proporcionar la mayor cantidad de información para valorarla y tomar decisiones pertinentes respecto al objeto o sujeto de evaluación.

3 La evaluación educativa brinda información que permite: conocer la calidad del proceso educativo, fundamentar la toma de decisiones educativas, mejorar la planeación del proceso educativo, decidir sobre la certificación de sujetos, determinar la acreditación de programas.

4 ¿Qué es la evaluación del desempeño? Proceso sistemático de obtención de datos válidos y confiables que permite emitir un juicio de valor acerca del nivel de logro alcanzado por un individuo en un examen, en relación a los conocimientos, habilidades y competencias previamente establecidos. Algunos ejemplos de evaluación del desempeño que se realizan en México son: EXANI EGEL Enlace PISA Excale

5 Diagnóstica. Aporta información acerca del aprendizaje que poseen los sustentantes al inicio de un curso, programa o proceso de capacitación. Formativa. Verifica la manera en que se lleva a cabo el proceso y se realiza periódicamente con el objeto de retroalimentarlo y reconducirlo. Sumativa. Obtiene información acerca de la integración del aprendizaje al término del proceso al que el sustentante se vio expuesto y permite emitir juicios de acreditación. La evaluación por su función se puede clasificar en:

6 Un criterio. Los resultados se interpreta en función de un parámetro previamente establecido. En términos de la interpretación de sus resultados, la evaluación se realiza con base en: 100 Punto de corte Juicio de expertos INSUFICIENTE SUFICIENTE 0

7 La norma. Los resultados se interpretan con base en la comparación del rendimiento individual con el grupo evaluado. En términos de la interpretación de sus resultados, la evaluación se realiza con base en:

8 Es asignar números a las características o atributos de objetos, personas o procesos medidos, de acuerdo con reglas, parámetros o criterios establecidos. En el ámbito educativo, el proceso de medición es fundamentalmente descriptivo puesto que indica, mediante una representación numérica, en qué medida un sujeto posee conocimientos y habilidades. Medición

9 Características de los instrumentos de medición Validez. Es la congruencia que existe entre lo que se planeó medir y lo que se mide. Confiabilidad. Sus resultados son estables y consistentes, para emitir un juicio. Objetividad. Los resultados del instrumento son independientes de quien aplica y califica.

10 Instrumento de medición integrado por reactivos de respuesta estructurada con solución única, destinado a obtener información que sea comparable entre todos los sustentantes. Prueba objetiva

11 1.Exploran una muestra representativa de conocimientos, habilidades y/o competencias. 2.Pueden aplicarse a gran escala. 3.Cumplen con reglas de diseño y calificación estandarizadas (equidad). 4.Se realizan con base en los estándares nacionales e internacionales de calidad (AERA, APA). 5.Proporcionan información útil para la toma de decisiones. 6.Son pruebas que se construyen de forma tal que no benefician a un grupo determinado. 7.Son pertinentes porque tienen una cobertura suficiente y relevante de lo que se desea medir. Características de las pruebas objetivas que realiza el Ceneval

12 Proceso de construcción de una prueba objetiva

13 Elaboración Análisis Operación Decisión de evaluar Estructura de la prueba (Tabla de especificaciones) Elaboración de reactivos Revisión técnica, validación externa y revisión de estilo de reactivos Piloteo y calibración de reactivos Propósito de la evaluación, población, características del instrumento Versiones Evaluación y mantenimiento Evaluación y mantenimiento Diseño

14 Diseño de la evaluación

15 Diseño de la prueba Justificar el objetivo del instrumento (qué, cómo y para qué se requiere). Identificar las características de la población a la cual se dirige. Indicar las condiciones de tiempo y medios de la aplicación.

16 Tabla de especificaciones Es la descripción detallada de lo que se pretende evaluar, la definición de los procesos cognoscitivos implicados y la determinación de la importancia relativa del contenido.

17 Una tabla de especificaciones posee los siguientes elementos: Desglose del contenido o domino a evaluar. Resultados de aprendizaje. Niveles cognoscitivos. Número y porcentaje de reactivos necesarios para medir el dominio.

18 Tabla de especificaciones Contenido Resultado de aprendizaje Nivel cognoscitivo Número de reactivos Porcentaje ConocimientoComprensiónAplicación Tema I Conocer los resultados Subtema 1 Entiende los principios Subtema 2

19 Niveles cognoscitivos Para evaluar conocimientos y habilidades, generalmente, se emplea la taxonomía de niveles de Benjamín Bloom, la cual propone la siguiente jerarquía:

20 Supone la evocación o recuerdo de información concreta o de conocimientos específicos de forma exacta y aislada; enfatiza los procesos cognoscitivos del recuerdo y la memoria. Conocimiento

21 Es la habilidad para descifrar o decodificar información y entenderla. Implica parafrasear información específica, darle un nuevo orden o enfoque. Comprensión

22 Se refiere al empleo de la información en una situación particular, concreta y diferente al contexto en el que se aprendió. Conlleva el manejo de métodos o procedimientos para resolver un problema. Aplicación

23 Es la capacidad de desarticular el material en sus partes constitutivas, de manera que su estructura pueda entenderse. Incluye la identificación de las partes, el estudio de la relación entre las partes y el reconocimiento de los principios de organización implicados. Análisis

24 Es la habilidad de agrupar diferentes componentes de un material, después de haber sido analizados para formar un todo. Esto supone, la producción de una comunicación exclusiva o peculiar, un plan de operaciones o un conjunto de relaciones abstractas. Síntesis

25 Es la habilidad de determinar el valor del material para un propósito determinado. Involucra la realización de juicios de valor basados en criterios definidos, internos o externos. Evaluación

26 Ejemplo de tabla de especificaciones Contenido Resultado de aprendizaje Nivel cognoscitivo Número de reactivos % ConocimientoComprensiónAplicaciónAnálisisSíntesisEvaluación Tema I Conocer los resultados Subtema 1 Entiende los principios

27 Definición operacional  Redactar una oración en la que se considere la acción o conducta a evaluar a través de un REACTIVO DE OPCIÓN MÚLTIPLE.  Precisar el contexto de la evaluación a través de las condiciones en las cuales se desarrollará.  En todo momento se debe considerar el propósito de la evaluación.  Debe proporcionar la información suficiente para la elaboración de los reactivos sin necesidad de ver el reactivo muestra.

28 Definición operacional Se debe contemplar sólo una ACCIÓN de las que se pueden evaluar a través de un examen objetivo: Definir Ejemplificar Resolver Relacionar Diferenciar Traducir Explicar Clasificar Comparar Ilustrar Ordenar Argumentar Listar Proponer Numerar Organizar

29 Definición operacional Se debe describir el contexto de evaluación. La descripción debe ser tan precisa como el objeto de medida lo requiera, aterrizado a un REACTIVO DE OPCIÓN MÚLTIPLE. Texto Esquema Circuito Caso Mapa Ecuación Oración Dibujo Artículo Carta Gráfica Ejemplo

30  Es congruente con el propósito del examen.  La acción a evaluar es sustancialmente relevante para demostrar que el sustentante posee el conocimiento y habilidad.  Es clara, con una sintaxis correcta y está libre de errores ortográficos.  Emplea únicamente la información necesaria.  Debe entenderse sin necesidad de ver el reactivo muestra. Lineamientos generales para elaborar especificaciones de reactivos

31  Incluye la acción y el contexto para su ejecución.  Describe una conducta que puede ser medida con un reactivo de opción múltiple.  Se considera solo una acción a evaluar.  El contexto es congruente con el tipo de instrumento que se va a elaborar.  Proporciona la información necesaria para elaborar reactivos.  No se presta a doble interpretación. Lineamientos para redactar la definición operacional

32 Niveles de complejidad Básico Evocar de manera memorística datos específicos Intermedio Parafrasear o traducir datos específicos Organizar los pasos de un proceso o procedimiento Ordenar datos específicos, bajo un criterio dado Avanzado Aplicar métodos o fórmulas universales para la resolución de problemas Deducir el o los criterios que agrupan a ciertos elementos Identificar las partes constitutivas de un todo Determinar las relaciones entre palabras, ideas o partes constitutivas de un todo Identificar información relevante Reunir elementos en un todo no evidente

33 Ejemplos

34 A partir de un problema que involucra prismas, cilindros, conos, pirámides o esferas, calcular su área o volumen. En función de un proyecto en el que se requieren recursos económicos, el sustentante determina el monto del financiamiento requerido. A partir de una colección de datos poblacionales que involucren los conceptos de tasas o índices, clasificarlos según el tipo de variación (aritmética o exponencial) que representan. Definiciones operacionales

35 En diversos contextos (salud, educación, social, y laboral), el sustentante determina los alcances del diseño, proceso y evaluación de un programa de intervención de acuerdo con los protocolos, formatos y listas de diseño. Dado un ejemplo de violación de los derechos humanos, el sustentante selecciona el modelo de intervención de trabajo con grupos. A partir de los datos de un articulador, el odontólogo realiza un análisis de los espacios intermaxilares a partir de los modelos de estudio. Definiciones operacionales

36 Con base en un diagrama de flujo de manejo de materiales de un proceso, el sustentante identifica el equipo adecuado para su manejo, tomando en cuenta la ergonomía, higiene y seguridad de materiales y personas. Definiciones operacionales

37 A partir del diagnóstico presuntivo, el sustentante colecta las muestras adecuadas para estudios diagnósticos y realiza un correcto manejo y envío de las mismas. Valora el uso de materiales en algunas culturas, como el adobe y el barro, respecto a las necesidades que han cubierto. Devuelve la función muscular a la cavidad bucal para optimizar la masticación, fonética, deglución. Errores comunes

38 Consiste en observar que cada uno de los reactivos mida el contenido detallado en las especificaciones de la prueba; que la redacción sea adecuada a la población objetivo. Análisis cualitativo

39 Trayectoria del reactivo Elaboración Revisión técnica Piloteo Análisis cuantitativo Inclusión al banco Revisión de estilo Validación externa Revisión técnica de validación Revisión técnica de estilo

40 Análisis cuantitativo Técnica y procedimientos matemáticos encaminados a verificar la calidad y pertinencia de los reactivos o preguntas de una prueba. El análisis permite inferir las características técnicas de una pregunta, determinar si cumple con los requerimientos que se esperan de ella y decir su inclusión en una prueba. Al menos se obtienen dos indicadores básicos de las características del reactivo: la dificultad y la discriminación.

41 Principales metodologías de análisis Teoría de la respuesta al ítem (TRI) Conjunto de modelos matemáticos que buscan describir el comportamiento de los reactivos. Tratan de descubrir qué relación existe entre la habilidad del sustentante y el reactivo que enfrenta, y de describirla a partir de un modelo matemático.

42 Principales metodologías de análisis Teoría clásica de los test (TCT) Es el modelo más conocido en la psicometría introducido por el psicólogo británico Charles Spearman quien a principios del siglo XX argumentaba matemáticamente que los puntajes de una prueba son medidas inexactas de los rasgos humanos. A la fecha se mantiene como la forma de análisis más popular en la evaluación educativa moderna.

43 Dificultad del reactivo Cuando un reactivo es calificado de manera dicotómica, el porcentaje de sustentantes que lo contestan correctamente es conocido como grado de dificultad del reactivo (GD). Es decir, qué tan fácil o difícil resulta el reactivo para la población que tomará el examen. donde: número total de respuestas correctas de los sustentantes al reactivo número total de sustentantes que contestaron la prueba

44 Índice de dificultad Contestaron correctamente Total de personas que enfrentaron el reactivo Análisis Teoría Clásica 050100 Más Fácil Más Difícil

45 Determina si un reactivo discrimina de forma efectiva entre los sujetos que son relativamente altos en el criterio de interés y los que son relativamente bajos (Martínez 1996), o qué tan eficiente es el reactivo para ayudar a diferenciar entre quienes saben y no. Discriminación del reactivo Proporción de respuestas correctas en el reactivo, de los sustentantes del Grupo Superior (número de respuestas correctas en el Grupo Superior entre el número de sustentantes que conforman este grupo) Proporción de respuestas correctas en el reactivo, de los sustentantes del Grupo Inferior (número de respuestas correctas en el Grupo Inferior entre el número de sustentantes que conforman este grupo)

46 Índice de discriminación Los grupos Superior e Inferior pueden definirse a partir de la mediana de las puntuaciones totales en la prueba, o percentiles distintos a la mediana; se ha probado que los percentiles 27 y 73 funcionan de manera correcta. Grupo con bajo desempeño 27% Capacidad que tiene el reactivo para diferenciar de los alumnos que poseen el conocimiento de los que no. Su valor debe de ser mayor a 0.60 Grupo con alto desempeño

47 Sujeto/ reactivo12345678910 11001111110 21111111110 31011000000 41110010110 51111000100 61111111100 71101111010 81111110100 91010110110 1110101000 TOTAL10787775750 Dificultad100708070 5070500 Índice de dificultad

48 Sujeto/ reactivo12345678910 21111111110 61111111100 11001111110 71101111010 81111110100 41110010110 91010110110 51111000100 1110101000 31011000000 ID00.0-0.30.30.71.00.70.30.70 Índice de discriminación