CONSTRUCCION DE PRUEBAS OBJETIVAS

Presentación del tema: "CONSTRUCCION DE PRUEBAS OBJETIVAS"— Transcripción de la presentación:

1 CONSTRUCCION DE PRUEBAS OBJETIVAS
LUCILA CARDENAS NIÑO

2 PRUEBAS DE HABILIDADES
Prueba Objetiva define Procedimientos sistemáticos para medir una propiedad Preguntas cerradas Preguntas estructuradas

3 Características de las pruebas objetivas
La calificación depende de las respuestas del examinado. Condición similar para todos los examinados Proceso dispendioso, demorado y de trabajo en equipo

4 VENTAJAS DE LAS PRUEBAS OBJETIVAS
Igualdad de condiciones Evaluación simultánea de grupos grandes Facilidad en la aplicación, calificación y obtención de resultados; permite incluir un número grandes de ítems.

5 Construcción de una prueba objetiva.
Aspectos a tener en cuenta: Es un trabajo en equipo Incluye personas expertas en la teoría psicométrica y especialistas en los temas relacionados con el objeto de medida Es un proceso : - Planeación de la prueba - Construcción de los ítems - Análisis del instrumento - Estandarización de las calificaciones

6 PLANEACION DE LA PRUEBA
Proceso de toma de decisiones Características de la prueba Objetivos Formas

7 Especificaciones Objeto de medida
iniciales Características de la Población Objetivo de la prueba Marco Teórico Delimitación del dominio Identificación del cuerpo teórico Estructura de la Contenidos de la prueba prueba Formato de los ítems y prueba Especificaciones Exigencias mínimas de los ítems y pruebas Psicométricas Procedimiento recolección de información Análisis y Estandarización Material Manual para el usuario Complementario Instructivo para el examinado Material de Apoyo

8 Especificaciones Iniciales
Qué se va a medir? Dominio a evaluar Identificación de la Población edad escolaridad contexto Restricciones Tiempo Definición del objetivo de la prueba Uso de los resultados Decisiones

9 Marco Teórico Sustento conceptual de la prueba
Operacionalización de la prueba Interpretación de los resultados

10 Elaboración de la Estructura de la Prueba
Esqueleto de la Prueba Operacionalización del objetivo de la prueba Constituye la base para la redacción de ítems Se resume en una tabla de varias entradas

11 MATRIZ TEMAS Estadística Descriptiva Estadística Inferencial TOTAL
Subtemas Dificultad Competencia Tipo Dispersión A M B Med. Tend. Central Variabilidad Correlación Interpretativa Única RTA Múltiple RTA 40 Argumentativa Propositiva TOTALES

12 Construcción de ítems

13

14 CARACTERISTICAS DE LOS ITEMS
Los enunciados deben ser, preferiblemente, afirmativos, por tanto, se recomienda evitar los enunciados negativos. En caso de ser necesarios, se debe resaltar el NO o el NUNCA o el NADIE para llamar la atención hacia la formulación negativa. La doble negación afecta la comprensión de los evaluados (“No es cierto que no procedan los recursos”). No se deben repetir palabras o expresiones en todas las opciones de respuesta, si éstas se pueden incluir en el enunciado general de la pregunta.

15 Deben evitarse en las opciones las expresiones “todas o ninguna de las anteriores”. En su lugar es necesario construir alternativas de respuesta que aunque incorrectas, sean plausibles y atractivas para las personas que no tengan la competencia o dominio conceptual que exige la pregunta. Evitar expresiones o palabras rebuscadas que puedan confundir al evaluado. Se recomienda emplear un lenguaje directo, preciso, sencillo y comprensible, para evitar preguntas que sean confusas o incoherentes. El vocabulario debe ser adecuado a las características del grupo que presentará la prueba y al área que se pretende evaluar.

16 Las opciones de una pregunta no deben dar indicaciones sobre la clave por ofrecer un cierto contraste evidente: De longitud De precisión/imprecisión De uso común/técnico De generalización/particularización, etc. Todos los ítems de una prueba deben ser independientes entre sí. La información de un ítem no debe servir de pauta para contestar otra, ni la respuesta a un ítem debe depender de haber encontrado primero la de otra anterior. Pero sí se pueden construir varios ítems con un enunciado o situación común.

17 Evitar enunciados demasiado extensos y poco atractivos ya que desmotivan la lectura, disminuyen el tiempo de respuesta y fatigan al estudiante. Es necesario calibrar adecuadamente su extensión y precisar la información que es imprescindible que contengan. Evitar los ítems que pueden contestarse por mera lógica o sentido común y aquellos cuya respuesta dependa únicamente de recordar un término, un símbolo, un dato o la fecha en que ocurrió un evento.

18 Verificar que la pregunta corresponda con la estructura de la prueba y con los propósitos de la evaluación. No conducir a juicios de valor. Cada pregunta debe poseer una base terminológica, conceptual y disciplinar que no permita caer en afirmaciones imprecisas o ambiguas, las cuales frecuentemente llevan a establecer juicios de valor por parte del examinado. La ubicación de las claves en la prueba no debe seguir ninguna secuencia. Deben colocarse al azar.

19 No debe utilizarse en las opciones las mismas palabras significativas que se utilizaron en el enunciado. Repetir la misma palabra del enunciado en cualquiera de las opciones lleva a elegirla como respuesta, sin serlo necesariamente. El número de opciones debe ser constante para toda la sección o parte de la prueba. Adicional a la coherencia entre lo que mida la prueba y el nivel de dificultad de sus ítems, la eficacia, confiabilidad y validez de una prueba están primordialmente determinados por la excelencia estructural y técnica de los ítems que la componen.

20 NIVEL DE COMPLEJIDAD El nivel de complejidad está dado por el nivel de habilidad requerido por el participante para responder acertadamente a un ítem. El nivel de habilidad requerido determinará el nivel de complejidad del ítem; es decir que a mayor habilidad mayor dificultad del ítem; en este sentido se podrían establecer tres niveles de complejidad nivel de dificultad alto, dificultad media y dificultad baja.

21 Nivel de Dificultad Bajo, implica una aplicación sencilla de las competencias comunicativas y funcionales en la respuesta a la pregunta. Medio, implica una aplicación intermedia de las competencias comunicativas y funcionales en la respuesta a la pregunta. Alto, implica una aplicación compleja de las competencias comunicativas y funcionales en la respuesta a la pregunta.

22 Cómo cumplir con los objetivos de la Prueba
Evaluar un solo tema en un ítem Ser una unidad independiente Información necesaria para responder Ítems claros Nivel de dificultad acorde con los objetivos de la prueba Evitar las ambigüedades a través de cáscaras o trampas

23 Síntesis Usar un lenguaje adecuado, libre y directo
Evitar señales que conduzcan a la respuesta correcta. Ejemplo: Repetición de palabras en el enunciado y clave Uso de lenguaje técnico en la clave Uso del lenguaje no técnico en los distractores Longitud de la clave diferente a los distractores Distractores absurdos No correspondencia entre el enunciado y distractores Evitar implicaciones partidistas, religiosas, sexuales que vicien la respuesta con connotaciones emocionales Evitar el uso de negaciones que afecten la estructura y eleven la dificultad

24 Características del constructor de ítems
Conocer el dominio objeto de estudio Ser experto en el área que se va a evaluar Poseer valores e intereses pedagógicos Manejo de la comunicación verbal. Conocimiento crítico de los posibles significados Manejo de los formatos de ítems Imaginación, ingenio, creatividad Habilidad trabajo en equipo

25 TIPOS DE PREGUNTAS Las Pruebas objetivas están compuestas en su totalidad por preguntas Tipo I, más conocidas como Preguntas de Selección Múltiple con Única Respuesta. Es el tipo de pregunta más conocido y usado en los cuestionarios. Están conformadas por un enunciado y cuatro (4) opciones de respuesta; el enunciado puede contener una frase incompleta, una interrogación, un texto o una gráfica; las opciones de respuesta aparecen identificadas con las letras A, B, C, D. Una sola de las opciones completa o responde correctamente el enunciado.

26 Las instrucciones que se presentan para este tipo de preguntas son: “A continuación encontrará preguntas que constan de un enunciado y cuatro (4) opciones de respuesta (A, B, C, D,). Sólo una de estas opciones responde correctamente la pregunta. Señale en la hoja de respuesta la opción que considere correcta.” Una prueba está constituida por preguntas o ítems; cada ítem se considera una unidad indivisible e independiente.

27 INSTRUCCIONES Las instrucciones son el conjunto de recomendaciones o pasos que guían y dan información acerca de cómo proceder para responder la pregunta. Las instrucciones deben presentarse de manera clara y en lenguaje adecuado al nivel de los evaluados. Aunque las instrucciones generalmente no se presentan con cada ítem sino que son comunes para grupos de ellos, se han considerado un elemento del ítem puesto que la respuesta del evaluado puede verse seriamente alterada por la forma cómo se entiendan las instrucciones.

28 ENUNCIADO El enunciado es la parte inicial en la que se expone la tarea; puede ser una situación, una información o una instrucción. Debe ser una expresión clara que contenga la información necesaria y suficiente para contestar la pregunta. El enunciado tiene dos componentes: El contexto de la pregunta que describe una situación problemática, un problema, un caso, una gráfica, una tabla, una imagen, una tesis, una hipótesis bajo las cuales se debe interpretar la pregunta; el contexto define las variables del entorno en las que se presenta un problema y que deben ser consideradas específicamente para la solución del mismo. Es importante anotar que una o más preguntas pueden hacerse a partir de un mismo contexto.

29 Conector es un dispositivo que liga la definición del contexto con las opciones de respuesta e indica la acción de interpretar, argumentar y proponer según el caso, que orienta la acción que debe realizar el evaluado frente al contexto.

30 OPCIONES DE RESPUESTA Son las frases, datos o informaciones que pueden contestar a la pregunta y que se presentan al examinado para que haga su elección. Se conoce como clave a la opción que responde correctamente a la pregunta y debe diferenciarse de las demás opciones por su contenido y no por sutilezas del lenguaje. En el tipo de pruebas que trata este documento, la clave debe ser única para cada pregunta.

31 Los distractores son las opciones que no satisfacen las exigencias del enunciado, aunque son respuestas incorrectas deben ser atractivas, no obviamente descartables. Un distractor puede ser un error común, una afirmación verdadera pero que no contesta completamente la pregunta o no satisface las exigencias del problema, una opción opuesta a la clave o que pueda parecer correcta para quien no tenga las habilidades o competencias.

32 ELECCION MULTIPLE CON MULTIPLE RESPUESTA
Consta de un enunciado y cuatro opciones de respuesta identificadas con los números 1,2,3 y 4. Una o varias de estas opciones pueden completar correctamente el enunciado.

33 Características Una situación en la que es necesario considerar varias consecuencias posibles Una situación en la que es necesario especificar una o mas condiciones para definirla adecuadamente Dos situaciones semejantes o disímiles con respecto a uno o mas puntos de comparación Un principio que puede aplicarse a mas de una situación Varias consideraciones que pueden conducir al mismo resultado.

34 A continuación encontrará preguntas que constan de un enunciado y cuatro opciones de rta. Una o varias opciones pueden completar correctamente el enunciado. Usted debe marcar su hoja de respuestas según el cuadro siguiente: Marque A si las opciones 1,2 3 son correctas Marque B si las opciones 1 y 3 son correctas Marque C si las opciones 2 y 4 son correctas Marque D si sólo la opción 4 es correcta Marque E si todas las opciones son correctas No debe incluir distractores mutuamente excluyentes, no incluir TODAS LAS ANTERIORES O NINGUNA DE LAS ANTERIORES.

35 Ejemplo La investigación empírica ha encontrado que:
Las personas toman menos tiempo en el aprendizaje de un concepto cuando hay muchos atributos irrelevantes En el aprendizaje de un concepto son mejores los ejemplos negativos que los positivos En el aprendizaje de un concepto la velocidad de aprendizaje es una función directa del número de atributos Las personas toman mas tiempo en el aprendizaje de un concepto cuando hay muchos atributos relevantes

36 TAXONOMIA DE BLOOM Modelo Cognoscitivo Afectivo Psicomotor Memoria
Evocación de los conocimientos Desarrollo de habilidades y capacidades Recuerdo Comprensión Aplicación Análisis Síntesis Evaluación

37 RECUERDO Capacidad del sujeto para evocar datos, ideas, hechos de situaciones pasadas o de un área determinada como principios, generalizaciones, teorías y estructuras.

38 Ejemplo En el área de las ciencias físicas, cual de las siguientes definiciones describe el término "polarización"? a. La separación de cargas eléctricas por fricción b. La ionización de átomos por temperaturas elevadas c. La vibración de ondas transversales en un solo plano. d. La interferencia de ondas de sonido en una cámara cerrada e. La estimulación de electrones usando luz de alta frecuencia

39 COMPRENSIÓN Capacidad para expresar un concepto o mensaje conocido en palabra diferente o un sistema simbólico a otro Interpretación o reordenamiento de ideas en una nueva configuración Hacer explícitas algunas conclusiones, consecuencias o efectos de una comunicación.

40 Ejemplo: En el 2010 el número de acciones de tutela en contra de una entidad de Salud se acercaba al número de peticiones que los usuarios presentaron a la entidad, una razón de lo anterior es que a. la acción de tutela es idónea para reclamar la protección del derecho de petición b. la peticiones no se tramitaron dentro de los 15 días establecidos como termino para dar respuesta c. la acción de tutela es un mecanismo que se interpone para que sea fallado en un término no mayor a 10 días como mecanismo rápido y transitorio. d. los funcionarios en la entidad no son suficientes para atender el número de reclamaciones

41 APLICACION Capacidad para aplicar principios y generalizaciones a nuevos problemas y situaciones. Identifica los principios para resolver un problema o reformularlo Especifica los límites dentro de los cuales un principio es verdadero o relevante y reconoce las excepciones y razones para ello. Explica nuevos fenómenos a partir de principios conocidos o los predice Determina o justifica una decisión o acción a una situación

42 Ejemplo En un acto protocolario de la DIAN con una mesa principal de cinco personas, el director nacional de la entidad ocupa la segunda posición cuando el acto es presidido por el a. Director Departamental b. Gobernador Departamental c. Presidente de la República d. Ministro del Gobierno Nacional

43 ANALISIS Habilidad para fraccionar una comunicación en sus elementos, de manera que aparezcan explícitas la jerarquía de las ideas y las relaciones existentes entre ellas. Análisis de elementos como supuestos no explícitos, hechos e hipótesis. Análisis de relaciones Análisis de principios de organización.

44 Ejemplo http://edtk.co/H7h7k
La premisa básica del pragmatismo es que con frecuencia las preguntas planteadas por las proposiciones metafísicas especulativas se pueden responder determinando cuáles son las consecuencias prácticas, en esta vida, de aceptar una proposición metafísica particular. Las consecuencias prácticas se toman como el criterio para evaluar la relevancia de todos los enunciados o ideas sobre verdad, norma y esperanza." a. la palabra "aceptación" se debe sustituir por "rechazo" b. la palabra "con frecuencia" se debe sustituir por "únicamente" c. la palabra "especulativa" se debe sustituir por "hipotética" d. la palabra "criterio" se debe sustituir por "medida"

45 SINTESIS Capacidad para reunir diferentes elementos o partes para formar un todo. Producción de una comunicación Producción de un plan Derivación de un conjunto de relaciones, explicaciones o hipótesis para dar cuenta de un fenómeno dado.

46 EVALUACIÓN Capacidad para emitir juicios sobre ideas, obras, métodos, materiales o soluciones, con algún propósito. Formulación de juicios: Razonamientos, relaciones entre supuestos, evidencias, conclusiones

47 Ejemplo A un estudiante se le planteó la siguiente pregunta: "Haga una lista breve y explique las diversas etapas del proceso creativo." Como respuesta, el estudiante escribió lo siguiente: "Se cree que el proceso creativo tiene lugar en cinco etapas, que van en el siguiente orden: ORIENTACIÓN, cuando el problema se debe identificar y definir; PREPARACIÓN, cuando se recopila toda la información posible sobre el problema; INCUBACIÓN, cuando hay un periodo en el que ninguna solución aparece a la vista y con frecuencia la persona se ocupa de otras tareas; ILUMINACIÓN, cuando la persona visualiza una idea general sobre la manera de solucionar el problema; y finalmente, VERIFICACIÓN, cuando la persona establece si esa solución es la solución correcta del problema." Cómo juzgaría Ud., las respuestas del estudiante? a. EXCELENTE. (Todas las etapas son correctas, están en el orden correcto y tienen explicaciones claras y correctas). b. BUENO. (todas las etapas son correctas, están en el orden correcto, pero las explicaciones no son tan claras como deberían ser) c. MEDIOCRE. (Faltan una o dos etapas, O, las etapas no se encuentran en el orden correcto, O, las explicaciones no son claras, O las explicaciones son irrelevantes.) d. INACEPTABLES. (Faltan más de dos etapas, Y el orden es incorrecto, Y las explicaciones no son claras Y/O son irrelevantes).

48 Articulación Procesos Cognitivos y Competencias
Interpretativa Recuerdo Comprensión Aplicación Argumentativa Análisis Síntesis Propositiva Evaluación

49 COMPETENCIAS Evalúa el saber hacer, que implica la capacidad o habilidad del sujeto para interpretar, argumentar y proponer dependiendo de la situación o problema que se le presente. Interpretativa Argumentativa Propositiva

50 INTERPRETATIVA Hace referencia al fenómeno de la comprensión del sentido de un texto, una proposición, un problema, una gráfica, un mapa, o un esquema, los argumentos en pro o en contra de una teoría o una propuesta, entre otras. Se funda en la reconstrucción local y global de un texto, y el reconocimiento de situaciones problemáticas relacionadas o implicadas en los diversos sentidos que circulan en distintos contextos. Las preguntas que hacen referencia a esta competencia se caracterizan por contener conectores del tipo: de lo anterior se infiere, permite inferir que, el autor quiso decir, el texto quiere decir, se puede deducir que, lo anterior significa que.

51 El evaluado debe realizar las siguientes acciones:
• Comprender el mensaje global de un texto. •Entender el sentido de un enunciado dentro de un contexto. •Identificar un problema o situación. •Reconocer los diferentes elementos de un problema. •Establecer relaciones entre procesos, conceptos o situaciones •Establecer información relevante para resolver un problema. •Clasificar en grupos o clases las cosas o fenómenos estudiados. •Inducir aplicación de lo observado a situaciones análogas no observadas. •Derivar de lo particular a lo general •Sustituir un objeto de estudio por símbolos •Entender secuencias a partir de datos o proposiciones iniciales.

52 ARGUMENTATIVA Esta competencia tiene como finalidad defender con razones o argumentos una tesis, es decir, una idea que se quiere probar o sustentar una hipótesis; es organizar juicios para persuadir o disuadir. Tres momentos o etapas fundamentales: Introducción de la idea que se pretende defender Desarrollo o argumentación global Conclusión, en la que se confirma la tesis.

53 Las preguntas que hacen referencia a esta competencia se caracterizan por contener conectores del tipo: una razón de lo anterior, una diferencia frente a lo anterior, una consecuencia de lo anterior, en consecuencia, porque, esto se justifica por, argumentando que, entre otras. Las opciones de respuesta pueden ser justificaciones de lo planteado en el enunciado, para que el aspirante identifique el argumento que más se ajuste con el planteamiento.

54 En el desarrollo de una prueba de competencias funcionales el evaluado o aspirante debe de ejecutar las siguientes acciones: Sustentar una idea. Razonar analógicamente basado en la comparación. Razonar de manera deductiva sacando conclusiones particulares de hechos o situaciones globales. Razonar de manera inductiva desde los hechos concretos hasta constituir situaciones generales. Organizar las razones a favor o en contra del problema o tesis que se defiende.

55 Explicar unos conocimientos por medio de otros.
Comprobar racionalmente con fundamento en afirmaciones o negaciones, falseadas o verificadas. Proceder a través de operaciones que den a conocer si son determinadas cualidades del objeto del estudio. Emitir juicios de valor sobre algo. Cuestionar dos o más conceptos, mostrando sus diferencias. Ratificar algo dándose por cierto con juicios validados

56 PROPOSITIVA Acciones de generación de hipótesis, de resolución de problemas, de establecimiento de regularidades y generalizaciones, de elaboración de alternativas de explicación a un evento, a un conjunto de eventos, o a una confrontación de perspectivas presentadas en un texto, entre otras. La característica esencial de la competencia propositiva es la generación o producción de un sentido nuevo que no es evidente en el texto sino que es producto de la confrontación, la argumentación y la interpretación y de las alternativas planteadas para la resolución del problema en cuestión o a una confrontación de perspectivas presentadas en un texto, entre otras.

57 Las preguntas de este tipo de competencia contiene conectores del tipo: una alternativa frente a lo anterior es, una solución es, una propuesta a lo anterior, una alternativa para solucionar esta situación es, la mejor opción, la mejor alternativa, un primer mecanismo puede ser.

58 Para evidenciar esta competencia se requiere desarrollar las siguientes acciones por parte del concursante cuando presente la prueba:  Plantear procedimientos para resolver problemas y hallar la solución más adecuada de acuerdo con el contexto. Establecer regularidades y generalizaciones. Evaluar la relación CAUSA – EFECTO en un determinado problema. Establecer cuál es la hipótesis más pertinente para resolver un problema.

59 ASPECTOS QUE SE DEBEN TENER EN CUENTA ANTES DEL ENSAMBLE
ASPECTOS FORMALES como redacción, precisión de las instrucciones, claridad en la presentación de la tarea, adecuación del lenguaje al nivel de la población y otros dependiendo del tipo de prueba. Posteriormente se presentan algunas recomendaciones para controlar los aspectos formales del ítem cuando se trata de pruebas objetivas de conocimientos.

60 CLARIDAD: entendida como la calidad de los elementos semánticos y sintácticos de la pregunta, adecuación del lenguaje al nivel de la población, precisión en las instrucciones PERTINENCIA, entendida como la relación del ítem con lo que la prueba pretende medir, se considera que un ítem es pertinente si está en armonía con el plan general de la prueba. Evaluar la pertinencia de un ítems es establecer si pertenece o no al dominio definido o si, de acuerdo con la teoría, es o no una manifestación del atributo que mide la prueba.

61 RELEVANCIA hace referencia al contenido específico de la pregunta en relación con la estructura de prueba; se asimila a significancia en contraste con detalles superficiales, observaciones incidentales o comentarios tangenciales de acuerdo con la definición del dominio o atributo. La estructura de prueba indica los aspectos generales que se consideran importantes dentro de la misma pero es el constructor de los ítems quien tiene la responsabilidad de seleccionar aquellos aspectos específicos que considere importantes, de acuerdo con el dominio o atributo que se pretenda medir.

62 PODER DISCRIMINATIVO. La discriminación de un ítem es el grado en que, como unidad, permite diferenciar algunos grupos de interés, de quienes tiene alta maestría en el dominio de quienes no, o quienes poseen mayor magnitud del atributo de quienes poseen menos; en general las preguntas que poseen poder discriminativo contribuyen a la efectividad de la prueba. En el momento de la construcción del ítem, se trata también de una apreciación subjetiva que se puede verificar una vez aplicada la prueba.

63 GRACIAS