ELABORACIÓN DE PRUEBAS Y ANÁLISIS DE DATOS

ELABORACIÓN DE PRUEBAS Y ANÁLISIS DE DATOS
Departamento de Métodos de Investigación y Diagnóstico en Educación Universidad Complutense de Madrid ELABORACIÓN DE PRUEBAS Y ANÁLISIS DE DATOS Grupo M.E.S.E. Grupo de investigación: Medida y Evaluación de Sistemas Educativos Measurement and Evaluation of Educational System. Research Group

Objetivo de la sesión Familiarizar a los asistentes con algunos de los conceptos y procedimientos básicos implicados en el diseño de pruebas y en el análisis preliminar de datos de evaluación del sistema educativo

Contenidos I. El diseño de las pruebas en los procesos de evaluación: el caso de las pruebas de opción múltiple II. Introducción al análisis preliminar de los datos obtenidos en la aplicación de pruebas evaluativas desde la Teoría Clásica de la Medida

Metodología Presentación de conceptos básicos
Actividades prácticas de aplicación Revisión crítica de ítems y redacción Instalación y ejecución de ejemplos de análisis de datos con “Corrector”

Diseño de pruebas Introducción
Elaboración de matrices de especificación Construcción de ítems

Test o pruebas como escalas de medida
Introducción Test o pruebas como escalas de medida Un test o prueba es una situación problemática, preparada y examinada anteriormente, a la que el sujeto tiene que responder siguiendo unas instrucciones o reglas. luego se estiman sus respuestas comparándolas con las respuestas del grupo normativo, así se estima la calidad, modo o grado de alguna característica de su personalidad.

Pruebas de rendimiento en procesos de evaluación del sistema educativo
Introducción Pruebas de rendimiento en procesos de evaluación del sistema educativo Las puntuaciones tienen que poder compararse con las puntuaciones conseguidas por otros sujetos. Por tanto, las condiciones de aplicación, corrección e interpretación han de ser las mismas para todos.

Proceso general de construcción de pruebas
Introducción Proceso general de construcción de pruebas Definición de la finalidad y el propósito de la prueba: el marco de la evaluación Elaboración de la matriz de especificaciones Construcción y validación de ítems Selección de ítems y construcción de pruebas piloto Pilotaje de las pruebas Análisis y selección de los ítems definitivos Elaboración de la escala de rendimiento Descripción e interpretación de la escala Análisis y explotación de los resultados

Construcción de una prueba
Introducción Construcción de una prueba

ETAPAS MÉTODOS RESULTADOS Introducción
Adaptado de SANTIESTEBAN REQUENA, C. (1990):Psicometría. Madrid, Ediciones Norma

Planificación de una P.O.
Elaboración de matrices de especificación Planificación de una P.O. Consideraciones preliminares: Población (edad, nivel, etc.) Objetivo de la prueba (diagnóstico, evaluación, etc.) AYUDAN A DETERMINAR…

…en primer lugar … y en segundo lugar… Contenido de la prueba
Elaboración de matrices de especificación …en primer lugar Contenido de la prueba Preguntas o técnicas a incluir Límite de tiempo y número de ítems … y en segundo lugar…

…permiten definir Objetivos Contenidos Competencias específicos
Elaboración de matrices de especificación …permiten definir Objetivos Contenidos Competencias Ponderaciones de los mismos Tipos específicos de ítems a incluir específicos

Especificación de la P.O.
Elaboración de matrices de especificación Especificación de la P.O. Cuanto más precisa sea la especificación, más precisa será la medida: Lista de especificación de contenidos Tabla de especificaciones simple completo

Requisitos para la construcción de ítems
Elaboración de matrices de especificación Requisitos para la construcción de ítems Conocimiento en profundidad de los contenidos de la materia a evaluar. Comprensión de una descripción del dominio cognitivo Al prestar atención a la clasificación cognitiva de un ítem, se evita construir demasiados ítems que midan recuerdos de hechos puntuales. Un ítem escrito considerando su nivel cognitivo y un determinado contenido tiene más probabilidades de ser un buen ítem.

Una herramienta base para la evaluación: LA TABLA DE ESPECIFICACIONES
Elaboración de matrices de especificación Una herramienta base para la evaluación: LA TABLA DE ESPECIFICACIONES Muy útil como guía para la construcción y la interpretación de pruebas evaluativas Es una tabla de doble entrada: contenidos x procesos.

Tabla de especificaciones I
Elaboración de matrices de especificación Tabla de especificaciones I También denominada Matriz curricular de referencia A cada prueba le corresponde una diferente Herramienta que guía la construcción y la interpretación de la prueba Instrumento de partida y llegada (*)

Tabla de especificaciones
Elaboración de matrices de especificación Tabla de especificaciones Proceso I Proceso II Proceso III Contenido I Descriptores Contenido II Contenido III Contenido IV

CONCEPTOS IMPLICADOS 1.Contenidos curriculares
Elaboración de matrices de especificación CONCEPTOS IMPLICADOS 1.Contenidos curriculares Declaraciones o descripciones declarativas o procedimentales que forman el corpus doctrinal de una disciplina 2.Procesos Niveles de complejidad en la resolución de la tarea 3. Descriptores Formulaciones sintéticas de las competencias que habrán de ser medidas por los ítems que se elaboren. Cada uno de ellos puede generar varios ítems

Tabla de especificaciones III
Elaboración de matrices de especificación Tabla de especificaciones III En el cruce de contenidos con dominios cognitivos se encuentran los descriptores de desempeño. Cada uno de ellos puede corresponder a varios ítems. Un mismo contenido asociado a dominios cognitivos diferentes puede dar lugar a diferentes descriptores. (*)

Tabla de especificaciones IV
Elaboración de matrices de especificación Tabla de especificaciones IV TAREAS PARA SU REALIZACIÓN: Determinación de las Competencias Determinación de los Contenidos Determinación de los Descriptores Determinación del peso relativo de cada casilla Elaboración de los ítems especificados para cada descriptor Referencia al dossier (*)

Tabla de especificaciones 2º de ESO: Evaluación Diagnóstica 2008-2009
Elaboración de matrices de especificación Tabla de especificaciones 2º de ESO: Evaluación Diagnóstica REPRODUCCIÓN CONEXIÓN REFLEXIÓN NÚMEROS Y ÁLGEBRA 10 24 GEOMETRÍA 7 5 6 FUNCIONES Y GRÁFICAS 1 4 ESTADÍSTICA Y PROBABILIDAD 3 Descriptores

Tabla de especificaciones 2º de ESO: Evaluación Diagnóstica 2008-2009
Elaboración de matrices de especificación Tabla de especificaciones 2º de ESO: Evaluación Diagnóstica IDENTIFICACIÓN RECUPERACIÓN INFORMACIÓN REORGANIZACIÓN REALIZACIÓN INFERENCIAS REFLEXIÓN SOBRE CONTENIDO Y FORMA NARRATIVOS 1 4 3 2 DESCRIPTIVOS 6 EXPOSITIVOS ARGUMENTATIVOS 7 INSTRUCTIVOS Ítems

Tabla de especificaciones:

¿QUÉ ES UN ÍTEM? Es una unidad de medida.
Construcción de ítems ¿QUÉ ES UN ÍTEM? Es una unidad de medida. Consiste en un estímulo y una forma prescrita de respuesta. Su objetivo es obtener una conducta observable y claramente interpretable. De la respuesta debe poder inferirse, con un grado suficiente de fiabilidad y validez, un nivel de dominio de la competencia (o grado de eficacia en la respuesta dada a las demandas planteadas por el contexto).

TIPOS DE ITEMS Ítems de respuesta sugerida (opción múltiple)
Construcción de ítems TIPOS DE ITEMS Existen diferentes tipos de ítems. Aquí nos vamos a centrar en: Ítems de respuesta sugerida (opción múltiple) Ítems de respuesta construida (una única respuesta correcta)

ITEMS DE RESPUESTA SUGERIDA
Construcción de ítems ITEMS DE RESPUESTA SUGERIDA Aquéllos en que las opciones de respuesta están presentes en su formulación y, de entre ellas, el estudiante ha de identificar y seleccionar la respuesta correcta. Pueden ser Verdadero o Falso o de respuesta múltiple.

COMPONENTES DE UN ÍTEM DE RESPUESTA MÚLTIPLE
Construcción de ítems COMPONENTES DE UN ÍTEM DE RESPUESTA MÚLTIPLE TRONCO O VÁSTAGO Parte inicial del ítem en la que se especifica la tarea Puede ser una pregunta, instrucciones, una frase incompleta, una situación de la vida real, etc. OPCIONES Son todas las alternativas de respuesta de un ítem (4) CLAVE Es la respuesta correcta DISTRACTORES Son las opciones incorrectas Nota: DE UNA MISMA SITUACIÓN o CONTEXTO PUEDEN DERIVARSE DISTINTOS ÍTEMS

Componentes de un ítem de opción múltiple: un ejemplo
Construcción de ítems Componentes de un ítem de opción múltiple: un ejemplo El autor de “Paraíso perdido” es: Donne Keats Chaucer Milton TRONCO DISTRACTORES CLAVE

Ejemplo 1 ¿Qué frase es consistente con la gráfica?
Construcción de ítems Ejemplo 1 ¿Qué frase es consistente con la gráfica? La temperatura de descongelación del hielo permanece constante hasta que todo el hielo se ha derretido. La proporción de descongelación es equivalente a la de ebullición. Se requiere la misma cantidad de calor para derretir el hielo que para hervir el agua. Se requiere más calor para derretir el hielo que para hacer hervir el agua. Vapor Agua Líquida Descongelación Hielo Temperatura (Celsius) 250 200 150 100 50 Agua Hirviendo Temperatura Tiempo (Minutos)

Ejemplo 2 3 6 9/2 9 El “extraño” caso del círculo rodante.
Construcción de ítems Ejemplo 2 El “extraño” caso del círculo rodante. En la figura siguiente, el radio del círculo A es 1/3 del radio del círculo B. Comenzando desde la posición mostrada en la figura, el círculo A rueda a lo largo del círculo B. ¿Cuántas revoluciones tendrá que efectuar el círculo A para que su centro vuelva al punto de partida? 3 6 9/2 9 B Ítems de dosier A EJEMPLO

Construcción de ítems Ejemplo 3 Si la paridad Libra esterlina £ / Euro € es 1£ = 1.20€ ¿Cuántos euros puede adquirir un turista inglés al cambiar 200£? a) 600 € b) 133,33 € c) 300 € d) 200 €

Ejemplo 4 La igualdad CORRECTA es: a) 10 Kg = 1.000 g
Construcción de ítems Ejemplo 4 La igualdad CORRECTA es: a) 10 Kg = g b) 1 Kg = g c) 10 Kg = 100 g d) 10 dg = mg

SUGERENCIAS PARA EL TRONCO
Construcción de ítems SUGERENCIAS PARA EL TRONCO Tratar de usar formas positivas siempre que sea posible Evitar en cualquier caso la doble negación. Si ha de ser negativo, resaltar la negación Favorecer la claridad sobre la concisión Ha de ser claro, pero no se ha de utilizar para enseñar. Debe proporcionar sólo la información requerida para responder. Puede ser una pregunta o una frase a completar

SUGERENCIAS PARA LAS OPCIONES
Construcción de ítems SUGERENCIAS PARA LAS OPCIONES La opción correcta debe ser claramente correcta La dificultad del ítem puede modificarse dramáticamente haciendo los distractores similares a la clave Utilizar los preconceptos erróneos como distractores Los distractores que confunden a los expertos no son buenos Juntar los distractores de redacción similar

Más sugerencias para las opciones
Construcción de ítems Más sugerencias para las opciones Evitar la opción “todos los anteriores”, en su lugar utilizar: EJEMPLO ¿Cuál de las siguientes Naciones luchó contra los aliados en la 2ª Guerra Mundial? I. Alemania II. Italia III. Japón Utilizar los números romanos sólo cuando no haya una forma mejor Si un número, como I, se incluye en todas las opciones, esa alternativa no se está probando. Llevarla al tronco si se desea o eliminarla de alguna opción a) Sólo I b) Sólo II c) Sólo I y II d) I, II y III

Y más sugerencias para las opciones
Construcción de ítems Y más sugerencias para las opciones No abusar de “ninguna de las anteriores”. Todas las opciones deben ser de la misma longitud y complejidad, y de similar estructura sintáctica La respuesta correcta no debe ser la más larga, ni la más corta, ni la única distinta Con más opciones hay menor probabilidad de adivinación, pero también es más difícil la construcción Siempre el mismo número de opciones (4) y siempre sólo una correcta

Construcción de ítems Y más… Evitar utilizar en la clave palabras que lleven a los no informados a seleccionarla. (La repetición de palabras del tronco sólo en la clave es una pista que debe evitarse) Si el tronco es negativo, evitar opciones negativas Distribuir la posición de la clave al azar. Evitar usar siempre la misma posición

La respuesta es abierta pero sólo existe una respuesta correcta
Construcción de ítems OTROS TIPOS DE ÍTEMS Ítems de respuesta construida: La respuesta es abierta pero sólo existe una respuesta correcta

COMPONENTES DE UN ÍTEM DE RESPUESTA CONSTRUIDA
Construcción de ítems COMPONENTES DE UN ÍTEM DE RESPUESTA CONSTRUIDA TRONCO O VÁSTAGO Parte inicial del ítem en la que se especifica la tarea Puede ser una pregunta, instrucciones, una frase incompleta, una situación de la vida real, etc. SOLUCIÓN Respuesta correcta Nota: DE UNA MISMA SITUACIÓN o CONTEXTO PUEDEN DERIVARSE DISTINTOS ÍTEMS (máximo 5)

Ejemplos de ítems de respuesta construida
Construcción de ítems Ejemplos de ítems de respuesta construida 1. Resuelve (7+3) x 5 = …….. 2. Resuelve x 5 = ……… 3. Coloca sobre la línea de puntos el signo (<, > o =) que corresponde: …… 4. ¿Cuánto dinero me falta para comprar una bicicleta de 200 euros, si tengo 2 billetes de 50 euros, 3 billetes de 20 euros y 5 billetes de 5 euros? Solución:………………………….

Otros ejemplos de ítems de respuesta construida
Construcción de ítems Otros ejemplos de ítems de respuesta construida Resuelve esta adivinanza: Tiene famosa memoria, gran tamaño y dura piel, y la nariz más grandota que en el mundo pueda haber Solución:…………………………….. A qué objeto se refiere el siguiente texto: Viaja siempre en mi cartera; me ayuda a planificar; siempre señala, certera, la fecha en la que se está Solución:…………………………….

Y más ejemplos de ítems de respuesta construida
Construcción de ítems Y más ejemplos de ítems de respuesta construida REPISAS Un carpintero necesita los siguientes materiales para hacer un juego de repisas: 4 tablones largos de madera, 6 tablones cortos de madera, 12 grapas pequeñas, 2 grapas grandes y 14 tornillos El carpintero tiene en su almacén 26 tablones grandes de madera, 33 tablones cortos de madera, 200 grapas pequeñas, 20 grapas grandes y 510 tornillos. ¿Cuántos juegos de repisas puede hacer el carpintero? Respuesta:

SUGERENCIAS GENÉRICAS
Construcción de ítems Los contenidos han de ser “significativos” (evitar la tentación del Trivial Pursuit) Usar vocabulario adecuado para la edad Utilizar la sintaxis correcta La misma idea puede medirse en varios niveles cognitivos. Elegir un nivel cognitivo determinado y tratar de ajustarse a él El contenido del ítem se clasifica en función del enunciado, del tronco y de la respuesta correcta. Las opciones pueden venir de varias áreas, pero no determinan al ítem La “capciosidad” (utilización de distractores sutiles pero no importantes) nunca es productiva

RESUMEN: principales requisitos
Construcción de ítems RESUMEN: principales requisitos Conocer el tema Pregunta clara en el tronco Una sola respuesta Opciones uniformes y claramente ordenadas Distractores plausibles Evitar repetir encabezamiento en las opciones Evitar “todos los anteriores” como opción Ajustar la dificultad

Corrección gramatical, precisión, claridad
Construcción de ítems Corrección gramatical, precisión, claridad Aleatorizar la posición de las claves Evitar pistas inoperantes Evitar solapamiento de opciones Evitar formas negativas en lo posible Utilizar gráficos o ilustraciones Especificar las unidades a que se refieren los números Independencia entre los ítems de un set Tratar de que el test cubra los contenidos y niveles cognitivos Escalas de rendimiento

Análisis psicométrico de la prueba desde la TCT: conceptos básicos
Fiabilidad y validez de las pruebas Análisis y selección de ítems

Precisión = Fiabilidad
Fiabilidad y Validez Precisión = Fiabilidad Exactitud = Validez

Análisis de la prueba: Fiabilidad
Concepto relacionado con la estabilidad de la medida proporcionada por la prueba, con su consistencia y con la predictibilidad de la misma. Cuando a las mismas personas se les pasa la misma prueba en diferentes momentos, si no han cambiado, deberían obtener las mismas puntuaciones (o muy parecidas): Fiabilidad como estabilidad temporal (correlación test-retest) De una prueba de competencia en matemáticas esperamos que todos sus elementos midan lo mismo (competencia matemática), y que por lo tanto sean sumables en una puntuación total única que representa, mide ese rasgo: Fiabilidad como consistencia interna (a de Cronbach)

Análisis de la prueba: Validez
Grado en que mide lo que pretende medir y no otra cosa. Necesidad de referente o criterio externo. (Ejemplo: una prueba de matemáticas debe medir conocimientos de matemáticas y no comprensión verbal.)

Análisis de ítems Puesto que los test están construidos a partir de ítems, cualquier prueba puede ser mejorada a través de una adecuada selección de los elementos (ítems) en función de sus objetivos, del tipo de rasgo y de los sujetos que integran la muestra Un buen test tiene que estar compuesto por buenos ítems Es importante conocer las características técnicas de los ítems que componen una prueba. Escalas de rendimiento

Análisis de ítems De los ítems podemos conocer muchas características, pero… Los parámetros son el mínimo conjunto de características técnicas necesarias para definir el ítem, en TCT: Dificultad Homogeneidad (Discriminación) Validez. Otras características, como la varianza del ítem, no son propiamente un parámetro, ya que la varianza de un ítem dicotómico depende de la dificultad y, por tanto, el parámetro es la dificultad mientras que la varianza es un derivado. Escalas de rendimiento

Análisis de ítems Características, no parámetros
Proporción de respuestas correctas (para un ítem dado): Proporción de respuestas incorrectas Varianza de un ítem: Se interpreta como un índice de hasta que punto un ítem contribuye a diferenciar a los sujetos en un test. Escalas de rendimiento

Indicadores de eficacia de los ítems: Análisis de la dificultad
Si el objetivo de una prueba es que se manifiesten las diferencias individuales entre los sujetos por medio de la tarea a realizar… …todos los elementos que configuran la prueba han de contribuir a diferenciar, a discriminar, entre los sujetos. Por lo tanto, los elementos no tienen que ser ni muy fáciles ya que los contestarían bien todos los sujetos, ni muy difíciles ya que nadie acertaría nada. La dificultad de los elementos tendrá que estar entre estos dos extremos para que puedan discriminar adecuadamente.

Indicadores de eficacia de los ítems: Cálculo del índice de dificultad
I.D.: número de aciertos partido por el número de sujetos que lo han intentado La máxima varianza, la máxima capacidad discriminativa se da en Ítems de dificultad media. (S2=p·q) P = 0,50 q= 0,50 S2=0,25

Indicadores de eficacia de los ítems: Uso del índice de dificultad

Aunque un elemento es muy fácil cuando su ID esté por encima de 0,75, en la práctica no suelen incluirse elementos cuyo ID sea > 0,95. Algo similar ocurre con los muy difíciles, en que no suelen tomarse en cuenta los de ID < 0,05. la suma de los ID de todos los ítems del test es igual a la media de las puntuaciones en todos los ítems, es decir, la media del test.

Inconvenientes o problemas que se le atribuyen al ID: Semánticamente sería más correcto hablar de índice de facilidad. Cambia en relación a las características de la muestra, no es una propiedad intrínseca al ítem. Esto solo ocurre en la TCT, ya que en la TRI el concepto es diferente para salvar esta limitación.

Indicadores de eficacia de los ítems: Índice de homogeneidad (o discriminación)
En la mayoría de los tests una propiedad que tienen que cumplir los elementos del mismo es que sean homogéneos Es decir: todos los elementos tienen que medir lo mismo que el test en su conjunto. Tiene que ver con la fiabilidad de un ítem, ya que indica hasta qué punto el ítem mide lo mismo que el total del test.

Indicadores de eficacia de los ítems: Índice de homogeneidad (o discriminación)
Se trata de una correlación entre el ítem y el test en su conjunto. Para obtenerlo debemos aplicar a esta correlación un índice de corrección, debido a que en la correlación incluimos al ítem dentro del conjunto del test. Los valores obtenidos estarán entre -1 y 1. La fiabilidad de esta correlación aumenta cuando el valor de p es mediano, es decir, se encuentra alrededor de 0,50. Como limitación hay que señalar que la muestra tiene que tener más de sujetos y que no se puede utilizar cuando el valor de p se encuentra en un extremo, es decir, el valor de p se tiene que encontrar entre 0,10 y 0,90.

Indicadores de eficacia de los ítems: Índice de validez
Del mismo modo que la discriminación del ítem tiene que ver con la fiabilidad, la validez del ítem tiene que ver con la validez del test. El índice de validez es la correlación del ítem con un criterio externo y se calcula con la correlación biserial puntual. Por ejemplo, en los casos en los que medimos alguna variable de rendimiento, la variable de contraste o criterio externo pueden ser las notas o calificaciones académicas obtenidas por los sujetos.

Indicadores de eficacia de los ítems: Análisis de los distractores
En los tests de elección múltiple, además de conocer la dificultad, homogeneidad y validez de los elementos, interesa conocer la eficacia de las respuestas incorrectas. Para seleccionar las respuestas incorrectas, hay que tener en cuenta que para las personas que tienen poca información, éstas tienen que tener el mismo atractivo que la correcta. Si conseguimos esto, los sujetos más informados tenderán a elegir la respuesta correcta y los sujetos que poseen menos información tenderán o mejor dicho se distribuirán homogéneamente en todas las alternativas u opciones del elemento.

Indicadores de eficacia de los ítems: Análisis de los distractores
Cuando las respuestas incorrectas están mal elaboradas …porque son ilógicas, absurdas o sin ningún atractivo, los sujetos no tendrán ninguna dificultad para elegir la respuesta correcta ya que por reducción a lo absurdo, eliminarán las respuestas incorrectas, aunque no posean suficiente información. Por lo tanto es necesario analizar las respuestas incorrectas objetivamente, para rechazar las inoperantes.

SELECCIÓN DE ÍTEMS Criterios:
1. Correlación del ítem con un criterio externo (si lo hay)  Validez predictiva 2. Discriminación  Correlación del ítem con la puntuación total del test (consistencia interna). Se utiliza la correlación biserial y biserial puntual. 3. Dificultad  Tenemos que encontrar ítems de dificultad media. Puesto que en ocasiones, 2 y 3 entran en conflicto, necesitamos hacer uso de otro criterio

SELECCIÓN DE ÍTEMS Criterios:
4. Contribución del ítem a la varianza total del test  En éste se combinan la dificultad y la discriminación (2 y 3). Es la covarianza del ítem y el test.

Análisis de ítems y de la prueba con Corrector
Qué es Corrector Instalación Ejecución Interpretación de resultados

Análisis de datos con Corrector
1. ¿Qué es? La herramienta Corrector es un complemento de macros automáticas de EXCEL que se utiliza para la corrección y el análisis de pruebas objetivas. 67

2. Instalación Antes de proceder a la instalación debe copiarse el complemento .xla que contiene el programa en algún directorio del disco duro, por ejemplo: C:\Mis documentos. 68

2.1. Instalación Microsoft Office: versión 2007 (I)
Análisis de datos con Corrector 2.1. Instalación Microsoft Office: versión 2007 (I) Para proceder a la instalación se debe abrir un libro de Excel y, a continuación, seguir la siguiente ruta: Botón de Excel 1 Botón de Excel - Opciones de Excel - Complementos – Ir… 69

2.1. Instalación Microsoft Office: versión 2007 (II)
Análisis de datos con Corrector 2.1. Instalación Microsoft Office: versión 2007 (II) 2 Pulsa el botón 'Examinar' que aparece a la derecha. 70

2.1. Instalación Microsoft Office: versión 2007 (III)
Análisis de datos con Corrector 2.1. Instalación Microsoft Office: versión 2007 (III) 3 Se abrirá una ventana donde hay que buscar el directorio en el que se copió el programa y seleccionar éste. Pulsar 'Abrir’. 71

2.1. Instalación Microsoft Office: versión 2007 (IV)
Análisis de datos con Corrector 2.1. Instalación Microsoft Office: versión 2007 (IV) 4 En el listado de complementos disponibles aparecerá marcado el nuevo complemento. Pulsar 'Aceptar’. 72

2.1. Instalación Microsoft Office: versión 2007 (V)
Análisis de datos con Corrector 2.1. Instalación Microsoft Office: versión 2007 (V) 5 A partir de este momento si se accede a complementos aparecerá un control nuevo con la etiqueta 'Corrector'. El programa ha sido instalado con éxito!! 73

2.2. Instalación Microsoft Office: versiones anteriores (I)
Análisis de datos con Corrector 2.2. Instalación Microsoft Office: versiones anteriores (I) Para proceder a la instalación se debe abrir un libro de Excel y, a continuación, seguir la siguiente ruta: 1 Herramientas - Complementos 74

2.2. Instalación Microsoft Office: versiones anteriores (II)
Análisis de datos con Corrector 2.2. Instalación Microsoft Office: versiones anteriores (II) 2 Pulsa el botón 'Examinar' que aparece a la derecha. 75

2.2. Instalación Microsoft Office: versiones anteriores (III)
Análisis de datos con Corrector 2.2. Instalación Microsoft Office: versiones anteriores (III) 3 Se abrirá una ventana donde hay que buscar el directorio en el que se copió el programa y seleccionar éste. Pulsar ‘Aceptar’. 76

2.2. Instalación Microsoft Office: versiones anteriores (IV)
Análisis de datos con Corrector 2.2. Instalación Microsoft Office: versiones anteriores (IV) 4 En el listado de complementos disponibles aparecerá marcado el nuevo complemento. Pulsar 'Aceptar’. 77

2.2. Instalación Microsoft Office: versiones anteriores (V)
Análisis de datos con Corrector 2.2. Instalación Microsoft Office: versiones anteriores (V) 5 En la barra de menús aparece un control nuevo con la etiqueta 'Corrector'. El problema se ha instalado con éxito!! 78

3. Ejecución Para ver el funcionamiento del programa, lo más sencillo es ejecutar el ejemplo. Para ello pulsa sobre el control 'Corrector'. Aparecerán diferentes opciones: 'Leer datos ASCII...' 'Inicializar' 'Corregir' 'Integrar' 'Analizar' ‘Recodificar' 'Detectar copia' 'Acerca de' 79

3.1. Inicializar El primer paso ejecutar el programa es la inicialización del mismo, para ello se debe pulsar en Corrector - Inicializar 80

3.2. Preparación de la información (I)
Análisis de datos con Corrector 3.2. Preparación de la información (I) Al inicializar el corrector aparecen tres hojas en el libro de Excel donde se deben introducir los datos a analizar: Orden de los ítems Alternativa correcta Introducción del ítem en el análisis: Y- Si N- No Nº de alternativas 1 Clave: Hoja que contiene la “clave” o “alternativa correcta” de cada uno de los ítems a analizar. 81

3.2. Preparación de la información (II)
Análisis de datos con Corrector 3.2. Preparación de la información (II) Etiqueta para el ítem 9 2 Etiqueta de ítems (Ejemplo): Aparece el nombre que se desea asignar a cada uno de los ítems. 82

3.2. Preparación de la información (III)
Análisis de datos con Corrector 3.2. Preparación de la información (III) Orden del ítem Respuesta del sujeto 4 al ítem 28 Identificación del sujeto 3 Datos de entrada (Ejemplo): Hoja con las respuestas de los sujetos a los diferentes reactivos. 83

3.3. Analizar (I) Sobre la hoja que contiene los datos, pinchar en: Corrector – Analizar Dar respuesta a las preguntas que aparecen a continuación: 84

3.3. Analizar (II) 1 Introducir el nombre de la hoja que contiene los datos. Pinchar en aceptar 85

3.3. Analizar (III) 2 Indicar cuál es el número de grupos a analizar.
Análisis de datos con Corrector 3.3. Analizar (III) 2 Indicar cuál es el número de grupos a analizar. En el caso del ejemplo como sólo hay un grupo pinchar: No. 86

3.3. Analizar (IV) 3 Asignar nombre a la hoja que va a contener el análisis técnico de los ítems. Por ejemplo: Análisis de ítems Pinchar en Aceptar 87

3.3. Analizar (V) 4 Asignar nombre a la hoja que va a contener el análisis de la prueba. Por ejemplo: Análisis de la Prueba Pinchar en Aceptar 88

3.3. Analizar (VI) 5 Introducir, si se desea, un título para el resultado del análisis. Pinchar en Aceptar 89

3.3. Analizar (VII) 6 Introducir, si se desea, un subtítulo para el resultado del análisis. Pinchar en Aceptar 90

3.3. Analizar (VIII) 7 Indicar si se van a utilizar etiquetas para los ítems a analizar. En el ejemplo que nos ocupa, como las etiquetas están elaboradas, pinchar en: Si 91

3.3. Analizar (IX) 8 Indicar como se llama la hoja que contiene las etiquetas. Pinchar en Aceptar 92

4. Interpretación de resultados
Análisis de datos con Corrector 4. Interpretación de resultados Los resultados del análisis de la prueba y del análisis técnico de los ítems aparecen diferenciados en dos hojas del libro Excel en el que se ha llevado a cabo el análisis. El análisis de la prueba recoge información relativa a las características generales del instrumento. Sin embargo, dado que cualquier prueba puede ser mejorada a través de una adecuada selección de los elementos que la componen, se hace necesario conocer todo el conjunto de parámetros que informan de las características técnicas necesarias que permiten definir cada uno de los ítems. 93

4.1. Análisis de la Prueba (I)
Análisis de datos con Corrector 4.1. Análisis de la Prueba (I) 94

4.1. Análisis de la Prueba (II)
Análisis de datos con Corrector 4.1. Análisis de la Prueba (II) Nº de ítems Número de ítems analizados. Nº de sujetos Número de sujetos que han dado respuesta al conjunto de ítems. Mínimo Puntuación mínima de los sujetos en la prueba. Máximo Puntuación máxima de los sujetos en la prueba. Nº medio de aciertos Media de los resultados obtenidos por los sujetos en el total de la prueba. Error típico de la media Error típico de la media del test. Varianza Varianza total del test. Desviación típica Desviación típica del test. Facilidad media Media de los índices de facilidad de los ítems que componen la prueba. Aporta información de la dificultad del instrumento. Rbp media Media de las correlaciones biserial puntual de los diferentes ítems que componen la prueba. Aporta información de la discriminación de la prueba. Fiabilidad (Alfa de Cronbach) La fiabilidad es la capacidad de un instrumento para medir con consistencia un constructo determinado. El estadístico alfa contrasta dicha fiabilidad calculando el grado en el que covarían los ítems que constituyen el test, en una escala que puede tomar valores entre cero y uno, siendo aceptable un valor de alfa superior a 0,8 (Nunnally 1994) Error típico de medida Error típico de medida de la prueba. Permite establecer intervalos de confianza en torno a las puntuaciones observadas para, así estimar las puntuaciones verdaderas. * Nunnally J. C. (1994) Psychometric theory. New York: McGraw Hill 95

4.2. Análisis técnico de los ítems (I)
Análisis de datos con Corrector 4.2. Análisis técnico de los ítems (I) 96

4.2. Análisis técnico de los ítems (II)
Análisis de datos con Corrector 4.2. Análisis técnico de los ítems (II) Ítem Identificación del ítem a analizar. El hipervínculo conduce a una hoja del libro de Excel que recoge un gráfico con el porcentaje de respuesta para cada alternativa. Facilidad Conocido como Índice de dificultad o facilidad media del ítem, informa de la proporción de sujetos que ha contestado bien el ítem. Toma valores comprendidos entre 0 y 1, siendo el valor más próximo a la unidad a medida que aumenta la facilidad. Es el resultado de dividir el número de sujetos que han acertado el ítem entre el número de sujetos que lo han intentado. Varianza Permite identificar hasta que punto un ítem contribuye a diferenciar a los sujetos en un test. Toma el valor de 0 cuando no existe dispersión en la respuesta dada por los sujetos al ítem (todos aciertan o todos fallan) y su máximo valor es 0,25. Desviación típica Al igual que la varianza del ítem, su desviación típica informa sobre la dispersión de las respuestas dadas por los sujetos al ítem analizado. Biserial puntual Correlación entre la respuesta de los sujetos al ítem y su calificación en el total de la prueba. Biserial puntual corregida Medida del grado de discriminación del ítem. Correlación entre la respuesta de los sujetos al ítem y su calificación en el total de la prueba, excluyendo de esta calificación el ítem que se está analizando. Clave Alternativa correcta. Media p Media de las puntuaciones obtenidas en el total de la prueba por aquellos sujetos que han acertado el ítem analizado. Media q Media de las puntuaciones obtenidas en el total de la prueba por aquellos sujetos que no han acertado el ítem analizado. 97

4.2. Análisis técnico de los ítems (III)
Análisis de datos con Corrector 4.2. Análisis técnico de los ítems (III) Cov(i,X) (Six) Covarianza entre la respuesta dada por los sujetos al ítem y los resultados que han obtenido en el total de la prueba. Informa de la contribución del ítem a la varianza total del test. Cov(i,X) (Six) (Spur) Covarianza entre la respuesta dada por los sujetos al ítem y su puntuación en el total de la prueba, excluyendo el de esta calificación el ítem que se está analizando. % Alternativa 1 Proporción de respuesta a cada una de las alternativas del ítem. % Alternativa 2 % Alternativa 3 % Alternativa 4 % otras rbp Alternativa 1 Correlación biserial puntual entre cada una de las alternativas y su calificación en el total de la prueba. rbp Alternativa 2 rbp Alternativa 3 rbp Alternativa 4 rbp otras rbp (Spur) Alter. 1 Correlación biserial puntual entre cada una de las alternativas y su calificación en el total de la prueba, excluyendo de esta calificación el ítem que se está analizando. rbp (Spur) Alter. 2 rbp (Spur) Alter. 3 rbp (Spur) Alter. 4 rbp (Spur) otras 98

ELABORACIÓN DE PRUEBAS Y ANÁLISIS DE DATOS

Presentaciones similares

Presentación del tema: "ELABORACIÓN DE PRUEBAS Y ANÁLISIS DE DATOS"— Transcripción de la presentación:

Presentaciones similares

Sobre el proyecto

Feedback

Iniciar la sesión

Autorizarse a través de una red social:

ELABORACIÓN DE PRUEBAS Y ANÁLISIS DE DATOS

Presentaciones similares

Presentación del tema: "ELABORACIÓN DE PRUEBAS Y ANÁLISIS DE DATOS"— Transcripción de la presentación:

Presentaciones similares

Sobre el proyecto

Feedback