SERCE MANUAL DE PROCESAMIENTO DE DATOS PARA EL ANÁLISIS DE ÍTEMS Y LA PRODUCCIÓN DE RESULTADOS SERCE Segundo Estudio Regional Comparativo y Explicativo   LABORATORIO LATINOAMERICANO DE EVALUACIÓN DE LA CALIDAD DE LA EDUCACIÓN (LLECE)    Autores: Martha Rocha Carlos Pardo Antigua, septiembre 2006 

CONTENIDO DEL MANUAL 1. FUNDAMENTACIÓN TEÓRICA DEL MODELO DE ANÁLISIS 2. CONSTRUCCIÓN DE LA BASE DE DATOS PARA ANÁLISIS DE ÍTEMS 3. DEPURACIÓN DE BASE DE DATOS PARA ANÁLISIS DE ÍTEM 4. INDICADORES ESTADÍSTICOS PARA ANÁLISIS DE ÍTEMS 5. INDICADORES ESTADÍSTICOS PARA EL ANÁLISIS DE GRUPOS DE ÍTEMS

CONTENIDO DEL MANUAL 6. DEPURACIÓN DE BASES DE DATOS PARA GENERACIÓN DE ESCALAS DE CALIFICACIÓN 7. ESCALAS DE CALIFICACIÓN   8.  BASE DE DATOS DE RESULTADOS      9. SOFTWARE PARA PROCESAMIENTO 10. REPORTES 11. FASES DEL PROCESAMIENTO

TEORÍA DE RESPUESTA AL ÍTEM SUPUESTOS: Dimensionalidad Independencia local ICC MODELOS Rasch Tres parámetros  

INDICADORES ESTADÍSTICOS PARA EL ANÁLISIS DE ÍTEMS DIFICULTAD   Indica la posición de la curva del ítem a lo largo de la escala de habilidad; entre más difícil es un ítem su curva estará localizada más a la derecha en la escala de habilidad. Criterio: distribución de valores

BASES DE DATOS PARA ANÁLISIS DE ÍTEM DEPURACIÓN INICIAL Módulo de captura de datos Rutinas de verificación

BASES DE DATOS PARA ANÁLISIS DE ÍTEM ESTRUCTURA BASES DE DATOS Código de país Código de centro educativo Grado Aula Código de estudiante en el aula Nombre del cuadernillo Bloque en primera posición Bloque en segunda posición Respuestas bloque 1 Respuestas bloque 2 Respuestas bloque 3 Respuestas bloque 4 Respuestas bloque 5 Respuestas bloque 6.

DEPURACIÓN DE BASES DE DATOS PARA ANÁLISIS DE ÍTEM INFORMACIÓN INSUFICIENTE PREGUNTAS NO ALCANZADAS DESAJUSTE ESTUDIANTE

INDICADORES ESTADÍSTICOS PARA EL ANÁLISIS DE ÍTEMS DISCRIMINACIÓN      Poder de un ítem para diferenciar a los evaluados en distintos niveles de habilidad frente a un constructo medido. Pendiente de la curva en el punto de máxima inflexión. Criterio: valores superiores o iguales a 0.7

INDICADORES ESTADÍSTICOS PARA EL ANÁLISIS DE ÍTEMS CORRELACIÓN PRODUCTO MOMENTO PUNTO MEDIDA        Relación entre la respuesta correcta a un ítem de una prueba y el valor de habilidad obtenido en dicha prueba   Criterio: valores superiores a 0.25

INDICADORES ESTADÍSTICOS PARA EL ANÁLISIS DE ÍTEMS FUNCIONAMIENTO DIFERENCIAL DE ÍTEMS - DIF   Grado en el cual un ítem presenta propiedades estadísticas diferentes en distintos grupos poblacionales, cuando se controla la habilidad de los grupos.   Criterio: se rechaza el funcionamiento diferencial cuando se encuentran valores inferiores a 1.96 de la prueba t con (n1+n2-2) grados de libertad.

INDICADORES ESTADÍSTICOS PARA EL ANÁLISIS DE ÍTEMS CURVA CARACTERÍSTICA DEL ITEM – ICC   Función matemática que relaciona la probabilidad de éxito en un ítem con la habilidad medida por el ítem Criterio: curvas empíricas (ECC) que se comportan de acuerdo con la curva característica del modelo.

INDICADORES ESTADÍSTICOS PARA EL ANÁLISIS DE ÍTEMS AJUSTE PRÓXIMO Y LEJANO (INFIT Y OUTFIT) Correspondencia entre un grupo de datos y el modelo estadístico utilizado para representarlos. El ajuste próximo se refiere a la relación entre los datos que se encuentran cerca del valor de dificultad del ítem y el valor de dificultad; el ajuste lejano se refiere a la relación de los datos que se encuentran lejos de dicho valor de dificultad y esa dificultad. Criterio: valores entre 0.8 y 1.2.

INDICADORES ESTADÍSTICOS PARA EL ANÁLISIS DE ÍTEMS PROMEDIO DE HABILIDAD POR OPCIÓN Promedio de las habilidades de quienes eligen cada opción de respuesta de un ítem. Criterio: el mayor promedio de habilidad debe ser el de la clave.

INDICADORES ESTADÍSTICOS PARA EL ANÁLISIS DE ÍTEMS MAPA DE DISTRIBUCIÓN DE HABILIDADES Y DIFICULTADES * Relación gráfica, en una misma escala, entre la distribución de las dificultades de los ítems y la distribución de las habilidades de los evaluados. Criterio: distribuciones de habilidades y dificultades con posición y dispersión semejantes entre sí.

INDICADORES ESTADÍSTICOS PARA EL ANÁLISIS DE ÍTEMS CORRELACIONES INTER – ÍTEM* Correlaciones entre los ítems de un mismo bloque. Criterio: las correlaciones deben ser positivas y altas.

INDICADORES ESTADÍSTICOS PARA EL ANÁLISIS DE ÍTEMS ERROR ESTÁNDAR DE MEDICIÓN Desviación estándar de una distribución imaginaria de errores que representan la posible distribución de valores observados alrededor del valor teórico verdadero. Criterio: un juicio profesional experto de quienes conocen procedimientos psicométricos.

INDICADORES ESTADÍSTICOS PARA EL ANÁLISIS DE GRUPOS DE ÍTEMS PROMEDIO Valor medio de las dificultades de los ítems del bloque y de las habilidades de las personas que abordan el bloque. .

INDICADORES ESTADÍSTICOS PARA EL ANÁLISIS DE BLOQUES DESVIACIÓN ESTÁNDAR Medida de la dispersión de la distribución de las dificultades de los ítems de un bloque y de la distribución de las habilidades de las personas que abordan dicho bloque. .

INDICADORES ESTADÍSTICOS PARA EL ANÁLISIS DE BLOQUES PUNTUACIÓN MÁXIMA Y PUNTUACIÓN MÍNIMA Puntuaciones logit más alta y más baja alcanzadas por una población particular. .

INDICADORES ESTADÍSTICOS PARA EL ANÁLISIS DE BLOQUES CONFIABILIDAD Grado de precisión en la medición. En la TRI se utiliza la Función de Información como indicador de la confiabilidad.   .

DEPURACIÓN DE BASES DE DATOS PARA GENERACIÓN DE ESCALAS INFORMACIÓN INSUFICIENTE PREGUNTAS NO ALCANZADAS DESAJUSTE ESTUDIANTE ASISTENCIA PARCIAL ANÁLISIS DE ÍTEM

ESCALAS DE CALIFCIACIÓN PUNTUACIÓN TOTAL EN LA PRUEBA NIVEL DE DESEMPEÑO DESEMPEÑO RELATIVO POR CATEGORÍAS DE LA ESTRUCTURA DE PRUEBA

PUNTUACIÓN TOTAL EN LA PRUEBA PROMEDIO = 500 puntos DESVIACIÓN ESTÁNDAR = 100 puntos

PUNTUACIÓN TOTAL EN LA PRUEBA -3.000 -2.000 -1.000 0.000 1.000 200 300 400 500 600

PUNTUACIÓN TOTAL EN LA PRUEBA 1 -1.399 360 2 .230 523 3 -1.090 391 4 .563 556 5 .797 580

NIVEL DE DESEMPEÑO 3 . + . |T . | M6B2IT17 . | M6B4IT17 . | M6B8IT05 3 . + . |T . | M6B2IT17 . | M6B4IT17 . | M6B8IT05 . | M6B1IT11 M6B4IT15 M6B6IT16 2 .# T+ M6B2IT03 .# | M6B2IT09 M6B2IT12 .## |S M6B1IT07 M6B2IT16 .## | M6B1IT15 M6B2IT10 M6B5IT12 .### | M6B1IT13 M6B3IT14 .###### | M6B1IT08 M6B1IT12 M6B2IT04 M6B7IT12 1 .#### S+ M6B1IT03 M6B1IT16 M6B2IT11 M6B7IT09 M6B8IT07 .###### | M6B1IT14 M6B2IT05 M6B6IT14 M6B7IT04 .####### | M6B1IT09 M6B2IT02 .######## |M M6B2IT08 M6B5IT10 M6B6IT12 M6B7IT16 .###### | M6B1IT06 .############ | M6B3IT05 M6B6IT02 0 .#### M+ M6B1IT05 M6B7IT11 M6B7IT15 .############ | M6B5IT01 M6B8IT12 .######### | M6B1IT02 M6B7IT03 M6B7IT05 .###### | M6B3IT04 M6B3IT13 M6B6IT10 .######## |S M6B2IT01 M6B3IT12 M6B6IT09 M6B8IT02 .#### | M6B1IT04 M6B3IT02 M6B4IT08 M6B7IT02 -1 .###### S+ M6B3IT06 M6B8IT08 .##### | M6B1IT01 M6B3IT11 M6B5IT03 .# | .## | M6B8IT01 .## | .# |T -2 . T+ M6B8IT06 . | M6B4IT10 . | M6B4IT01 M6B7IT01 . | -3 . +

NIVEL DE DESEMPEÑO

NIVEL DE DESEMPEÑO F E D C B CRITICA ENTRE TEXTOS INFERENCIAS SIGNIFICADO BASICO DEL TEXTO SUPERFICIAL Y FRAGMENTADA.

DESEMPEÑO RELATIVO POR CATEGORÍA

DESEMPEÑO RELATIVO POR CATEGORÍA

BASE DE DATOS DE RESULTADOS Código de país Código del centro educativo Grado Aula Estudiante en el aula Nombre del cuadernillo Ponderador Puntuación en la prueba de lectura Nivel de desempeño en la prueba de lectura Puntuación en la prueba de matemática Nivel de desempeño en la prueba de matemática Puntuación en la prueba de ciencias naturales Nivel de desempeño en la prueba de ciencias naturales.

REPORTES R 1. Indicadores por ítem. R 2. Indicadores por opción. R 3. Correlaciones Interitem..   R 4. Mapa de distribución de habilidades y dificultades. R 5. Promedio, desviación estándar, valores máximo y mínimo de dificultades de ítems, por bloque. R 6. Función de Información R 7. Curva Característica del Ítem y Curva Empírica del Ítem.

REPORTES CON INFORMACIÓN POR PAÍS Reporte A. Dificultad. Reporte B. Ajuste próximo. Reporte C. Ajuste lejano. Reporte D. Discriminación. Reporte E. Porcentaje de respuestas correctas.

I. 2A INDICADORES POR ÍTEM L3

I. 2B DIF POR ÍTEM L3

I. 3 INDICADORES POR OPCIÓN L3

I. 4 CORRELACIONES INTERITEM L3

I. 5 MAPA DE DISTRIBUCIÓN DE HAB. Y DIF. L3

I. 6 PROMEDIO, D.E., MAX Y MIN DIFICULTAD L3

I. 7 FUNCIÓN DE INFORMACIÓN L3

I. 8A CCI Y CEI L3

I. 8B CEI POR OPCIÓN L3 Azul: A Naranja : B Lila : C Verde : D Azul Claro : O Amarillo : M

N. A INDICADORES POR ÍTEM ???LEN6

N. B INDICADORES POR OPCIÓN ???LEN6

N. C PROMEDIO, D.E., MAX Y MIN DIFICULTAD ???LEN6