SERCE MANUAL DE PROCESAMIENTO DE DATOS PARA EL ANÁLISIS DE ÍTEMS Y

SERCE MANUAL DE PROCESAMIENTO DE DATOS PARA EL ANÁLISIS DE ÍTEMS Y
LA PRODUCCIÓN DE RESULTADOS SERCE Segundo Estudio Regional Comparativo y Explicativo LABORATORIO LATINOAMERICANO DE EVALUACIÓN DE LA CALIDAD DE LA EDUCACIÓN (LLECE) Autores: Martha Rocha Carlos Pardo Antigua, septiembre 2006

CONTENIDO DEL MANUAL 1. FUNDAMENTACIÓN TEÓRICA DEL MODELO DE ANÁLISIS
2. CONSTRUCCIÓN DE LA BASE DE DATOS PARA ANÁLISIS DE ÍTEMS 3. DEPURACIÓN DE BASE DE DATOS PARA ANÁLISIS DE ÍTEM 4. INDICADORES ESTADÍSTICOS PARA ANÁLISIS DE ÍTEMS 5. INDICADORES ESTADÍSTICOS PARA EL ANÁLISIS DE GRUPOS DE ÍTEMS

CONTENIDO DEL MANUAL 6. DEPURACIÓN DE BASES DE DATOS PARA GENERACIÓN DE ESCALAS DE CALIFICACIÓN 7. ESCALAS DE CALIFICACIÓN 8. BASE DE DATOS DE RESULTADOS 9. SOFTWARE PARA PROCESAMIENTO 10. REPORTES 11. FASES DEL PROCESAMIENTO

TEORÍA DE RESPUESTA AL ÍTEM
SUPUESTOS: Dimensionalidad Independencia local ICC MODELOS Rasch Tres parámetros

INDICADORES ESTADÍSTICOS PARA EL ANÁLISIS DE ÍTEMS
DIFICULTAD Indica la posición de la curva del ítem a lo largo de la escala de habilidad; entre más difícil es un ítem su curva estará localizada más a la derecha en la escala de habilidad. Criterio: distribución de valores

BASES DE DATOS PARA ANÁLISIS DE ÍTEM
DEPURACIÓN INICIAL Módulo de captura de datos Rutinas de verificación

BASES DE DATOS PARA ANÁLISIS DE ÍTEM
ESTRUCTURA BASES DE DATOS Código de país Código de centro educativo Grado Aula Código de estudiante en el aula Nombre del cuadernillo Bloque en primera posición Bloque en segunda posición Respuestas bloque 1 Respuestas bloque 2 Respuestas bloque 3 Respuestas bloque 4 Respuestas bloque 5 Respuestas bloque 6.

DEPURACIÓN DE BASES DE DATOS PARA ANÁLISIS DE ÍTEM
INFORMACIÓN INSUFICIENTE PREGUNTAS NO ALCANZADAS DESAJUSTE ESTUDIANTE

DISCRIMINACIÓN Poder de un ítem para diferenciar a los evaluados en distintos niveles de habilidad frente a un constructo medido. Pendiente de la curva en el punto de máxima inflexión. Criterio: valores superiores o iguales a 0.7

CORRELACIÓN PRODUCTO MOMENTO PUNTO MEDIDA Relación entre la respuesta correcta a un ítem de una prueba y el valor de habilidad obtenido en dicha prueba Criterio: valores superiores a 0.25

FUNCIONAMIENTO DIFERENCIAL DE ÍTEMS - DIF Grado en el cual un ítem presenta propiedades estadísticas diferentes en distintos grupos poblacionales, cuando se controla la habilidad de los grupos. Criterio: se rechaza el funcionamiento diferencial cuando se encuentran valores inferiores a 1.96 de la prueba t con (n1+n2-2) grados de libertad.

CURVA CARACTERÍSTICA DEL ITEM – ICC Función matemática que relaciona la probabilidad de éxito en un ítem con la habilidad medida por el ítem Criterio: curvas empíricas (ECC) que se comportan de acuerdo con la curva característica del modelo.

AJUSTE PRÓXIMO Y LEJANO (INFIT Y OUTFIT) Correspondencia entre un grupo de datos y el modelo estadístico utilizado para representarlos. El ajuste próximo se refiere a la relación entre los datos que se encuentran cerca del valor de dificultad del ítem y el valor de dificultad; el ajuste lejano se refiere a la relación de los datos que se encuentran lejos de dicho valor de dificultad y esa dificultad. Criterio: valores entre 0.8 y 1.2.

PROMEDIO DE HABILIDAD POR OPCIÓN Promedio de las habilidades de quienes eligen cada opción de respuesta de un ítem. Criterio: el mayor promedio de habilidad debe ser el de la clave.

MAPA DE DISTRIBUCIÓN DE HABILIDADES Y DIFICULTADES * Relación gráfica, en una misma escala, entre la distribución de las dificultades de los ítems y la distribución de las habilidades de los evaluados. Criterio: distribuciones de habilidades y dificultades con posición y dispersión semejantes entre sí.

CORRELACIONES INTER – ÍTEM* Correlaciones entre los ítems de un mismo bloque. Criterio: las correlaciones deben ser positivas y altas.

ERROR ESTÁNDAR DE MEDICIÓN Desviación estándar de una distribución imaginaria de errores que representan la posible distribución de valores observados alrededor del valor teórico verdadero. Criterio: un juicio profesional experto de quienes conocen procedimientos psicométricos.

INDICADORES ESTADÍSTICOS PARA EL ANÁLISIS DE GRUPOS DE ÍTEMS
PROMEDIO Valor medio de las dificultades de los ítems del bloque y de las habilidades de las personas que abordan el bloque. .

INDICADORES ESTADÍSTICOS PARA EL ANÁLISIS DE BLOQUES
DESVIACIÓN ESTÁNDAR Medida de la dispersión de la distribución de las dificultades de los ítems de un bloque y de la distribución de las habilidades de las personas que abordan dicho bloque. .

PUNTUACIÓN MÁXIMA Y PUNTUACIÓN MÍNIMA Puntuaciones logit más alta y más baja alcanzadas por una población particular. .

CONFIABILIDAD Grado de precisión en la medición. En la TRI se utiliza la Función de Información como indicador de la confiabilidad. .

DEPURACIÓN DE BASES DE DATOS PARA GENERACIÓN DE ESCALAS
INFORMACIÓN INSUFICIENTE PREGUNTAS NO ALCANZADAS DESAJUSTE ESTUDIANTE ASISTENCIA PARCIAL ANÁLISIS DE ÍTEM

ESCALAS DE CALIFCIACIÓN
PUNTUACIÓN TOTAL EN LA PRUEBA NIVEL DE DESEMPEÑO DESEMPEÑO RELATIVO POR CATEGORÍAS DE LA ESTRUCTURA DE PRUEBA

PUNTUACIÓN TOTAL EN LA PRUEBA
PROMEDIO = 500 puntos DESVIACIÓN ESTÁNDAR = 100 puntos

-3.000 -2.000 -1.000 0.000 1.000 200 300 400 500 600

NIVEL DE DESEMPEÑO

NIVEL DE DESEMPEÑO F E D C B CRITICA ENTRE TEXTOS INFERENCIAS
SIGNIFICADO BASICO DEL TEXTO SUPERFICIAL Y FRAGMENTADA.

DESEMPEÑO RELATIVO POR CATEGORÍA

BASE DE DATOS DE RESULTADOS
Código de país Código del centro educativo Grado Aula Estudiante en el aula Nombre del cuadernillo Ponderador Puntuación en la prueba de lectura Nivel de desempeño en la prueba de lectura Puntuación en la prueba de matemática Nivel de desempeño en la prueba de matemática Puntuación en la prueba de ciencias naturales Nivel de desempeño en la prueba de ciencias naturales.

REPORTES R 1. Indicadores por ítem. R 2. Indicadores por opción.
R 3. Correlaciones Interitem.. R 4. Mapa de distribución de habilidades y dificultades. R 5. Promedio, desviación estándar, valores máximo y mínimo de dificultades de ítems, por bloque. R 6. Función de Información R 7. Curva Característica del Ítem y Curva Empírica del Ítem.

REPORTES CON INFORMACIÓN POR PAÍS
Reporte A. Dificultad. Reporte B. Ajuste próximo. Reporte C. Ajuste lejano. Reporte D. Discriminación. Reporte E. Porcentaje de respuestas correctas.

I. 2A INDICADORES POR ÍTEM L3

I. 2B DIF POR ÍTEM L3

I. 3 INDICADORES POR OPCIÓN L3

I. 4 CORRELACIONES INTERITEM L3

I. 5 MAPA DE DISTRIBUCIÓN DE HAB. Y DIF. L3

I. 6 PROMEDIO, D.E., MAX Y MIN DIFICULTAD L3

I. 7 FUNCIÓN DE INFORMACIÓN L3

I. 8A CCI Y CEI L3

I. 8B CEI POR OPCIÓN L3 Azul: A Naranja : B Lila : C Verde : D
Azul Claro : O Amarillo : M

N. A INDICADORES POR ÍTEM ???LEN6

N. B INDICADORES POR OPCIÓN ???LEN6

N. C PROMEDIO, D.E., MAX Y MIN DIFICULTAD ???LEN6

SERCE MANUAL DE PROCESAMIENTO DE DATOS PARA EL ANÁLISIS DE ÍTEMS Y

Presentaciones similares

Presentación del tema: "SERCE MANUAL DE PROCESAMIENTO DE DATOS PARA EL ANÁLISIS DE ÍTEMS Y"— Transcripción de la presentación:

Presentaciones similares

Sobre el proyecto

Feedback

Iniciar la sesión

Autorizarse a través de una red social:

SERCE MANUAL DE PROCESAMIENTO DE DATOS PARA EL ANÁLISIS DE ÍTEMS Y

Presentaciones similares

Presentación del tema: "SERCE MANUAL DE PROCESAMIENTO DE DATOS PARA EL ANÁLISIS DE ÍTEMS Y"— Transcripción de la presentación:

Presentaciones similares

Sobre el proyecto

Feedback