Pruebas de la evaluación de diagnóstico Informe técnico Pruebas de la evaluación de diagnóstico

Elaboración de las pruebas Determinación de la naturaleza y finalidad de la evaluación. Definición de competencias. Redacción de ítems y elaboración de los criterios de corrección. Elaboración de las tablas de especificaciones. Estructuración del banco de ítems. Diseño y desarrollo del estudio piloto. Selección de los ítems. Puntuación e interpretación de las respuestas. Elaboración de documentación para aplicadores. Desarrollo de la aplicación informática.

Determinación de la naturaleza y finalidad de la evaluación. Naturaleza diagnóstica. Finalidad formativa. Apoyada en la definición previa de competencias y sus diferentes niveles. Dirigida a alumnos de 4º de Educación Primara y 2º de ESO. Administrada, corregida y puntuada por los profesores de cada Centro. Censal y muestral.

2. Definición de competencias. Competencia lingüística. Educación Primaria. Educación Secundaria Obligatoria. Competencia matemática.

3. Redacción de ítems y elaboración de los criterios de corrección. Panel de expertos, formados por profesores del área de enseñanza, coordinador por un Inspector. La redacción de los ítems toma como referencia “situaciones problema” que adoptan diferentes formas. Los ítems se redactan hasta completar las diferentes competencias medidas en cada etapa y área de enseñanza. Las respuestas a cada ítem (aportadas o construidas por el alumno) siguen un modelo de escala graduada.

4. Elaboración de las tablas de especificaciones. En cada una de las áreas de enseñanza se identificaron ítems hasta cubrir todas las competencias definidas: COMPETENCIA LINGÜÍSTICA COMPETENCIA MATEMÁTICA SITUACIONES PROBLEMA ÍTEMS EDUCACIÓN PRIMARIA 15 72 13 54 E.S.O. 18 77 34 50

5. Estructuración del banco de ítems. Se elaboraron 16 modelos de pruebas, cuatro por cada una de las áreas de enseñanza y etapas consideradas. Todas las competencias objeto de evaluación contaban con ítems en los diferentes modelos construidos. Los diferentes modelos de una misma prueba tenían un número similar de ítems. La proporción de ítems administrados debía ser al menos el triple de los que formarían las pruebas definitivas. El supuesto de partida es que las pruebas definitivas se elaborasen eligiendo el mejor de 3 ítems.

5. Estructuración del banco de ítems.

Pregunta MODELO A MODELO B MODELO C MODELO D 1 El Piyayo 10.1 (S1, S2, S10, S11, S12) Andy & Lucas 11.1 (S1) 2 El Piyayo 10.2 (S6) Andy & Lucas 11.2 (S1, S2, S3, S10, S11, S12) 3 Diccionario 09.1 (S5) Sucesos 03.4 (S4, S5, S10, S11, S12, S13) Defensor 14.1 (S4, S5, S8) Drogas 13.2 4 Diccionario 09.7 (S10, S11) Sucesos 03.2 (S4, S5, S7, S8, S11, S12) Defensor 14.3 Drogas 13.4 (S4, S5, S11, S14) 5 Cine 02.1 (S4, S7, S8) Sucesos 03.5 (S12) Defensor 14.5 (S4, S5, S8, S9, S10, S11, S12, S13) Factura 16.3 (S5, S9, S13) 6 Cine 02.3 (S3, S10, S14) Desierto 05.1 (S10) Cómic 15.5 Factura 16.4 (S8, S11, S12) 7 Cine 02.4 (S4, S7, S13) Desierto 05.3 (S7, S8, S14) Cómic 15.7 (S11, S14) Bis (S4, S5, S7, S8, S12) 8 Diálogo 08.4 (S3) Factura 16.1 (S8) Acta 06.5 (S11) Tranquilín 07.1 9 Diálogo 08.6 (S3, S12) Acta06.6 (S4, S7, S12, S13) Tranquilín 07.2 10 Diálogo 08.8 (S9, S12) (SS8, S11, S12) Acta 06.7 Tranquilín 07.3 (S3, S10)

6. Diseño y desarrollo del estudio piloto. Muestra CENTROS ALUMNOS ETAPAS RURALES URBANOS N. BAJO N. MEDIO-BAJO TOTAL LEN MAT EP 4 6 10 20 804 821 ESO 8 16 700 674 Donde fue necesario, se eligieron al azar 2 grupos de E.P. y 2 grupos de E.S.O.

6. Diseño y desarrollo del estudio piloto. Aplicación de las pruebas Duración 90 minutos. E.P.: Estructurada en 2 partes, con descanso de 15 minutos. Aplicación durante dos días consecutivos, de forma preferente a primera hora de la jornada escolar. Aplicadores: Inspectores, Profesores de Enseñanza Primaria y Educación Secundaria.

6. Diseño y desarrollo del estudio piloto. Corrección y tabulación Correctores: Equipos formados por inspectores, profesores de Enseñanza Primaria y Educación Secundaria. Asignación de puntuaciones según criterios de corrección previamente fijados. Tabulación de los datos: Hojas de cálculo. Primer estudio (detección y corrección de errores). Estudio descriptivo.

7. Selección de los ítems. Procedimientos de análisis Primera aproximación: Distribuciones de frecuencias según niveles de referencia. Correlación policórica del ítem y la puntuación en la prueba. Calibración de los ítems: Mediante modelos lógísticos de dos parámetros (dificultad y discriminación) para ítems politómicos (respuesta graduada): Modelo de crédito parcial y modelo de respuesta graduada. Bondad de ajuste de las 16 pruebas administradas a los modelos logísticos mediante Chi-cuadrado. Estimación de parámetros de dificultad y discriminación del ítem. Curva característica del ítem y la Función de información del ítem. Curva característica de la prueba.

7. Selección de los ítems. Criterios de selección Ajuste de la prueba al modelo logístico, α = 0,05. Presencia de todos los niveles de respuesta posibles en un ítem. Ítems con niveles de dificultad ≤1,20 (EP) y ≤1,60 (ESO). Ítems con mejores valores de discriminación entre los que miden una misma competencia. Todas las competencias se miden con algún ítem.

8. Puntuación e interpretación de las respuestas. Asumiendo una distribución normal, las puntuaciones de los sujetos en cada prueba se transforman de una escala original con media cero a una escala con: Media 500 y desviación típica 100. 66,7% de las puntuaciones entre 400 y 600 puntos. A partir del análisis de la dificultad de los ítems, se han establecido 6 niveles diferentes de competencia, graduados desde 1 a 6.

500 433 366 634 567 25 % 9 % 16 % Competencia

Competencia en comunicación lingüística (lengua española). Educación Secundaria Obligatoria. Nivel 1 ≤ 366 Importantes déficits en cuanto a desarrollo de las competencias lingüísticas, que impiden al sujeto aplicarlas para responder con acierto a diferentes situaciones escolares o cotidianas. Nivel 2 367-433 Competencias deficitarias, aunque con incipiente desarrollo Su aplicación permite al sujeto responder con acierto parcial a algunas situaciones en las que se desenvuelve. Nivel 3 444-500 Desarrolla parcialmente algunas competencias: extrae determinadas informaciones de textos escritos y orales, realiza interpretaciones y valoraciones parciales del contenido de un texto, elabora síntesis incompletas, respeta algunas convenciones ortográficas y de puntuación, aunque presenta errores importantes. En definitiva, su competencia en comunicación lingüística es claramente mejorable. Nivel 4 501-567 Desarrollo aceptable de la mayoría de las competencias definidas, aunque presenta deficiencias objeto de corrección. En este nivel puede situarse el alumnado que presenta un grado adecuado de comprensión y expresión. Capta sin grandes dificultades las ideas esenciales de un texto, aplica el dominio de la lengua para resolver las situaciones problema propuestas. No obstante, su nivel de desarrollo competencial no es óptimo, bien porque presenta ciertas deficiencias en la producción de textos sobre todo en aspectos de cohesión sintáctica, de precisión semántica o de corrección ortográfica, bien porque su comprensión es incompleta, bien porque tiene dificultad para interpretar y valorar ciertos textos. Nivel 5 568-634 Comprende las relaciones entre las ideas de un texto, identificado su estructura. Elabora un resumen sobre un tema específico. Reconoce y comprende los rasgos característicos de diversos tipos de textos. Produce textos coherentes con la intención comunicativa y adecuados a la situación de comunicación, dotados de coherencia semántica, cohesión sintáctica, propiedad léxica y corrección ortográfica. Nivel 6 > 634 Alto desarrollo de las competencias en los ámbitos de la comprensión oral y escrita, y de la expresión escrita. En este nivel se encuentra el alumnado que aplica las competencias adquiridas de manera brillante y creativa.

9. Elaboración de documentación complementaria. Documento que recoge el Marco teórico. Informe técnico. Manual del aplicador: Lengua EP. Lengua ESO. Matemáticas EP. Matemáticas. ESO.

10. Desarrollo de la aplicación informática. Una vez corregidas las pruebas en cada Centro, permite conocer para una prueba dada: Puntuaciones directas individuales. Puntuaciones individuales por dimensiones (p.e. comprensión escrita). Puntuaciones individuales transformadas (500, 100). Puntuaciones directas para cada grupo y Centro. Puntuaciones por dimensiones en el ámbito del grupo y del Centro. Puntuaciones transformadas en el ámbito del grupo y del Centro.