¿Cómo se califican las pruebas de saberes? Harvey Sánchez Director ejecutivo

¿Todos los ítems son iguales? En Ineval, todos los instrumentos de evaluación cuentan con un marco de referencia. En el caso de las pruebas para evaluar los Saberes disciplinares de Ser maestro, el marco se sintetiza en las cédulas de referencia de cada una de las especialidades. Las estructuras de contenido de todas las pruebas han sido diseñadas por equipos de expertos provenientes de diferentes instituciones y universidades nacionales e internacionales, basándose en los perfiles profesionales establecidos por el Ministerio de Educación. Asimismo, la estimación de la dificultad de todos los ítems de una prueba se realiza mediante un modelo matemático basado en la Teoría de Respuesta al Ítem (IRT, por sus siglas en inglés). No todos los ítems son iguales. Independientemente del contenido de cada ítem, hay planteamientos más difíciles que otros, lo que se estima a través del modelo IRT. Los ítems más difíciles son aquellos que demandan más habilidad del sustentante para responderlos correctamente y presentan menor frecuencia de aciertos que los más fáciles. Durante el análisis de calibración de los ítems, se puede determinar la dificultad de cada una de las evaluaciones para elegir los puntos de corte definitivos.

Relación con el número de respuestas correctas Los instrumentos de Ineval se califican en función de las respuestas correctas que obtiene el sustentante y no existe penalización alguna por ítems no contestados o con respuesta incorrecta. Los sustentantes de una prueba responden correctamente a los ítems de acuerdo con su nivel de conocimientos y habilidades en cierta especialidad. Entre más habilidad tiene un sustentante, es más probable que responda correctamente a un ítem. Es muy poco probable que alguien con baja habilidad responda correctamente a varios ítems difíciles. De este modo, un sustentante hábil responderá correctamente la mayoría de los ítems fáciles y también algún número de ítems difíciles, según su nivel de habilidad y conocimientos más específicos. Cada ítem respondido correctamente siempre aporta al puntaje final, el cual tiene una correspondencia con un nivel de desempeño. A partir de las respuestas correctas a un determinado número de ítems, se estima la habilidad de los sustentantes en una determinada prueba y se describen los aciertos mínimos para alcanzar cierto puntaje relacionado con un nivel de desempeño.

¿Qué es el Índice Ineval? El procedimiento descrito permite comparar distintos resultados en diferentes instrumentos de evaluación con distinta dificultad, bajo una misma escala común. Esta escala es el Índice Ineval, una métrica que va de los 0 a los 1.000 puntos, lo que equivale a los casos extremos de no haber obtenido ningún acierto o haber respondido correctamente a todos los ítems. El Índice Ineval tiene una correspondencia única con el número de aciertos en cada instrumento, de acuerdo con los puntos de corte establecidos para cada especialidad. Estos puntos se basan en juicios de expertos acerca del número de aciertos que se deben obtener para alcanzar determinado puntaje, considerando la dificultad específica de cada evaluación. El propósito central es identificar el nivel que han alcanzado los sustentantes evaluados y facilitar la interpretación de lo que han demostrado saber hacer. El índice, basado en el número de aciertos, es un refinamiento de la escala de porcentajes, que ayuda a obtener puntajes más precisos basados en la habilidad del sustentante, considerando la dificultad de las pruebas. En general, un sustentante obtiene un mayor puntaje por este método de calificación que si se considerara solo el porcentaje simple de ítems correctos.

¿Cómo se establecen los puntos de corte? Para establecer los puntos de corte se ha utilizado el método Bookmark, sin duda el más usado para estos fines a escala internacional. La ejecución se realizó a partir de los resultados de calibración de las pruebas y los ítems empleados durante 2014 y 2015 en los instrumentos de los procesos Ser maestro recategorización y Quiero ser maestro. En la elaboración de los ítems participaron más de 400 docentes con alto nivel de desempeño previo. El método consiste en seguir tres grandes pasos: Paso 1 Paso 2 Paso 3 Los expertos analizan cada ítem ordenado de menor a mayor dificultad y ubican, para cada corte, el ítem que corresponde al siguiente nivel de desempeño. Los expertos discuten en grupos los puntos de corte asignados en el Paso 1. Los expertos vuelven a establecer los puntos de corte por grupo hasta que exista acuerdo. Se presentan los datos de resultados con las decisiones sobre los puntos de corte en el Paso 2. Los expertos discuten nuevamente, verifican cada punto y emiten el dictamen final.

¿En qué consiste la metodología? Algunas especialidades pueden requerir una mayor cantidad de aciertos que otras para alcanzar cierto nivel de desempeño. Para realizar la comparación entre instrumentos diferentes, es necesario fijar los puntos de corte con base en una misma pregunta: Cuando se contesta correctamente un ítem ¿a qué nivel de desempeño corresponde? Esta pregunta se hace para cada evaluación con todos sus ítems, ordenados de menor a mayor nivel de dificultad. De esta manera, se encuentra el ítem que pertenece al siguiente nivel de desempeño. A este ítem se le conoce como marcador. Después de este procedimiento, se cuenta el número de ítems más fáciles que se han acumulado antes del ítem marcador y a esta serie se le relaciona con el punto de corte correspondiente. Existen dos puntos importantes para establecer este procedimiento: 1. Describir lo que es capaz de hacer alguien que ha alcanzado cierto nivel de desempeño. 2. Definir el nombre de una etiqueta que sintetice el nivel de desempeño.

¿Cuál es la finalidad de esta metodología? La Teoría de Respuesta al Ítem o Teoría del Rasgo Latente, es un desarrollo reciente de la psicometría, basado en un modelo matemático para medir el funcionamiento de algunas operaciones cognitivas. Con su utilización se desea obtener tres cosas fundamentales para la evaluación: Objetividad. Se logra cuando se dispone de un instrumento de evaluación imparcialmente aplicado y calificado. Validez. Entendida como el juicio, basado en evidencia, sobre qué tan confiables son las inferencias realizadas o acciones implementadas a partir de los puntajes de una prueba en un determinado contexto (Salvia & Ysseldyke, 2004; Cohen y Swerdlik, 2009). Confiabilidad. La consistencia con que el instrumento mide o el grado de error presente en la medida (Cohen y Swerdlik, 2009). Este concepto, de naturaleza estadística, es indispensable para conocer la precisión con la que se mide. Mientras menos error tenga más confiable es.

6 ¿Cómo se aplica la metodología? Nivel 1 Menos de 600 6 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 1.000 Índice Ineval 950 ¿A qué nivel de desempeño corresponde cada ítem? Marcador 1 800 700 Ítem 7 600 Nivel 1 ítem 6 Ítem 5 Ítem 4 Ítem 3 Ítem 2 Ítem 1 Ítems más difíciles Ítems más fáciles Ítems ordenados del más fácil al más difícil

6 13 ¿Cómo se aplica la metodología? Nivel 1 Menos de 600 Nivel 2 600-699 6 13 1 2 3 4 5 6 7 8 9 10 11 12 14 15 16 17 18 19 20 1.000 Índice Ineval Marcador 2 950 Ítem 14 800 700 Ítem 7 Nivel 2 13 8 9 10 11 12 600 Nivel 1 ítem 6 Ítem 5 Ítem 4 Ítem 3 Ítem 2 Ítem 1 Ítems más difíciles Ítems más fáciles Ítems ordenados del más fácil al más difícil

6 13 17 ¿Cómo se aplica la metodología? Nivel 1 Menos de 600 Nivel 2 600-699 Nivel 3 700-799 6 13 17 1 2 3 4 5 6 7 8 9 10 11 12 14 15 16 18 19 20 1.000 Marcador 3 Índice Ineval 950 Ítem 18 Ítem 14 800 Nivel 3 15 16 17 700 Ítem 7 Nivel 2 8 9 10 11 12 13 600 Nivel 1 ítem 6 Ítem 5 Ítem 4 Ítem 3 Ítem 2 Ítem 1 Ítems más difíciles Ítems más fáciles Ítems ordenados del más fácil al más difícil

6 13 17 20 ¿Cómo se aplica la metodología? Nivel 1 Menos de 600 Nivel 2 600-699 Nivel 3 700-799 Nivel 4 800-949 Marcador 4 6 13 17 20 1 2 3 4 5 6 7 8 9 10 11 12 14 15 16 18 19 1.000 Índice Ineval Ítem 21 950 Nivel 4 Ítem 18 19 20 Ítem 14 800 Nivel 3 15 16 17 700 Ítem 7 Nivel 2 8 9 10 11 12 13 600 Nivel 1 ítem 6 Ítem 5 Ítem 4 Ítem 3 Ítem 2 Ítem 1 Ítems más difíciles Ítems más fáciles Ítems ordenados del más fácil al más difícil

Número mínimo de aciertos para aprobar ¿Cómo se aplica la metodología? Nivel 1 Menos de 600 Nivel 2 600-699 Nivel 3 700-799 Nivel 4 800-949 Nivel 5 950-1.000 6 13 17 20 1 2 3 4 5 6 7 8 9 10 11 12 14 15 16 18 19 1.000 Nivel 5 ítem 22 Índice Ineval Ítem 21 950 Nivel 4 Ítem 18 19 20 Ítem 14 800 Nivel 3 15 16 17 700 Ítem 7 Número mínimo de aciertos para aprobar Nivel 2 9 10 11 12 13 8 600 Nivel 1 ítem 6 Ítem 5 Ítem 4 Ítem 3 Ítem 2 Ítem 1 Ítems más difíciles Ítems más fáciles Ítems ordenados del más fácil al más difícil

¿Por qué esta calificación es mejor? Algunas versiones de prueba pueden ser más difíciles que otras, debido a que tienen una colección diferente de ítems que varían en su dificultad. Para que distintas pruebas puedan ser comparadas entre ellas con precisión, es necesario que se tome en cuenta su dificultad. El índice Ineval equipara el número de aciertos en pruebas basadas en ítems con diferente dificultad que demandan diferentes puntos de corte. No hay ningún sentido en comparar número de aciertos entre pruebas con diferente grado de dificultad sin equiparar.

¿Por qué esta calificación es mejor? Ejemplo: Suponga que se desea comparar dos pruebas, A y B, con 20 ítems cada una y dos niveles de desempeño: básico y avanzado. La prueba A posee 10 ítems fáciles y 10 difíciles. La B tiene 8 fáciles y 12 difíciles. En ambos casos, responder solamente todos los ítems fáciles debería corresponder al mismo nivel de desempeño y coincidir con el mismo puntaje en una escala común. Esto se logra llevando el número de aciertos en cada prueba al nivel de desempeño que le define e igualarlo al puntaje correspondiente. En el caso del ejemplo, la Prueba A demanda 10 ítems correctos y la B solo 8 (recuerde que tiene más ítems difíciles) para situarse en el mismo puntaje de 800. 20 Avanzado 1000 Prueba A Básico 10 800 20 Avanzado Prueba B 8 Básico

¿Por qué esta calificación es mejor? Es fácil verificar que el puntaje dado por el Índice Ineval es siempre mayor al porcentaje de respuestas correctas. Para confirmarlo, basta elegir cualquier número de aciertos posibles de los 120 ítems sobre la recta horizontal y revisar tres sencillos pasos: 1. Revisar qué calificación le correspondería en la línea roja (Porcentaje de aciertos). 2. Revisar qué calificación le correspondería en la línea azul (Índice Ineval). 3. Comparar ambos puntajes. El Índice Ineval aumenta la precisión de la calificación y casi siempre mejora la nota final.

Relación entre puntaje y niveles de desempeño Su desempeño es superior a lo esperado, cumple con todos los estándares y sus cualidades se observan en el dominio del saber que promueve, los conocimientos pedagógicos que emplea y el nivel de liderazgo y confianza al promover una participación ciudadana que trasciende al ámbito escolar. 1.000 Excelente 950 Su nivel de dominio disciplinar es adecuado, su desarrollo como docente y sus fundamentos pedagógicos le permiten planificar, ejecutar evaluar el proceso de aprendizaje en un contexto específico y, al mismo tiempo, afrontar situaciones adversas, resolver conflictos y fomentar la participación ciudadana. Su nivel de liderazgo le ayuda a tomar decisiones a través de esquemas colaborativos que fomenten la cultura de paz y la participación ciudadana más allá del aula. 800 Favorable Puntaje 700 Posee conocimientos fundamentales y la noción de las habilidades pedagógicas con las que gestiona el aprendizaje mientras actúa como agente principal en el proceso educativo. Su nivel de liderazgo se ejerce en el aula con énfasis en el cumplimiento del currículo y la promoción de valores ciudadanos dentro del aula. Fundamental 600 Los conocimientos sobre su campo deben ampliarse y hacerse más profundos, a través del desarrollo de nuevas habilidades pedagógicas que le ayuden a planificar y ejecutar el proceso de aprendizaje y diseñar evaluaciones para un contexto escolar específico. El fortalecimiento del liderazgo le ayudará a tomar decisiones, a través de esquemas colaborativos que le permitan afrontar situaciones adversas, fomentar la cultura de paz y la participación ciudadana más allá del aula. En formación