Dr. Juan Manuel Esquivel A. CECC/SICA Riesgos en la interpretación de los resultados de pruebas de conocimiento Dr. Juan Manuel Esquivel A. CECC/SICA

Propósito de la video conferencia Analizar el concepto de validez, desde la perspectiva de los resultados de pruebas que miden conocimientos o contenidos curriculares Analizar las implicaciones de la recolección de evidencias de validez en el desarrollo y administración de pruebas de conocimientos.

Importancia de este análisis Problemas comunes Énfasis limitado que se le da a la recolección de evidencias de validez durante los procesos de elaboración de las pruebas Sobrevaloración de las evidencias estadísticas que se obtiene después de la administración de una prueba.

Conceptos fundamentales(1) La validez junto con la confiabilidad son conceptos fundamentales en la medición psicológica y educativa. Hoy nuestro interés se concentrará en la validez

Conceptos fundamentales(2) Validez: “juicio integrado del grado en que la evidencia empírica y el razonamiento teórico sustenta la conveniencia y lo adecuado de las inferencias y acciones basados en los puntajes obtenidos en una prueba y de las consecuencias sociales de su empleo” (Meesick, 1989)

Ideas fundamentales derivadas(1) La evidencia de validez fundamenta las inferencias hechas acerca de los resultados de una prueba y no al instrumento en sí. La validez es una característica de grado. Cada administración de una prueba requiere renovar las evidencias de validez.

Ideas fundamentales derivadas (2) La validez no solo depende de las respuestas dadas a los ítems, tareas o estímulos, sino de las personas que las dan y del contexto en que se da la medición: factores ambientales y condiciones. Las consecuencias sociales de la interpretación tienen implicaciones de carácter ético y científico.

Función de los resultados de la medición Diagnóstica: con el propósito de planificar un proceso educativo nuevo Formativa: con el propósito de corregir un proceso educativo en desarrollo Sumativa: con propósito de contribuir a la calificación de un proceso o fase terminada.

Procedimientos de obtención de evidencia de validez En una prueba que pretende medir contenidos curriculares del dominio cognoscitivo o más simplemente conocimiento disciplinar a una población regional, nacional o regional interna. Las evidencias se recolectan para sustentar la interpretación de los resultados, en dos momentos: Antes de la administración piloto o definitiva de la prueba Después de esa administración.

Procedimiento general para el desarrollo de una prueba (1) Definición del objetivo de la prueba y uso de sus resultados Definición del universo de contenidos u objetivos a ser medidos Definición del peso relativo de los contenidos u objetivos a ser medidos (tabla de especificaciones-cuadro de balance de la prueba)

Procedimiento general para el desarrollo de una prueba (2) Escritura de reactivos o ítems. Análisis de la calidad técnica de los reactivos desarrollados, por jueces expertos Cálculo de la congruencia de cada reactivo o ítem con el contenido u objetivo que se pretende medir

Procedimiento general para el desarrollo de una prueba (3) Selección de los mejores ítems para la prueba piloto Administración de la prueba piloto Análisis de resultados de la prueba piloto, mediante la aplicación de la Teoría clásica o el TRI.

Procedimiento general para el desarrollo de una prueba (4) Selección de los ítems que se emplearán en la administración definitiva de la prueba. Constitución de la pruebas o pruebas definitivas.

Análisis de un ejemplo Analicemos detenidamente la evidencia de validez que se puede recolectar durante el proceso de desarrollo de una prueba: Supongamos que es una prueba, referida a normas, De conocimientos en ciencias, De final de la educación primaria, Que se aplicaría en un país de nuestra región

Tres preguntas, respecto a la validez de la interpretación de resultados ¿Cuál sería la evidencia de validez que podemos recolectar durante el proceso desarrollo de la prueba anterior? ¿Cuáles son posibles procedimientos de recolección de esta evidencia? ¿Cuál es el valor relativo de la evidencia recolectada antes de la aplicación piloto y después de la aplicación piloto?

Posibles fuentes de evidencia para interpretar y usar resultados(1) Objetivo de la prueba y uso de sus resultados. Esta es una decisión política. ¿Quién definió el objetivo y el uso de los resultados? ¿Por qué? ¿Se plantea un empleo legítimo de los resultados?

Posibles fuentes de evidencia para interpretar y usar resultados(2) Selección de contenidos u objetivos a ser medidos. Primera decisión técnica que debe ser guiada por el objetivo y el uso pretendido de los resultados. ¿Quién debe definir los contenidos: los especialistas en la enseñanza de las ciencias, o los maestros de sexto grado? ¿Cuáles son posibles procedimientos para realizar la selección?

Posibles fuentes de evidencia para interpretar y usar resultados(3) Definición de la muestra de contenidos u objetivos a ser medidos (tabla de especificaciones-cuadro de balance de la prueba). ¿Sería apropiado que la definan los responsables directos del desarrollo de la prueba con la colaboración de especialistas y maestros?

Posibles fuentes de evidencia para interpretar y usar resultados(4) Escribir reactivos o ítems. Existen varias opciones: ¿Maestros en servicio capacitados, solamente especialistas, solamente los responsables de la prueba, una combinación de todos estos? ¿Qué implicaciones en la interpretación y uso tiene esta decisión?

Posibles fuentes de evidencia para interpretar y usar resultados(5) Revisión de la calidad técnica de los reactivos desarrollados. ¿Quién es el indicado para realizar esta tarea que es altamente especializada? ¿Es necesario remunerar este trabajo? ¿Es conveniente que lo realice una persona que previamente se ha involucrado en este proceso?

Posibles fuentes de evidencia para interpretar y usar resultados(6) Procedimiento para el cálculo de la congruencia de cada reactivo o ítem con el contenido u objetivo que se pretende medir. ¿Quién debe realizar esta tarea? ¿Cuáles son las condiciones en que se debe realizar? ¿Cómo se calcula la congruencia? ¿Cómo se interpreta ese resultado y qué importancia tiene?

Evidencia para interpretar resultados y posibles consecuencias sociales(7) Selección de los mejores ítems para la prueba piloto. ¿Quién los selecciona y cómo se realiza esta tarea? Administración de un prueba piloto. ¿Cuál es el propósito? ¿Es siempre posible hacer una prueba piloto? ¿Cómo se define las características de la muestra de estudiantes para la prueba piloto?

Posibles fuentes de evidencia para interpretar y usar resultados(8) Análisis de resultados de la prueba piloto. ¿Cuál es la teoría que se aplica? ¿De qué factores depende? ¿Cuál es el uso de los resultados?

Valor relativo de la evidencia recolectada antes y después de la aplicación piloto (1) un aspecto fundamental: Aquellos profesionales evaluadores que ejecuten procesos como el aquí descrito tienen la obligación ética de informar, en el reporte de resultados, acerca de todas las interrogantes antes señaladas y sus justificaciones, Solamente de esa manera se podrá juzgar la calidad del proceso de validación seguido. 

Valor relativo de la evidencia recolectada antes y después de la aplicación piloto (2) Mi respuesta a la interrogante anterior es que: La evidencia recolectada antes y después de la prueba piloto es igualmente importante Especialmente, una prueba que mida conocimientos debe presentar evidencia, como requisito indispensable, que se refiera al cómo y por qué de los pasos 2, 3, 4, 5, 6 y 7 antes descritos. Lamentablemente no es lo más común.

Espacio para preguntas, comentarios