Curso de Elaboración de Pruebas Prof. Gerardo A. Valderrama M TEORÍA DE LA CONFIABILIDAD Y SU RELACIÓN CON EL ERROR ESTÁNDAR DE MEDICIÓN Curso de Elaboración de Pruebas Escuela de Psicología Prof. Gerardo A. Valderrama M

ERROR ESTÁNDAR DE MEDICIÓN La fiabilidad es una estimación del grado en que las Puntuaciones Observadas en un test son replicables o consistentes. En otras palabras, una fiabilidad elevada indica que si un sujeto volviera a responder el mismo test bajo condiciones estandarizadas y sin que hubiera experimentado un cambio en la magnitud del atributo medido, obtendría una puntuación muy similar a la que obtuvo la primera ocasión.

3. Un problema práctico del coeficiente es que no indica directamente cuánto podría variar el resultado entre una aplicación y otra. 4. Por ejemplo, ¿Cuántos puntos de variación podría experimentar el resultado de una persona, entre una aplicación hipotética y otra, si la fiabilidad es de 0.90? 5. Y cuánto si la fiabilidad fuera de 0.80? 6. Este tipo de preguntas pueden responderse satisfactoriamente calculando el Error Estándar de Medida

EL ERROR ESTÁNDAR DE MEDICIÓN El EEM es un estimador de la incertidumbre asociada a una Puntuación Observada Más formalmente, la TCT define el Error Estándar de Medida (o Error Típico de Medida) como la desviación estándar de la distribución de las puntuaciones de Error asociadas a las Puntuaciones Observadas en una medición cualquiera

3. el Error Estándar de Medida corresponde a: 4. SD representa el valor de la desviación estándar de las puntuaciones observadas para la misma muestra de sujetos en los cuales se estimó la confiabilidad 5. El EEM se obtiene calculando la raíz cuadrada de 1 menos la fiabilidad y multiplicando el resultado por la desviación estándar.

EJEMPLO Del problema de reactivos dicotómicos que contenía 8 reactivos y una n = 15, se obtienen los siguientes datos: Rtt : 0.87 St : 7.69 Entonces: EEM = 7.69√1 – 0.87 = (7.69)(0.36) = 2.77

Algunas relaciones entre la fiabilidad y el error de medida pueden deducirse inmediatamente a partir de la Ecuación 5: Cuando la fiabilidad es igual a cero, el EEM equivale a la desviación estándar de las puntuaciones observadas, es decir, toda la variabilidad observada en las puntuaciones corresponderá a error. Si la fiabilidad del test es perfecta, es decir igual a 1, el EEM tendrá un valor correspondiente a cero. En otras palabras, un test perfectamente fiable no tiene error de medida La relación entre la fiabilidad y el EEM no es lineal, siendo el efecto más notorio para los niveles elevados de fiabilidad. A modo de ejemplo, un incremento de la fiabilidad desde 0.90 a 0.93 significa una reducción del error de medida mucho más drástica que un aumento desde .70 a .73.

APLICACIONES DEL EEM La aplicación más importante del EEM es la construcción de un intervalo de confianza para estimar la Puntuación Verdadera Dos teorías tienen un fundamento teórico lo suficientemente riguroso como para recomendar su uso: La Aproximación Tradicional, que utiliza el EEM para construir un intervalo de confianza en torno a la Puntuación Observada asumiendo normalidad en la distribución de los errores,

y la Aproximación Basada en Regresión (Formula de Kelley), que permite una estimación puntual o intervalar de la Puntuación Verdadera, a partir de la Puntuación Observada y la media del grupo de referencia. Ambas son muy fáciles de computar con una calculadora de bolsillo EL INTERVALO DE CONFIANZA ES UNA ZONA DE PROBABILIDAD QUE PERMITE DETERMINAR LOS LÍMTES DENTRO DE LOS CUALES DEBE CAER EL PUNTAJE VERDADERO

Aproximación Tradicional para estimar la Puntuación Verdadera Esta es la técnica más conocida Consiste en utilizar el EEM para construir un intervalo de confianza en torno a la Puntuación Observada. Teóricamente, el procedimiento se fundamenta en asumir que los errores de medida se distribuyen normalmente. Bajo este supuesto es posible utilizar el EEM para construir un intervalo de confianza para la Puntuación Verdadera en torno a la Puntuación Observada.

4. Teóricamente, el procedimiento se fundamenta en asumir que los errores de medida se distribuyen normalmente. 5. Bajo este supuesto es posible utilizar el EEM para construir un intervalo de confianza para la Puntuación Verdadera en torno a la Puntuación Observada. 6. Las ecuaciones para determinar los límites inferior y superior son las siguientes: Li = X – Zc (EEM) Ls = X + Zc (EEM)

7. En ambas ecuaciones X es la Puntuación Observada de un sujeto 8. Z representa el valor de la distribución normal asociado a la magnitud del intervalo de confianza que se desea construir: 95% ó 99% 9. La práctica convencional es construir un intervalo no direccional de un 95% de confianza, al que corresponde un valor Z=1.96. 10. Si tomamos los datos del ejemplo anterior, el intervalo para un puntaje ficticio de 65 sería, al 95%: Li = 65 - (1.96)( 2.77) = 65 – 5.43 = 59.57 Ls = 65 + (1.96)(2.77) = 65 + 5.43 = 70.43

INTERPRETACIÓN DEL EEM La interpretación del intervalo de confianza construido con la metodología tradicional no es tan simple como a veces se supone. Si una persona que obtuvo un Puntaje Observado X en el test fuera evaluada infinitas veces con la misma medida y construyéramos un intervalo de confianza de un 95% después de cada ocasión, en el 95% de las veces el intervalo incluiría la Puntuación Verdadera de la persona.

Para el ejemplo desarrollado, la interpretación sería la siguiente: Li = 65 - (1.96)( 2.77) = 65 – 5.43 = 59.57 Ls = 65 + (1.96)(2.77) = 65 + 5.43 = 70.43 Para una persona que hubiese obtenido una puntuación de 65 en el test y hubiese sido evaluada con la misma medida un infinito número de veces, la puntuación verdadera estará entre 59.57 y 70.43, un 95% de las veces.

ESTIMACIÓN DE LA PUNTUACIÓN VERDADERA MEDIANTE EL MÉTODO DE LA REGRESIÓN Permite obtener una estimación puntual de la Puntuación Verdadera y además construir un intervalo de confianza en torno a ella. Para estimar la Puntuación Verdadera es necesario conocer la fiabilidad y el promedio alcanzado en el test por el grupo de referencia en el cual se calculó la fiabilidad de las puntuaciones observadas y con la desviación estándar de las puntuaciones observadas.

3. En la práctica, la Puntuación Verdadera V es predicha a partir de una Puntuación Observada X, conociendo la fiabilidad de la prueba y la media de las puntuaciones de la muestra normativa, mediante la ecuación: 4. La Puntuación Verdadera estimada con este método no es más que puntuación predicha por un modelo de regresión a partir de la Puntuación Observada

5. Como toda predicción, ésta tiene un error estándar, que en este contexto se denomina Error Estándar de Estimación (EEE) y que puede determinarse aplicando la ecuación: o bien a través del EEM:

INTERVALO DE CONFIANZA PARA LA PUNTUACIÓN VERDADERA El EEE posibilita la construcción de un intervalo de confianza para la Puntuación Verdadera estimada con el Método de Regresión. Los límites inferior y superior de este intervalo están acotados por las ecuaciones:

INTERPRETACIÓN DEL INTERVALO DE CONFIANZA En el caso del procedimiento basado en regresión, el intervalo de confianza tiene una interpretación más fácil y directa que en el Método Tradicional. Simplemente indica el porcentaje de sujetos para los cuales, dada una Puntuación Observada, esperamos que su Puntuación Verdadera se encuentre en el rango definido por los límites inferior y superior del intervalo.  En el ejemplo que acabamos de revisar, la interpretación estandarizada es que el 95% de las personas que obtienen 65 puntos en el test, tienen una Puntuación Verdadera entre 59.57 y 70.43 puntos. LABORATORIO DE ERROR ESTÁNDAR DE MEDICIÓN.xlsx