Health Measurements Scales Streiner D, Norman G & Cairney J CAPÍTULO 8 (Continuación). CONFIABILIDAD

CUESTIONES DE INTERPRETACIÓN ¿Cómo se interpreta coeficiente de confiabilidad de 0.7 en términos del puntaje individual? El coeficiente de confiabilidad involucra dos cantidades: la varianza de error y la varianza entre sujetos, es conveniente expresar el error de la medición en término de otras dos cantidades: Error estándar de la medición (SEM): 𝜎𝑥 1−𝑅 Error estándar de la estimación (SEE): Expresada en la misma unidad de medición de los puntajes originales. ERROR ESTÁNDAR DE LA MEDICIÓN: LA RAÍZ CUADRADA DE UNO MENOS LA CONFIABILIDAD POR LA DESVIACIÓN ESTÁNDAR DE LOS PUNTAJES OBSERVADOS. SEM está expresada en la misma unidad de medición de los puntajes orginales.

Con una confiabilidad de 0 Con una confiabilidad de 0.8 el error de medición asociado con un puntaje individual es el 45 por ciento de la desviación estándar. Con una confiabilidad de 0.8 el error de medición asociado con un puntaje individual es el 45 por ciento de la desviación estándar.

Aunque el CCI (Coeficiente de correlación intraclase) y el EEM (error estándar de la medición) están relacionados, reflejan aspectos diferentes del instrumento. El CCI (u otro índice de confiabilidad) refleja la habilidad del instrumento de diferenciar a los participantes (medida relativa de confiabilidad). El EEM es una medida absoluta (cuantifica la precisión de los puntajes de un individuo dentro de los sujetos).

Una razón para calcular el Error Estándar de la Medición es que permite sacar un intervalo de confianza, pero hay dos problemas: 1. Asumir que el EEM es el mismo para todos los puntajes. Es menor cuando el puntaje observado está cercano a la media del instrumento e incrementa conforme el puntaje se desvía de él. 2. ¿Qué puntaje usar?¿El observado o el verdadero? Los puntajes observados estarán siempre más alejados de la media que la estimación de los puntaje verdaderos.

Desde la perspectiva tradicional el IC se obtiene: 𝑥 0 ±Z EEM Donde 𝑥 0 son los puntajes observados y Z es el valor de la curva normal asociado con el IC deseado. Ejemplo: Un instrumento con una media de 50, una DE=10, y una confiabilidad de 0.8. Una persona obtiene un puntaje de 65. El CI95= 56.24-73.76 Interpretación: Tenemos el 95% de confianza de que el puntaje verdadero de esta persona está entre:

Aproximación basada en la Regresión, el CI se basa en los puntajes verdaderos estimados (PVE): El IC se obtiene: PVE±Z Error Estándar de la Medición El CI95=54.2-69.8 Interpretación: Se basa en la “población” de las personas que en el instrumento han obtenido puntajes de 65, 95% de ellos tuvieron puntajes verdaderos dentro del intervalo 54.2-69.8. Ambas aproximaciones para calcular el IC son correctas. Cuál se use dependerá de la razón por la cual se quiere obtener el IC (para una persona se utiliza el puntaje observado, para un grupo de personas el puntaje verdadero estimado).

Diferencia esperada en los puntajes del re-test. Si una persona responde el mismo instrumento en dos ocasiones ¿qué tan amplia es la diferencia de los puntajes? La desviación estándar de la diferencia entre los dos puntajes es: 2 𝑥 EEM (error estándar de la medición).

Datos empíricos de la confiabilidad del re-test. Una manera de evaluar los coeficientes de confiabilidad obtenidos por un nuevo instrumento es compararlo con instrumentos que generalmente tienen niveles aceptables de confiabilidad. Medidas de estados patológicos levemente variables (ansiedad) tienen coeficientes de confiabilidad re-test 0.10 menores. Instrumentos de IQ en adultos tienen confiabilidad re-test 0.10 mayores.

Estándar de la magnitud del coeficiente de confiabilidad. La confiabilidad no se concibe como una propiedad que un instrumento particular posee o no posee. Cualquier medida tendrá cierto grado de confiabilidad cuando se aplica a ciertas poblaciones bajo sientas condiciones. ¿Cuánta confiabilidad es suficientemente buena? Varios autores dan recomendaciones sin bases. Algunos autores evitan dar un juicio arbitrario, pero la mayoría de los libros de texto favorecen la distinción, un instrumento usado para decisiones individuales debe ser más confiable que el usado para decisiones sobre grupos o investigaciones. Nunnally (1978) recomienda un mínimo de 0.70 cuando la escala se usa en investigación, y 0.90 cuando se usa clínicamente.

Confiabilidad y la probabilidad de clasificación errónea. ¿Cuántos falsos positivos o falsos negativos resultarán de una medida con cierta confiabilidad? Una confiabilidad de 0.75 es un requerimiento mínimo para considerar útil a un instrumento.

Reporte de coeficientes de confiabilidad ¿Es útil reportar los niveles de significancia (p)? Realizar una prueba de significancia para un coeficiente de confiabilidad es equivalente a cometer un error tipo III: Obtener la respuesta correcta a una pregunta que nadie está preguntando. Un test de significancia da la probabilidad de que, si la hipótesis nula es verdadera, los resultados habrían sido debidos al efecto del cambio, pero esto no es relevante en cuestión de la confiabilidad: lo importante es la magnitud de la correlación, no la probabilidad de que sea cero.

Efecto de la confiabilidad en el tamaño de la muestra de un estudio. Si un instrumento es usa como medida de resultado, su confiabilidad impactará directamente el tamaño de muestra requerido para mostrar un efecto estadísticamente significativo. Esto debido a que la baja confiabilidad infla la varianza de los puntajes observados. Un instrumento con una confiabilidad de 0.80 requerirá un incremento del tamaño de la muestra de 25% . Se necesitará 43% más sujetos con una confiabilidad de 0.70… consejo: utiliza un instrumento con una elevada confiabilidad.

Mejora de la confiabilidad. Se puede mejorar la confiabilidad sólo mediante el aumento de la magnitud de la varianza entre los sujetos en relación con la varianza de error: Observadores entrenados Incremento de la varianza verdadera: si la mayoría de puntajes individuales son muy altos o bajos, el puntaje promedio se aproximará al mínimo o máximo posible (efecto de piso o techo), entonces muchos reactivos serán inútiles. La solución es incluir reactivos que mostrarán un desempeño más cercano a la media de la escala, así se incrementará la varianza verdadera (incrementar las opciones de respuesta). Altenativa no legítima: administrar el instrumento a grupos heterogéneos . Allternativa más simple: incrementar el número de reactivos.

Generalización de la confiabilidad La confiabilidad no es una propiedad fija de un instrumento, puede variar dependiendo de las características del grupo que lo responde y las circunstancias bajo las que es respondido. ¿Es posible determinar la confiabilidad “típica” de un instrumento? ¿Se puede describir la variabilidad en las estimaciones de confiabilidad? Se puede determinar qué confiabilidad se debería tener si tenemos los datos crudos de todos los estudios? ¿Es posible determinar qué puntajes influyen en la confiabilidad de los puntajes. SI, A TRAVÉS DE LA GENERALIZACIÓN DE LA CONFIABILIDAD.

Generalización de la confiabilidad. 1998, Vacha-Haase, quien se basó en técnicas desarrolladas para meta análisis de estudios de intervención, por lo cual los pasos son paralelos a éstos. 1. Reunir todos los estudios relevantes. 2. Desarrollar u código para extraer y registrar la información relevante de cada estudio. El valor promedio de r y 𝛼 La varianza de la estimación de la confiabilidad Combinación de estimaciones