5. Estimaciones empíricas de confiabilidad

5. Estimaciones empíricas de confiabilidad

Estimaciones empíricas de la confiabilidad
Métodos para estimar la confiabilidad 1. Confiabilidad de formas alternas 2. Confiabilidad test-retest 3. Confiabilidad de consistencia interna Factores que afectan la confiabilidad 1º Consistencia entre las partes del instrumento 2º Longitud del instrumento 3º Heterogeneidad de la muestra Confiabilidad de los puntajes de diferencias

Estimación empírica de la confiabilidad
La Rxx se define como: la proporción de la varianza de los xo que es atribuible a la varianza de los xv. Rxx = s2v /s2o La Rxx de los instrumentos se cuantifica a partir de los xo.

Los métodos dependen de los supuestos teóricos sobre los participantes y los procedimientos Si los supuestos no se cumplen Las estimaciones no serán exactas No hay un método que proporcione estimaciones completamente exactas bajo todas las condiciones.

Hay por lo menos tres métodos para estimar la Cfd: 1. Confiabilidad de formas alternas 2. Confiabilidad un instrumento 3. Confiabilidad de consistencia interna

Estimaciones empíricas de confiabilidad
métodos para estimar lA confiabilidad: 1. Confiabilidad de formas alternas 2. Confiabilidad test-retest 3. Confiabilidad de consistencia interna Factores que afectan la confiabilidad 1º Consistencia entre las partes del instrumento 2º Longitud del instrumento 3º Heterogeneidad de la muestra Confiabilidad de los puntajes de diferencias

1. Confiabilidad de formas alternas
Formas alternas = paralelas. Los puntajes se obtienen de dos formas diferentes de un instrumento. Forma 1 Forma 2

El instrumento es confiable en la medida en que: son consistentes con Sólo si las dos formas de la prueba son paralelas. las diferencias en los xo de la forma 1 las diferencias en los xo de la forma 2.

Son paralelos si: Están midiendo el mismo grupo de xv. Tienen la misma cantidad de varianza de e. Por tanto, tendrán igual: media y desviación estándar. La correlación entre las dos pruebas paralelas es exactamente igual a la Rxx. r12= Rxx

Problema 1: Nunca es posible estar seguros de que dos formas del instrumento son verdaderamente paralelas (que los xv medidos por la forma 1 sean iguales a los xv de la forma 2). Formas diferentes incluyen contenido diferente (ligeramente diferente constructo psicológico; ej., autoestima). Por tanto, si las formas no son paralelas, la correlación no estima la Cfd.

Problema 2 Existe un efecto potencial de acarreo o contaminación (por memoria, actitudes, estado anímico) debido a la aplicación repetida de la prueba. Los pe de la forma 1 se correlacionan con los pe de la forma 2. No se cumple el supuesto básico de la teoría clásica de los test: “el error que afecta a cualquier prueba es aleatorio.”

Si dos formas de un instrumento se responden simultáneamente, algo del error que afecta las respuestas de la forma 1 podría afectar las respuestas de la forma 2. Por tanto, las dos formas no sería paralelas.

Ejemplo. Problema de acarreo Forma 1 Forma 2 Part. Xo1 = Xv1 + e1 Xo2 Xv2 e2 1 14 15 -1 13 -2 2 17 +3 3 11 12 4 10 5 6 9 8 Media S2 12.5 7.58 2.92 4.67

En el ejemplo, se han cumplido los supuestos: Xo1= Xv + Xe Los xv son completamente idénticos en las dos formas. Los puntajes de error suman cero. Los xv no están correlacionados con los pe. Las se2 son iguales para las dos formas.

Cfd para la forma 1 Rxx = 2.92 /7.58 = .38 Cfd para la forma 2 Rxx = 2.92 /7.58 = .38 Correlación entre los errores de las formas 1 y 2 re1e2 = .93 Viola el supuesto de que el e es aleatorio (por efectos de acarreo) Cfd real Correlación entre xo de las formas 1 y 2 ro1o2 = .96 Cfd muy alta, inexacta

2. Confiabilidad test-retest
Es útil para medir constructos psicológicos estables (ej., inteligencia, extraversión). Se le conoce como “coeficiente de estabilidad” Evita algunos problemas de las formas alternas. Tiempo 1 Tiempo 2

1er. supuesto: la se2 del 1er. instrumento es igual a la se2 del 2º instrumento. 2º supuesto: los xv de los participantes son estables a lo largo de las dos aplicaciones. (Los xv no cambian). Por tanto, las dos ocasiones de aplicación producen puntajes que son igualmente confiables. Entonces, la r entre la 1a. prueba y la 2ª prueba= Rxx

Problemas: 1er. supuesto (igualdad de se2 ) El error de medición está muy afectado por elementos temporales de la situación (ruido, distracciones, etc.) Podrían enmascarar las diferencias en los xv de los Ss. Por tanto, habrá que controlar las muchas variables extrañas para que las situaciones sean idénticas y se pueda tener confianza en que las respuestas son afectadas por el error en el mismo grado.

Problemas 2o. supuesto (estabilidad de los xv) test-retest depende muchísimo de este supuesto. Pero es bastante posible que haya cambios porque: Algunos constructos son menos estables que otros (estado –fluctuaciones de día a día– vs. rasgo). Los cambios en los xo de una aplicación a la otra representarán el error de medición, que se reflejará en el tamaño del Rxx test-retest.

2) Longitud del intervalo test-retest. Periodos más largos mayor cambio psicológico. Por tanto: Riesgo de confundir los cambios en los xv con el error de medición. Periodos cortos efectos de acarreo Para medidas de rasgo: periodo de 2 a 8 semanas.

3) Periodo de la vida de la persona en el que ocurre el intervalo. En la infancia, cambian conocimientos, habilidades… Por tanto, no se puede usar test-retest. La r test-retest refleja sólo : el grado en que error de medición afecta los puntajes. rtt error de medición Rxx

3. Confiabilidad de consistencia interna
Útil alternativa práctica. Requiere que los respondientes completen sólo un instrumento en un sola ocasión. Es el método más usado para obtener la Rxx.

Tres aproximaciones para estimar Rxx : División por mitades Puntajes alfa “crudos” Puntajes alfa “estandarizados”

a) División por mitades Se deriva desde dentro del instrumento mismo. Pasos: 1º Crear dos sub-instrumentos (v.gr., pares y nones) y obtener su puntaje compuesto.

2º Calcular la r entre los dos subinstrumentos (rmm). Refleja el grado en que las dos partes de la prueba son consistentes entre sí. Representa la Rxx de sólo la “mitad” del instrumento. 3º Aplica la fórmula de Spearman y Brown: Rxx = 2rmm /1 + rmm

División por mitades Premisa: Si los reactivos de un instrumento son similares unos a otros, entonces al dividirlo en dos partes de una manera apropiada (generalmente, al azar) se producirán dos subtests paralelos.

División por mitades Problemas: Si no se cumple con el supuesto de los test paralelos (igualdad de xv y de se2), se obtiene una estimación inexacta. Diferentes maneras de dividir (y hay muchas), generan diferentes estimaciones de Rxx. Es más grave con instrumentos largos. No hay una que produzca estimaciones más exactas. Por tanto, se emplea poco.

Más problemas Diferenciar pruebas de poder y pruebas de velocidad. Pruebas de poder: preguntas con diferentes niveles de dificultad. Puntaje: número de respuestas correctas. Pruebas de velocidad: Preguntas de igual grado de dificultad con tiempo limitado para responder. Puntaje: número de reactivos respondidos correctamente en el tiempo permitido. En pruebas de velocidad de respuesta, con el método de mitades, la Rxx casi siempre es cercana a 1. Por tanto, se usan otros métodos.

b) Coeficiente alfa Aproximaciones “a nivel de reactivo”. Concibe cada reactivo como un subtest. Se utilizan las asociaciones entre los reactivos para estimar la Rxx del instrumento completo.

Creada por Charles Spearman y W. Brown Desarrollado por Lee Cronbach

Consistencia interna: estima la Rxx de los instrumentos de reactivos múltiples. Idea básica: Las diferentes “partes” (reactivos o grupos de reactivos) pueden ser tratados como formas diferentes de un instrumento.

Factores que afectan la Rxx : 1) Consistencia entre las partes. Si las partes están fuertemente correlacionadas entre sí, es probable que el instrumento sea confiable. Si se podría concluir que los xo son consistentes con los xv. 2) Longitud del instrumento Un instrumento largo podría ser más confiable que uno corto. las diferencias observadas en una parte (un reactivo) son consistentes con las observadas en las otras partes (otros reactivos)

Coeficiente α “bruto” de Cronbach 1er. paso Se calcula la varianza de los puntajes del instrumento completo (S2x ) Se calcula la covarianza entre cada par de reactivos (grado de asociación entre dos reactivos). cii Se obtiene una matriz de covarianzas.

Si la covarianza = Inconsistencia. Entonces: o los reactivos no miden el mismo constructo, o al menos uno está profundamente afectado por el error de medición (ej., su fraseo es ambiguo). Las diferencias entre las respuestas al reactivo 1 las diferencias entre sus respuestas al reactivo 2. son inconsistentes con

Se suman las covarianzas inter-reactivo Σcii Refleja el grado en el que son consistentes las respuestas a todos los reactivos.

2º. Se calcula la estimación de confiabilidad α = Rxx estimada = (k / k – 1) (Σcii’ / S2x ) o k: Número de reactivos Σcii: Sumatoria de las covarianzas entre los reactivos S2x: Varianza de los puntajes

c) Coeficiente alfa “estandarizado” Llamado también “fórmula generalizada Spearman Brown” Todos los reactivos se estandarizan antes de sumarlos para crear el puntaje total de la prueba. Proporciona una perspectiva más fuerte. Utiliza sólo correlaciones.

1er. paso Se calculan r entre cada par de reactivos.

2º paso Se calcula el promedio de las r (r inter-reactivo): grado en el que las respuestas a todos los reactivos son consistentes entre sí. 3er. paso Se calcula la estimación de la confiabilidad. Fórmula Spearman y Brown. Rxx = [krii’ /1 + (k – 1) rii’ k = número de reactivos.

Los procedimientos de alfa “brutos” y de alfa estandarizados producen resultados similares.

Alfa bruto para reactivos binarios Kuder-Richardson 20 KR20 Cada uno de los reactivos tiene dos posibles respuestas

KR20 1er. paso Se calculan la proporciones de los respondientes que contestaron cada reactivo en cada una de las dos opciones de respuesta (p y q). Se calcula la varianza para cada reactivo (S2i = pq) Se calcula la varianza total de la prueba (S2x)

KR20 2º paso Se calcula la estimación de la Rxx : α = Rxx estimada = (k / k – 1) (1 - Σpq / S2x)

Exactitud y uso de las estimaciones de Rxx por consistencia interna Es fácil de obtener y usar. Requiere poco esfuerzo: no formas paralelas, no aplicaciones repetidas, no división en mitades. Los supuestos son más liberales: no se requiere el supuesto de varianzas de error iguales. Las estimaciones resultan más exactas.

KR20 y alfa colocan un límite más bajo sobre el tamaño de la confiabilidad estimada de los puntajes de los instrumento (subestiman la Rxx real de los puntajes del instrumento).

Factores que afectan la confiabilidad
1er. factor Consistencia entre las partes de la prueba Mayor consistencia interna produce mayor Rxx. Ejemplo: Una Rxx = .63 pasaría a .73 si rii’ = .29 pasara a .40. Recomendaciones: Reescribir algunos reactivos para hacerlos más claros. Reemplazar algunos reactivos por otros más relevantes al constructo.

Homogeneidad de la escala Método: Correlación reactivo-total Jum Nunnally (1978): La correlación reactivo total debe ser >.30, pero <.70. Para reactivos dicotómico: correlación punto biserial. Para 3 o más opciones de respuesta: r de Pearson (produce resultados relativamente exactos, aun con distribuciones no normales). Correlación de cada reactivo con el total, eliminando sucesivamente el efecto de cada uno.

2º factor Longitud del instrumento Un instrumento más largo es más confiable que uno corto. Al incrementar la longitud del instrumento, la S2v aumentará en mayor grado que la S2e , por tanto, incrementará la Rxx.

Rxx = sv2 / so2 so2 = sv2 + se2 Rxx = sv2 / sv2 + se2 Si se duplicara la longitud del instrumento: el se2 sólo se duplica la sv2 se cuadruplica Rxx duplicado = 4(sv2 )/ 4(sv2 ) + 2(se2)

Fórmula profética de Spearman-Brown para estimar la Rxx de un instrumento alargada o acortada: Rxx revisado = nRxx original / 1 + (n – 1) Rxx original n = factor por el que se revisa el instrumento.

Ej. La prueba tiene baja confiabilidad (.63). ¿Cuánto tendría que alargarse para alcanzar una confiabilidad satisfactoria? Rxx revisado = 3(.63) / 1 + (3 – 1) .63 Rxx revisado = .84 Rxx revisado = nRxx original / 1 + (n – 1) Rxx original Si se triplicara el número de reactivos, se obtendría una confiabilidad de .84.

Fórmula profética con α estandarizado: Rxx = krii’ /1 + (k – 1) rii’ k = número de reactivos. Ej. Con 4 reactivos y rii’ = → Rxx = .63 Con 7 reactivos y rii’ = → Rxx = .74

Pero: Un instrumento más largo es más confiable que uno corto si y sólo si los reactivos adicionales son paralelos a los reactivos originales. Si no lo son, la rii se reduce, y entonces la Rxx del instrumento alargado podría ser menor que la Rxx de la prueba original. Restricciones prácticas para aumentar reactivos: Límite de tiempo Fatiga

El beneficio de alargar un instrumento es pequeño para pruebas ya muy largas. El tamaño del incremento en la Rxx será una función negativa de la longitud de la prueba original.

Confiabilidad estimada Número de reactivos Asociación entre número de reactivos y confiabilidad (para un a prueba con una rii = .30)

3er factor Heterogeneidad de la muestra A mayor variabilidad entre la gente con respecto al atributo psicológico que se está midiendo (mayor heterogenidad de sus xv), mayor el coeficiente de Rxx.

3er factor Heterogeneidad de la muestra Rxx = sv2 / sv2 + se2 Todo lo que incremente sv2 en relación con se2 incrementará la Rxx. Mientras más heterogéneos los xv, mayor sv2

1ª implicación: La Rxx no es una característica de la propia prueba, sino que depende de la muestra. Un instrumento puede producir puntajes de Rxx altos con una muestra (heterogénea) y bajos con otra muestra (homogénea).

2ª implicación: Pone de relieve la utilidad de los estudios de generalización de la Rxx. Ej.: El MMPI es más confiable para adultos y para muestras clínicas.

Confiabilidad de los puntajes de diferencias
Interés en las diferencias entre dos puntajes.

Ej.: Estudiar el cambio en los puntajes de estudiantes. ¿Algunos niños cambiaron más que otros? Variabilidad: Evaluar el grado en el que los niños varían en la cantidad del cambio. Puntaje de diferencia = Puntaje inicial - Puntaje final 0 = no cambio + = cambio positivo - = cambio negativo

Rd = .5 (Rxx + Ryy) - rxy / 1 - rxy Rd : Confiabilidad de los puntajes de las diferencias Rxx: Confiabilidad de la prueba 1 Ryy : Confiabilidad de la prueba 2

Rxx de los pd depende de: La confiabilidad de los instrumentos usadas para calcular los pd. los instrumentos con Rxx altas producirán pd con alta Rxx.

b) La correlación entre los puntajes obtenidos en las dos pruebas. Dos pruebas que están altamente correlacionados entre sí producirán pd con baja Rxx. Al aumentar la rxy disminuirá el tamaño de Rd. Ej.: Con rxy = 0.00, Rd = .80 (instrumento independientes) Con rxy = 0.20, Rd = .70 Con rxy = 0.70, Rd = .33 Con rxy = 1.00, Rd = .00

La Rxx de los pd puede ser mucho más pequeña que la Rxx de los puntajes de los instrumentos que se utilizan para calcular los pd. Los decrementos de Rd son una función decreciente negativa de rxy Ej.: Discapacidad = instrumento de – instrumento de logro en el aprendizaje inteligencia académico

Tipos de puntajes de diferencia: Puntajes de cambio: De la misma prueba administrada en diferentes tiempos. Puntajes de discrepancia: De diferentes pruebas. Deben estar en escalas métricas similares. Ej.: subinstrumentos del WISC (media = 10; ds = 3). Si no, estandarizar los puntajes (i.e., puntajes z)

Los pd tienen sentido si los puntajes de las dos pruebas han sido construidos para medir el mismo atributo psicológico. (No: instrumento de inteligencia y instrumento de autoestima). Otros pd Pd intraindividual: De la misma persona Pd interindividual: De diferentes personas

Conclusión: Los pd son muy problemáticos, porque tienden a ser menos confiables que los instrumentos utilizadas para calcularlos. Los pd son confiables cuando existen diferencias individuales en el cambio verdadero.

5. Estimaciones empíricas de confiabilidad

Presentaciones similares

Presentación del tema: "5. Estimaciones empíricas de confiabilidad"— Transcripción de la presentación:

Presentaciones similares

Sobre el proyecto

Feedback

Iniciar la sesión

Autorizarse a través de una red social:

5. Estimaciones empíricas de confiabilidad

Presentaciones similares

Presentación del tema: "5. Estimaciones empíricas de confiabilidad"— Transcripción de la presentación:

Presentaciones similares

Sobre el proyecto

Feedback