4. Confiabilidad Bases conceptuales

Presentación del tema: "4. Confiabilidad Bases conceptuales"— Transcripción de la presentación:

1 4. Confiabilidad Bases conceptuales

2 Confiabilidad Temas La confiabilidad Teoría Clásica de los Tests
Puntajes observados, puntajes verdaderos, error de medición Varianzas en puntajes observados, puntajes verdaderos, error de medición Cuatro formas de pensar la confiabilidad Pruebas paralelas Teoría del muestreo de dominio

3 Confiabilidad Las mediciones psicológicas se utilizan para evaluar y representar diferencias en una variable diferencias en otra variable asociadas con

4 La confiabilidad En el contexto aplicado: Los psicólogos utilizan las mediciones psicológicas para informar su toma de decisiones. Habilidad para reflejar las diferencias psicológicas reales de manera exacta.

5 Confiablidad ¿Confiable?

6 Confiablidad ¿Confiable?

7 Confiabilidad Ejemplo: Medición de la longitud de 10 bebés

8 Diferencias entre los bebés Diferencias entre los bebés
Confiabilidad Longitud medida Diferencias entre los bebés Longitud “real” Diferencias entre los bebés Consistencia Valores confiables

9 La confiabilidad Más confiabilidad Menos error
La confiabilidad de una prueba refleja la extensión en la que: Las diferencias medidas en los puntajes de los respondientes Las diferencias psicológicas reales están en función de Más confiabilidad Menos error

10 La confiabilidad La confiabilidad es un continuo, no de todo o nada.
Un procedimiento para medir algo será más o menos confiable. Es posible calcular valores numéricos para estimar el grado en el que los puntajes de una medición son o no confiables.

11 La confiabilidad La confiabilidad es una noción teórica.
Es una característica de los resultados de los procedimientos utilizados para medir características de los objetos o atributos psicológicos de las personas. La confiabilidad es una característica no observable de los puntajes de un test.

12 Confiabilidad Teoría Clásica de los Tests Temas La confiabilidad
Puntajes observados, puntajes verdaderos, error de medición Varianzas en puntajes observados, puntajes verdaderos, error de medición Cuatro formas de pensar la confiabilidad Pruebas paralelas Teoría del muestreo de dominio

13 Teoría Clásica de los Tests
Teoría Clásica de los Tests (TCT) o Modelo Lineal Clásico, postulado en 1904 por Charles Spearman. Único modelo de medición que respaldaba los procesos psicométricos durante mucho tiempo. En los años 50: Teoría de la Generalizabilidad (primeras ampliaciones de Cronbach y cols.). En los años 60: Teoría de Respuesta al Ítem y Análisis de Rasch.

14 Teoría Clásica de los Tests
Teoría de la medición. Define las bases conceptuales de la confiabilidad y los procedimientos para estimar la confiabilidad en las mediciones psicológicas. Ejemplo: Escala de bournout Que las diferencias de los puntajes entre las personas reflejen exactamente las diferencias en sus niveles verdaderos de bournout.

15 Teoría Clásica de los Tests
La confiabilidad de la propiedad de una prueba que se deriva de los puntajes observados, puntajes verdaderos y el error de medición. Puntajes observados Valores que se obtienen de las mediciones de alguna característica de una persona. Puntajes verdaderos Las cantidades reales de esa característica. Ideal: Interpretar los puntajes observados como buenas estimaciones de los puntajes verdaderos

16 Teoría Clásica de los Tests
La confiabilidad refleja la extensión en la que: Las diferencias en los puntajes observados Las diferencias en los puntajes verdaderos …son consistentes con… Inconsistencias Otras características de la prueba y de su administración contribuyen a las diferencias: ERROR DE MEDICIÓN

17 Teoría Clásica de los Tests
No existe una medición perfectamente confiable. Es imposible conocer todas las fuentes de error de medición que afectan los puntajes de las prueba. Sobre-estimaciones Sub-estimaciones

18 Teoría Clásica de los Tests
Existen muchas posibles fuentes de error que pueden afectar las mediciones observadas y, por tanto, obscurecer las diferencias verdaderas entre los mediciones.

19 Teoría Clásica de los Test
Conocimiento verdadero de matemáticas Otros factores: Resfrío el día del examen Desayuno nutritivo “Suerte para adivinar” Error al marcar la respuesta Sueño, estado emocional, bienestar físico… Fuentes de errores de medición Resultado en el examen de matemáticas

20 Confiabilidad Temas La confiabilidad Teoría Clásica de los Tests Puntajes observados, puntajes verdaderos, error de medición Varianzas en puntajes observados, puntajes verdaderos, error de medición Cuatro formas de pensar la confiabilidad Pruebas paralelas Teoría del muestreo de dominio

21 Puntajes observados Puntajes verdaderos Error de medición
El grado de confiabilidad de una prueba depende de: a) La medida en que las diferencias pueden ser atribuidas a las diferencias inter- o intra-individuales reales b) La medida en la que tales diferencias están en función del error de medición.

22 Puntajes observados Puntajes verdaderos Error de medición
Xo = Xv + Xe Xo = Puntaje observado Xv = Puntaje verdadero (Nunca podemos conocerlo) Xe = Puntaje de error

23 Puntajes observados Puntajes verdaderos Error de medición
Respondiente Xo = Xv + Xe Luisa (↓) 120 130 -10 Toño (↑) 145 25 Carlos 95 110 -15 Daniela 85 100 Erick 115 90 Alicia 70 80 Escala Original de Autoestima

24 Puntajes observados Puntajes verdaderos Error de medición
Xo = Xv + Xe Luisa: Xo = (-10) Xo = 120 Primera suposición de la Teoría Clásica de los Test: Los Xo en una medición psicológica están determinados por: los Xv de los respondientes y por Xe.

25 Puntajes observados Puntajes verdaderos Error de medición
La Teoría Clásica de los Test supone que: el error de medición es aleatorio: puede “inflar” o “desinflar” cualquier puntaje particular. Suposición: Las respuestas son afectadas de formas impredecibles, que pueden subir o bajar artificialmente los Xo. Puesto que el error es aleatorio, sus efectos (↑ o ↓) son independientes de los Xv. Ejemplo: Luisa y Toño (circunstancia temporal)

26 Puntajes observados Puntajes verdaderos Error de medición
Consecuencias de la suposición: 1º El error tiende a cancelarse al considerar todos los respondientes. El error ↑los puntajes de unos y ↓los de otros. El efecto promedio es de cero. Xe = 0 2º Los Xe no se correlacionan con los Xv. rve = 0

27 Puntajes observados Puntajes verdaderos Error de medición
Respondiente Xo = Xv + Xe Luisa (↓) 120 130 -10 Toño (↑) 145 25 Carlos 95 110 -15 Daniela 85 100 Erick 115 90 Alicia 70 80 Media 105.00 rve= .00 Escala Original de Autoestima

28 Confiabilidad Temas La confiabilidad Teoría Clásica de los Tests Puntajes observados, puntajes verdaderos, error de medición Varianzas en puntajes observados, puntajes verdaderos, error de medición Cuatro formas de pensar la confiabilidad Pruebas paralelas Teoría del muestreo de dominio

29 Varianzas en puntajes observados puntajes verdaderos y puntajes de error
La confiabilidad depende del grado en el que las diferencias en los Xo sean consistente con las diferencias en los Xv. Dicho de otro modo: La confiabilidad depende de la relación entre: la variabilidad de Xo , la variabilidad de Xv y la variabilidad de Xe .

30 Varianzas en puntajes observados puntajes verdaderos y puntajes de error
Las diferencias verdaderas entre las personas pueden obscurecerse por las diferencias en los errores de medición. Ejemplo: Puntajes verdaderos y observados de Luisa y Toño. Son inconsistentes las diferencias entre Xv y Xo. Xv de Luisa - Xv de Toño = = +10 Xo de Luisa - Xo de Toño = = -25 Es por el error de medición.

31 Puntajes observados Puntajes verdaderos Error de medición
Respondiente Xo = Xv + Xe Luisa (↓) 120 130 -10 Toño (↑) 145 25 Carlos 95 110 -15 Daniela 85 100 Erick 115 90 Alicia 70 80 Escala Original de Autoestima

32 Varianzas en puntajes observados puntajes verdaderos y puntajes de error
Estas inconsistencias afectan potencialmente las diferencias entre todos los respondientes. Varianzas (cálculo tradicional): Se2 Grado en el cual el error afecta a diferentes personas de diferente manera (↑ o ↓ artificialmente) y obscurece las diferencias verdaderas. Un alto nivel de varianza de error indica una medición pobre.

33 Varianzas en puntajes observados puntajes verdaderos y puntajes de error
Si : Xo = Xv + Xe Entonces: so2 = sv2 + se2 Ejemplo: so2 = so2 = Fundamental en la Teoría Clásica de los Test y para el análisis de la confiabilidad.

34 Puntajes observados Puntajes verdaderos Error de medición
Respondiente Xo = Xv + Xe Luisa (↓) 120 130 -10 Toño (↑) 145 25 Carlos 95 110 -15 Daniela 85 100 Erick 115 90 Alicia 70 80 Media 105.00 Varianza 608.33 291.67 316.67 Escala Original de Autoestima

35 Confiabilidad Cuatro formas de pensar en la confiabilidad Temas
Teoría Clásica de los Tests Puntajes observados, puntajes verdaderos, error de medición Varianzas en puntajes observados, puntajes verdaderos, error de medición Cuatro formas de pensar en la confiabilidad Pruebas paralelas Teoría del muestreo de dominio

36 Cuatro formas de pensar la confiabilidad
TEORÍA CLÁSICA DE LOS TEST Confiabilidad: asociaciones entre: Xo Xv Xe Puntajes verdaderos Error de medición Proporciones de la varianza Confiabilidad es : la proporción de la varianza de los Xv en relación con la varianza de los Xo Rxx = sv2 / so2 Confiabilidad es: La falta de varianza de error Rxx = 1 – (se2 / so2) Correlaciones La correlación (al cuadrado) entre los Xo y los Xv Rxx = rov2 La falta de correlación entre los Xo y los Xe Rxx = 1 – (roe2 )

37 Cuatro formas de pensar la confiabilidad
TEORÍA CLÁSICA DE LOS TEST Confiabilidad: asociaciones entre: Xo Xv Xe Puntajes verdaderos Error de medición Proporciones de la varianza Confiabilidad es : la proporción de la varianza de los Xv en relación con la varianza de los Xo Rxx = sv2 / so2 Correlaciones

38 Cuatro formas de pensar en la confiabilidad
1. Rxx = sv2 / so2 La expresión de confiabilidad más común. Proporción de la varianza de los puntajes observados que es atribuible a la varianza de los puntajes verdaderos. Rxx: Coeficiente de confiabilidad

39 Cuatro formas de pensar en la confiabilidad
1. Rxx = sv2 / so2 Ejemplo: Rxx = / Rxx = .48 El 48% de las diferencias entre los Xo de los respondientes puede atribuirse a las diferencias en sus niveles verdaderos del atributo. Menos de la mitad de la varianza en la so2 se atribuye a los Xv

40 Puntajes observados Puntajes verdaderos Error de medición
Respondiente Xo = Xv + Xe Luisa (↓) 120 130 -10 Toño (↑) 145 25 Carlos 95 110 -15 Daniela 85 100 Erick 115 90 Alicia 70 80 Media 105.00 Varianza 608.33 291.67 316.67 Rxx = .48 Escala Original de Autoestima Rxx = sv2 / so2

41 Cuatro formas de pensar en la confiabilidad
Tamaño del índice de confiabilidad: De 0 a 1 A mayor Rxx, mayor calidad psicométrica. Porque una mayor proporción de las diferencias entre los Xo puede atribuirse a las diferencias entre los Xv.

42 Cuatro formas de pensar en la confiabilidad
Si la sv2 = 0  Rxx = 0 Significado de sv2 = 0: Todos tienen el mismo puntaje verdadero. (La confiabilidad está ligada intrínsecamente a las diferencias entre las personas). Si la sv2 = so2  Rxx = 1.0 Significado: Absolutamente no hay error de medición que afecte los puntajes observados.

43 Cuatro formas de pensar en la confiabilidad
Con propósitos de investigación, es aceptable una Rxx = .70 o .80

44 Cuatro formas de pensar en la confiabilidad
Ejemplo: Escala de autoestima Necesario mejorar la confiabilidad. Para ello se reescriben algunos reactivos para clarificar ambigüedades y para asegurarse de que reflejan la manera en la que las personas se sienten, por lo general, acerca de sí mismas. ¿Esta revisión mejoró la calidad psicométrica de la escala?

45 Puntajes observados Puntajes verdaderos Error de medición
Escala Revisada de Autoestima Respondiente Xo = Xv + Xe Luisa 135 130 5 Antonio 120 10 Carlos 95 110 -15 Daniela 85 100 Erick 90 Alicia 80 Autoestima: rasgo estable Las diferencias en Xo son consistentes con la dirección de Xv Hay menor inconsistencia La diferencia disminuyó

46 Cuatro formas de pensar en la confiabilidad
Al parecer, la escala revisada funciona mejor, ya que refleja las diferencias verdaderas entre los respondientes. Rxx = / Rxx = .71 71% de la so2 puede atribuirse a sv2.

47 Puntajes observados Puntajes verdaderos Error de medición
Escala Revisada de Autoestima Respondiente Xo = Xv + Xe Luisa 135 130 5 Antonio 120 10 Carlos 95 110 -15 Daniela 85 100 Erick 90 Alicia 80 Media 105.00 Varianza 408.33 291.67 116.67 Rxx = .71

48 Cuatro formas de pensar la confiabilidad
TEORÍA CLÁSICA DE LOS TEST Confiabilidad: asociaciones entre: Xo Xv Xe Puntajes verdaderos Error de medición Proporciones de la varianza Confiabilidad es: La falta de varianza de error Rxx = 1 – (se2 / so2) Correlaciones

49 Cuatro formas de pensar en la confiabilidad
2. Rxx = Falta de varianza de error La se2 representa el grado en el que el error afecta a diferentes personas de diferentes maneras (“infla” artificialmente los puntajes de unos y “desinfla” los de otros). Estos efectos obscurecen las diferencias entre las personas. Confiabilidad: Grado en el que la se2 es mínima en comparación con la so2.

50 Cuatro formas de pensar en la confiabilidad
La confiabilidad es más alta cuando la proporción de se2 / so2 es pequeña. Rxx = 1 – (se2 / so2) Rxx = 1 – ( / ) Rxx = 1 – .52 Rxx = .48 52% de la varianza en los puntajes observados de los respondientes es producido por el error de medición; el restante 48% es atribuible a las diferencias en los puntajes verdaderos de los respondientes.

51 Puntajes observados Puntajes verdaderos Error de medición
Respondiente Xo = Xv + Xe Luisa (↓) 120 130 -10 Toño (↑) 145 25 Carlos 95 110 -15 Daniela 85 100 Erick 115 90 Alicia 70 80 Media 105.00 Varianza 608.33 291.67 316.67 Escala Original de Autoestima Rxx = .48 Rxx = 1 – (se2 / so2)

52 Cuatro formas de pensar en la confiabilidad
Un pequeño grado de se2 indica: Los puntajes de los respondientes están siendo afectos sólo ligeramente por el error de medición. El error que afecta el puntaje de una persona no es muy diferente del error que afecta el puntaje de otra persona. Si la se2 = 0 el 100% de la so2 se asociará con sv2 y la prueba será perfectamente confiable.

53 Cuatro formas de pensar la confiabilidad
TEORÍA CLÁSICA DE LOS TEST Confiabilidad: asociaciones entre: Xo Xv Xe Puntajes verdaderos Error de medición Proporciones de la varianza Correlaciones Confiabilidad es: La correlación (al cuadrado) entre los Xo y los Xv Rxx = rov2

54 Cuatro formas de pensar en la confiabilidad
3. Rxx = La correlación (cuadrada) entre Xo y Xv La confiabilidad es el grado en el que las diferencias en los puntajes observados son consistentes con las diferencias en los puntajes verdaderos. El coeficiente de correlación indica el grado en el que las diferencias en una variable son consistentes con (corresponden a) las diferencias en otra variable.

55 Cuatro formas de pensar en la confiabilidad
Escala Original de Autoestima Respondiente Xo = Xv + Xe Luisa 120 130 -10 Toño 145 25 Carlos 95 110 -15 Daniela 85 100 Erick 115 90 Alicia 70 80 rov= .69 r2ov= .48 Coeficiente de confiabilidad Índice de confiabilidad Rxx = r2ov

56 Cuatro formas de pensar en la confiabilidad
Rxx = rov2 Una confiabilidad de 1.0 indica que: Las diferencias entre los Xo son perfectamente consistente con las diferencias entre sus Xv Una confiabilidad de 0 indica que : son totalmente inconsistente con las diferencias entre sus Xv.

57 Cuatro formas de pensar la confiabilidad
TEORÍA CLÁSICA DE LOS TEST Confiabilidad: asociaciones entre: Xo Xv Xe Puntajes verdaderos Error de medición Proporciones de la varianza Correlaciones Confiabilidad es: La falta de correlación entre los Xo y los Xe Rxx = 1 – (roe2 )

58 Cuatro formas de pensar en la confiabilidad
4. Rxx = La falta de correlación (cuadrada) entre Xo y Xe La confiabilidad es el grado en el que los puntajes observados no están correlacionados con los puntajes de error. Una prueba es no confiable cuando las diferencias en los Xo reflejan las diferencias en los efectos del error (en lugar de los Xv).

59 Cuatro formas de pensar en la confiabilidad
Rxx = 1 – (r2oe) Rxx = 1 – (.72 ) 2 Rxx = 1 – (.52) Rxx = .48 Si la correlación r2oe = 0  Rxx = 1 Cuando la correlación entre los Xo y Xe se incrementa, el tamaño de Rxx disminuye.

60 Puntajes observados Puntajes verdaderos Error de medición
Escala Original de Autoestima Respondiente Xo = Xv + Xe Luisa 120 130 -10 Toño 145 25 Carlos 95 110 -15 Daniela 85 100 Erick 115 90 Alicia 70 80 roe= .72 r2oe= .52 Rxx = = .48 Rxx = 1 - r2oe

61 Confiabilidad Pruebas paralelas Temas La confiabilidad
Teoría Clásica de los Tests Puntajes observados, puntajes verdaderos, error de medición Varianzas en puntajes observados, puntajes verdaderos, error de medición Cuatro formas de pensar la confiabilidad Pruebas paralelas Teoría del muestreo de dominio

62 Pruebas Paralelas No hay manera de conocer:
ni los puntajes verdaderos de las personas ni el error asociado con sus respuestas. Entonces, parecería que no es posible traducir la teoría de confiabilidad en la práctica real de medición. La Teoría Clásica de los Test evita este problema con otra supuesto: “Dos pruebas psicológicas puede construirse de tal manera que sean paralelas”.

63 Pruebas Paralelas Dos pruebas son paralelas si, además de las suposiciones anteriores, cumplen: Las pruebas miden el mismo constructo psicológico (“equivalencia tau”): Los de Xv un participante son exactamente iguales a sus Xv en la otra prueba. Las pruebas tienen el mismo nivel de s2e.

64 Pruebas Paralelas Consecuencias:
La media y la desv. est. de los Xo de una prueba serán iguales a los de la otra prueba. Por tanto: Si dos pruebas son paralelas es posible calcular un coeficiente de confiabilidad y un error estándar de medición a partir de sus puntajes observados.

65 Pruebas Paralelas Ejemplo: Dos escalas de autoestima: X y Y
Si miden lo mismo y si tienen el mismo error de varianza (sxe = sye) entonces X y Y son paralelos. (Los Xo , los Xv y los Xe deben ser iguales). Si son paralelos, se puede calcular rxy.

66 Pruebas Paralelas Teoría Clásica de los Tests:
La correlación entre dos pruebas paralelas es igual a su confiabilidad. rXY = Rxx rXoYo= cXoYo 𝟐𝒂

67 Confiabilidad Temas Teoría del muestreo de dominio La confiabilidad
Teoría Clásica de los Tests Puntajes observados, puntajes verdaderos, error de medición Varianzas en puntajes observados, puntajes verdaderos, error de medición Cuatro formas de pensar la confiabilidad Pruebas paralelas Teoría del muestreo de dominio

68 Teoría del muestreo de dominio
La Teoría del Muestreo de Dominio (años 50s) es una alternativa a la Teoría Clásica de los Tests. Obtienen la confiabilidad de diferente manera, pero llegan a lo mismo. Suposición: Los reactivos de una prueba particular representan una muestra de un gran número infinito (o dominio) de reactivos potenciales. Se considera que las respuestas a cada uno de estos reactivos están en función del mismo atributo psicológico.

69 Teoría del muestreo de dominio
Si se crea una prueba al seleccionar N reactivos al azar de un dominio de reactivos, y se crea otra prueba al seleccionar N reactivos al azar del mismo dominio, y así sucesivamente, estos pares de pruebas deberían tener la misma media y la misma desviación estándar. En teoría , todos los pares de pruebas deberían ser paralelos uno al otro.

70 Teoría del muestreo de dominio
Si son paralelos, deberían correlacionar fuertemente uno con el otro. Entonces, la confiabilidad es el promedio del tamaño de las correlaciones entre todos los posibles pares de pruebas con N reactivos seleccionados de un dominio de reactivos.