6. Importancia de la confiabilidad

Presentación del tema: "6. Importancia de la confiabilidad"— Transcripción de la presentación:

1 6. Importancia de la confiabilidad
Nazira Calleja

2 Importancia de la confiabilidad
I. Importancia de la confiabilidad en la investigación conductual II. Importancia de la confiabilidad en la práctica conductual aplicada III. Construcción y refinamiento del instrumento

3 I. Importancia de la confiabilidad en la investigación conductal
Confiabilidad, correlaciones verdaderas y correlaciones observadas La atenuación de la correlación entre las medidas por los errores de medición (baja confiabilidad) Confiabilidad y atenuación: Implicaciones para la investigación

4 Importancia de la confiabilidad en la investigación de la conducta
Confiabilidad, correlaciones verdaderas y correlaciones observadas La atenuación de la correlación entre las medidas por los errores de medición (baja confiabilidad) Confiabilidad y atenuación: Implicaciones para la investigación

5 La interpretación de los resultados de la investigación psicológica
depende de la calidad de la medición depende de la confiabilidad

6 La falta de confiabilidad debilita o atenúa los resultados de los análisis estadísticos, conduciendo a posibles interpretaciones erróneas de los hallazgos.

7 Investigación conductual
¿Existe relación entre el atributos X y el atributo Y? Ejemplo: ¿La autoestima el logro académico? está relacionada con X Y r verdadera = .40

8 Cfb, rv y ro rxoyo = rxvyv √Rxx Ryy la rv entre
los dos constructos psicológicos La r entre los po de dos variables (x/y) está deter-minada por: las cfbs de los dos instrumentos y rxoyo = rxvyv √Rxx Ryy

9 La discrepancia entre rxvyv y rxoyo se debe el error de medición.
Cfb, rv y ro rxoyo = rxvyv √Rxx Ryy rxvyv .40 Ejemplo: Autoestima Rxx = .80 Logro académico Ryy = .86 rxoyo = √(.80) (.86) rxoyo = La discrepancia entre rxvyv y rxoyo se debe el error de medición.

10 Importancia de la confiabilidad en la investigación de la conducta
Confiabilidad, correlaciones verdaderas y correlaciones observadas La atenuación de la correlación entre las medidas por los errores de medición (baja confiabilidad) Confiabilidad y atenuación: Implicaciones para la investigación

11 El error de medición (baja cfb) atenúa las rs entre las medidas
Consecuencias de la discrepancia entre rxo y rxv 1º Las rxo serán siempre más bajas que las rxv porque: La medición nunca es perfecta. La medidas imperfectas debilitan o atenúan las rxo. rxoyo = .40 √(.98) (.98) rxoyo = .39 Aunque las dos sean muy altas r disminuida o atenuada

12 El error de medición (baja cfb) atenúa las rs entre las medidas
2º El grado de atenuación está determinado por las Rxxs de las medidas. Pobreza de la medición Atenuación rxoyo = .40 √(.60) (.50) rxoyo = .22 rxoyo = .40 √(.80) (.30) rxoyo = .20 Aunque sólo una sea pobre

13 El error de medición (baja cfb) atenúa las rs entre las medidas
3º El error limita la r máxima que puede encontrarse entre las dos medidas. Ejemplo: Motivación Logro académica académico Rxx = .40 Ryy = .86 rxoyo = √(.86) (.40) rxoyo = .59 Aun cuando la asociación fuera perfecta La baja cfb limita la correlación Correlación máxima que puede esperarse

14 El error de medición (baja cfb) atenúa las rs entre las medidas
4º Es posible estimar la rv entre dos constructos (corrección por atenuación). Despejando la fórmula: Se obtiene: rxvyv = rxoyo √Rxx Ryy Ejemplo: Con medidas de cfd perfecta: rxo = rxv rxoyo = rxvyv √Rxx Ryy rxvyv = .26 √(.86) (.40) rxvyv = .44 Existe una clara conexión entre cfb, error de medición, rxo y rxv

15 Importancia de la confiabilidad en la investigación de la conducta
Confiabilidad, correlaciones verdaderas y correlaciones observadas La atenuación de la correlación entre las medidas por los errores de medición (baja confiabilidad) Confiabilidad y atenuación: Implicaciones para la investigación

16 Cfb y atenuación: Implicaciones para la investigación
1ª Implicación de que el error de medición (baja cfb) atenúe las rxo Siempre deben interpretarse los resultados de un estudio en el contexto de la cfb.

17 Cfb y atenuación: Implicaciones para la investigación
Hay dos tipos básicos de resultados: a) Tamaño del efecto y b) Significancia estadística a) Tamaño del efecto Todos los tamaños del efecto reflejan: el grado de asociación entre variables y/o el tamaño de la diferencia entre grupos . Los tamaños del efecto incluyen: coeficientes de correlación, coeficientes de regresión, valores de R cuadrada, valores de “eta cuadrada” (de análisis de varianza), y la d de Cohen (de pruebas t). cfb tamaño del efecto probabilidad de que el resultado sea significativo.

18 Cfb y atenuación: Implicaciones para la investigación
b) Significancia estadística La confianza en el resultado: Si son significativos, son “reales”. La significancia está fuertemente afectada por el tamaño de la correlación observada. rxo probabilidad de que el resultado sea significativo

19 Implicaciones de la cfb sobre el tamaño del efecto y la significancia
Ejemplo: Queremos implementar un programa para incrementar el aprovechamiento académico: ¿será mejor trabajar con autoestima o con motivación académica? Autoestima y Logro académico: r = .33 Motivación y Logro académico: r = .26

20 Implicaciones de la cfb sobre el tamaño del efecto y la significancia
Confiabilidad de los instrumentos: Autoestima: Rxx = .80 Motivación: Rxx = .40 Logro: Rxx = .86

21 Implicaciones de la cfb sobre el tamaño del efecto y la significancia
Principios: La cfb de los instrumentos incrementa la ro, y La ro siempre será mayor que la rv.

22 Implicaciones de la cfb sobre el tamaño del efecto y la significancia
Puesto que: a) La cfb de la medida de Motivación (.40) es mucho menor que la la cfb de la medida de Autoestima (.80), y b) la ro Motivación – Logro (.26) es sólo un poco más pequeña que la ro Autoestima – Logro (.33),

23 Implicaciones de la cfb sobre el tamaño del efecto y la significancia
entonces, la rv Motivación – Logro se encuentra mucho más atenuada que la rv Autoestima – Logro, así que: la rv Motivación – Logro tendrá que ser mayor que la rv Autoestima – Logro.

24 Implicaciones de la cfb sobre el tamaño del efecto y la significancia
Estimación de las rv (corrección por atenuación): rxvyv= xoyo √Rxx Ryy Para Motivación–Logro: Para Autoestima–Logro: rxvyv = rxvyv = rxvyv = .44 rxvyv = .40 .26 √(.86) (.40) .33 √(.86) (.80) Esta correlación estaba subestimada (atenuada) debido a la baja cfb del instrumento. Es necesario interpretar los resultados en el contexto de la cfb.

25 Implicaciones de la cfb sobre el tamaño del efecto y la significancia
2ª implicación de que el error de medición (baja cfb) atenúe las rxo Deben usarse medidas altamente confiables. Con ellas se minimiza el problema de la atenuación y se puede confiar en que la asociación observada entre sus medidas se aproxima cercanamente a las rv entre los constructos.

26 Implicaciones de la cfb sobre el tamaño del efecto y la significancia
Razones por las que podrían usarse medidas con pobre cfb. 1) Puede ser que no se hayan encontrado instrumentos altamente confiables para el constructo de interés. Disyuntiva: emplear la existente o construir otra. 2) Puede ser que la búsqueda no haya sido exitosa, porque: hay muchas, pero son poco accesibles tienen copyright y hay que pagar no están publicadas completas no hay alguna que encaje completamente en los requerimientos. Se necesita tiempo, dinero, esfuerzo… y paciencia.

27 Implicaciones de la cfb sobre el tamaño del efecto y la significancia
3ª implicación de que el error de medición (baja cfb) atenúe las rxo Los investigadores deberían reportar las estimaciones de confiabilidad de su medidas. Con ello podrían interpretarse los resultados de la investigación en el contexto de la cfb. Y si no está reportada, habrá que pedírsela al autor.

28 Implicaciones de la cfb sobre el tamaño del efecto y la significancia
En suma: La falta de confiabilidad debilita o atenúa los resultados de los análisis estadísticos, conduciendo a posibles interpretaciones erróneas de los hallazgos.

29 Importancia de la confiabilidad
I. Importancia de la confiabilidad en la investigación conductual II. Importancia de la confiabilidad en la práctica conductual aplicada III. Construcción y refinamiento del instrumento

30 Práctica conductual aplicada: Evaluación de puntaje de un individuo
La cfb afecta la confianza, la exactitud o la precisión con la que se estima el pv de un individuo.

31 II. Importancia de la confiabilidad en la práctica conductual aplicada
Evaluación de los puntajes individuales Estimaciones puntuales de los puntajes verdaderos Intervalos de confianza de los puntajes verdaderos

32 Práctica conductual aplicada:
Evaluación del puntaje de un individuo Los puntajes de los instrumentos se usan para tomar decisiones importantes para la vida de las personas.

33 Práctica conductual aplicada
Ejemplos: Inteligencia Sentencia de cárcel Logro académico Grupos de educación especial Examen de admisión Ingreso a la universidad Exámenes de clase Futuro de los estudiantes

34 Práctica conductual aplicada: Evaluación del puntaje de un individuo
La cfb de un instrumento tiene implicaciones cruciales para la calidad de las decisiones tomadas. El puntaje de un individuo en un instrumento es sólo una estimación de su nivel real de esa característica. Por tanto, debe evaluarse no sólo la calidad del instrumento sino también la del puntaje individual.

35 Práctica conductual aplicada: Evaluación de puntaje de un individuo
Fuentes de información que ayudan a evaluar el puntaje de un individuo: 1) Estimación puntual 2) Intervalo de confianza

36 II. Importancia de la confiabilidad en la práctica conductual aplicada
Evaluación de los puntajes individuales Estimaciones puntuales de los puntajes verdaderos Intervalos de confianza de los puntajes verdaderos

37 Práctica conductual aplicada: Evaluación de puntaje de un individuo
A. Estimación puntual de los puntajes verdaderos Valor específico que se interpreta como: la “mejor estimación” del individuo en un atributo particular.

38 Práctica conductual aplicada: Evaluación de puntaje de un individuo
Se pueden derivar dos estimaciones puntuales de los pv: 1º Puntaje observado (Xo) 2º Puntaje ajustado o estimado (Xest) 1º Estimaciones basadas únicamente en el po del individuo. Es la mejor estimación de la cantidad de atributo que posee el individuo.

39 Práctica conductual aplicada: Evaluación de puntaje de un individuo
2º Puntajes ajustados o estimados del pv. Toman en cuenta el error de medición. Si se aplica el mismo instrumento en dos ocasiones, el individuo obtendrá pos ligeramente diferentes (por fatiga, distracción, etc.) Ambos pos se consideran estimaciones puntuales del pv, y puede usarse uno para estimar el segundo.

40 Práctica conductual aplicada: Evaluación de puntaje de un individuo
2º Estimaciones ajustadas del pv. Se produce una estimación ajustada del pv que refleja un efecto llamado: Regresión a la media Se basa en la Teoría Clásica de los Tests y en el error de medición (error aleatorio: “infla” o “desinfla” los puntajes).

41 Práctica conductual aplicada: Evaluación de puntaje de un individuo
Regresión a la media Probabilidad de que, en una segunda medición, el puntaje de un individuo probablemente será más cercano a la media del grupo de lo que fue su primer puntaje. Primera medición Segunda medición

42 Práctica conductual aplicada: Evaluación de puntaje de un individuo
Puntaje ajustado o estimado del pv Puntaje estimado que se obtendría en una segunda aplicación del instrumento Xest = X + Rxx (X0 – X)

43 Práctica conductual aplicada: Evaluación de puntaje de un individuo
Ejemplo: Una persona obtuvo un puntaje de 38. ¿Qué puntaje obtendría en una segunda aplicación de ese instrumento?: Xest = X + Rxx (X0 – X) Xest = (38 – 30) Xest = 37.2 Estimación ajustada del pv Más cercano a la media (30) que el 38.

44 Práctica conductual aplicada: Evaluación de puntaje de un individuo
El tamaño y la dirección de las discrepancias entre dos mediciones de un individuo estarán en función de tres factores: La cfb del instrumento El tamaño de la diferencia entre el puntaje original y la media de los puntajes del instrumento La dirección de la diferencia entre el puntaje original y la media de los puntajes del instrumento.

45 Práctica conductual aplicada: Evaluación de puntaje de un individuo
Puntos importantes: a) La cfb del instrumento influye en la diferencia entre el pv est y el po. Al la cfb la diferencia. Es más probable que ocurra la regresión a la media (o que sea más grande) cuando los puntajes de un instrumento son afectados profundamente por el error de medición (cfb). Ejemplo: Xest = (38 – 30) Xest = 34 Xest = X + Rxx (X0 – X) Se reduce 4 puntos por la baja cfb.

46 Práctica conductual aplicada: Evaluación del puntaje de un individuo
b) Lo extremoso de po influye en la diferencia entre el pv estimado y el po. La diferencia será mayor (el ajuste será mayor) para po relativamente extremos (altos o bajos) que para puntajes moderados. Ejemplos: Xest = (22 – 30) Xest = 22.8 Más cercano a la media Más extremo Xest = (27 – 30) Xest = 27.3 Diferencia de .3 Diferencia de .8

47 Práctica conductual aplicada: Evaluación de puntaje de un individuo
¿Cuál es la mejor estimación del pv: X0 o Xest? El po es una estimación no sesgada de un atributo psicológico, por lo que representa su mejor estimación, excepto cuando se intenta predecir el puntaje de una persona en una medición posterior.

48 Práctica conductual aplicada: Evaluación de puntaje de un individuo
Por ejemplo: Si alguien no salió muy bien en un examen, muy probablemente la mejor predicción de su siguiente examen será el puntaje “regresado”. Aunque la regresión a la media no se da en todas las circunstancias, es una práctica común convertir los Xo a Xest

49 II. Importancia de la confiabilidad en la práctica conductual aplicada
Evaluación de los puntajes individuales Estimaciones puntuales de los puntajes verdaderos Intervalos de confianza de los puntajes verdaderos

50 Práctica conductual aplicada: Evaluación de puntaje de un individuo
C. Intervalos de confianza (IC) de los puntajes verdaderos Por el error de medición, el po puede no ser exactamente igual al pv. El IC refleja un rango de valores en el que es más probable que caiga el pv. El intervalo de confianza da una idea de la precisión o exactitud de la estimación del pv.

51 Práctica conductual aplicada: Evaluación del puntaje de un individuo
Los IC reflejan la exactitud o precisión de la estimación del po de un individuo. “Con una confianza del 95%, el puntaje observado de esta persona en el WISC cae en el rango de 100 a 112”. La precisión está muy relacionada con la cfb. cfb precisión en la estimación

52 Práctica conductual aplicada: Evaluación del puntaje de un individuo
eem: Error estándar de medición. Tamaño promedio de los puntajes de error que afectan a los po. eem diferencia promedio entre po y pv

53 Práctica conductual aplicada: Evaluación del puntaje de un individuo
eem =so 1−Rxx eem: Error estándar de medición so: Desviación estándar de po Ejemplo: Cfb alta Cfb baja eem = −.90 eem = 1.90 eem = eem = 4.24 6 1−.50 Error bajo Error alto

54 Práctica conductual aplicada: Evaluación del puntaje de un individuo
Intervalo de confianza del 95% = X0 ± (1.96) (eem) Puntaje Z IC 95% = 32 ± (1.96) (1.90) IC 95% = 32 ± 3.7 IC 95% = 28.3 a 35.7 “Con una confianza del 95%, el po de esta persona cae en el rango de 28.3 a 35.7”.

55 Práctica conductual aplicada: Evaluación del puntaje de un individuo
Error bajo Error alto IC 95% = 32 ± (1.96) (4.24) IC 95% = 32 ± 8.3 IC 95% = 23.7 a 40.3 Intervalo pequeño 7.4 puntos Intervalo grande 16.6 puntos

56 Práctica conductual aplicada: Evaluación de puntaje de un individuo
Los IC pueden ser calculados: Para varios grados de confianza (99%, 95%, 90%) Usando el eem o el error estándar de estimación Los IC pueden ser aplicados a: Xo Xest

57 Práctica conductual aplicada: Evaluación de puntaje de un individuo
En suma: La confiabilidad afecta: la confianza, la exactitud o la precisión con la que se estima el pv de un individuo.

58 Práctica conductual aplicada: Evaluación del puntaje de un individuo
Tanto la estimación puntual de los pv como los IC tienen consecuencias importantes en los ambientes aplicados en los cuales se usan los puntajes de tests para tomar decisiones acerca dela vida de los individuos. Ejemplo: Un niño clasificado con retardo con un IQ de 69. En una segunda aplicación su puntaje tendría regresión a la media.

59 Práctica conductual aplicada: Evaluación del puntaje de un individuo
¡¡¡Importante!!! Que los tomadores de decisiones reconozcan los problemas asociados con la interpretación de los puntajes de los instrumentos.

60 III. Construcción y refinamiento del instrumento
Consistencia interna: discriminación de reactivos Varianza del reactivo Dificultad del reactivo (media)

61 Construcción y refinamiento del instrumento
Propósito: Identificar los reactivos que deben eliminarse o revisarse para aumentar su contribución a la calidad psicométrica del instrumento.

62 Construcción y refinamiento del test
Consistencia interna: Grado en el que… … las diferencias entre las respuestas de las personas a un reactivo las diferencias entre sus respuestas a los otros reactivos del instrumento. son consistentes con

63 Construcción y refinamiento del test
Consistencia interna Si un reactivo está fuertemente correlacionado con los demás, ese reactivo es consistente con los demás y ese reactivo aumenta la consistencia interna del test.

64 Construcción y refinamiento del instrumento
1er. paso: Análisis de las correlaciones inter-reactivo A. Correlación reactivo-puntaje total B. Índice de discriminación (D) C. α de Cronbach si el reactivo se eliminara 2o. paso: Análisis de la varianza del reactivo 3er. paso: Análisis de la media del reactivo

65 Construcción y refinamiento del test
1er. Paso Análisis de las correlaciones inter-reactivo

66 Construcción y refinamiento del instrumento
Ejemplo: (no es práctico con muchos reactivos) Alpha de Cronbach Alpha de Cronbach basado en reactivos estandarizados N de reac-tivos .590 .594 5 Reactivo 1 Reactivo 2 Reactivo 3 Reactivo 4 Reactivo 5 1.000 .000 .200 .250 .408 -.408 .500 Reactivo 1 no es consistente: eliminarlo o rehacerlo Reactivo 2 a 5 son consistentes entre sí

67 Construcción y refinamiento del instrumento
Procedimiento A. Correlación reactivo-puntaje total Media de la escala si se elimina el reactivo Varianza de la escala si se elimina el reac. Correlación reactivo - total corregido Correlación múltiple cuadrada Alpha de Cronbach si se elimina el reac. Reactivo 1 2.20 2.178 -.029 .410 .721 Reactivo 2 2.30 1.567 .421 .337 .492 Reactivo 3 Reactivo 4 2.40 1.378 .623 .366 Reactivo 5 2.00 1.778 .395 .627 .517 Grado en el que las diferencias entre las respuestas de las personas al reactivo son diferencias consistentes con sus puntajes totales.

68 Construcción y refinamiento del instrumento
Las correlaciones reactivo-puntaje total “corregido” Se obtienen sumando todos los reactivos excepto el correspondiente. Los puntajes totales son diferentes para cada reactivo. Reactivo con valor alto: el reactivo es consistente con el instrumento como un todo (ya que es una función de todos los reactivos dentro del instrumento). Reactivo con un valor bajo: considerar eliminarlo.

69 Construcción y refinamiento del instrumento
Procedimiento B. Índice de discriminación (D) Compara: la proporción de respondientes con puntajes altos que contestaron el reactivo correctamente la proporción de respondientes con puntajes altos que contestaron el reactivo correctamente contra Preferir reactivos con valores D altos.

70 Construcción y refinamiento del instrumento
Discriminación de los reactivos Grado en el que un reactivo diferencia a las personas que puntúan alto de aquellas que puntúan bajo en el instrumento total. Evalúa el grado en el que un reactivo podría afectar la consistencia interna del instrumento. Preferir reactivos con altos valores de discriminación.

71 Construcción y refinamiento del instrumento
Respon-diente Reactivos Total 1 2 3 4 5 María Daniel Jaime Roberto Antonio Esteban Zoraya Emilio Fernando Claudia 1º. Identificar un % de personas con los puntajes más altos (por ejemplo, 25% superior -es arbitrario-), y el mismo % de personas con los puntajes más bajos. + + +: 25% superior + - +: 25% inferior - -

72 Construcción y refinamiento del instrumento
2º. Dentro de cada grupo, calcular el % de personas que contestaron el reactivo correctamente. %alto: 3 / 3 = 1.00 %bajo: 2 / 3 = .66 3º. Calcular el índice de discriminación. D = %alto - %bajo D = D = .33 Reac-tivo 1 Total María 1 5 Daniel Jaime 4 Roberto 3 Antonio 2 Esteban Zoraya Emilio Fernando Claudia

73 Construcción y refinamiento del instrumento
Procedimiento C Alpha de Cronbach si el reactivo se eliminara Si se eliminara el reactivo 1, la consistencia interna se elevaría de .59 a .72. La confiabilidad disminuiría si cualquiera de los otros reactivos fuera eliminado. Alpha de Cronbach .590 Alpha de Cronbach si se elimina el reactivo Reactivo 1 .721 Reactivo 2 .492 Reactivo 3 Reactivo 4 .366 Reactivo 5 .517

74 Construcción y refinamiento del instrumento
2o. paso Análisis de la varianza del reactivo La varianza y la media del reactivo afectan la calidad psicométrica del instrumento. Están relacionadas con el grado en el que el reactivo es consistente con los demás reactivos.

75 Construcción y refinamiento del instrumento
Varianza La r refleja el grado en el que la variabilidad dentro de una variable es consistente con la variabilidad dentro de la otra variable

76 Construcción y refinamiento del instrumento
La correlación entre dos variables es una transformación de la covarianza entre las dos variables. Si una variable no tiene variabilidad, no estará correlacionada con otra variable (si no hay variabilidad, no habrá r).

77 Construcción y refinamiento del instrumento
La varianza de un reactivo tienen implicaciones para: sus correlaciones inter-reactivo su correlación reactivo-total su valor “alfa si el reactivo se elimina”. Es menos probable que los reactivos con variabilidad limitada tengan buenas características correlacionales.

78 Construcción y refinamiento del instrumento
3er. paso Análisis de la media del reactivo Media La media de un reactivo también da información sobre su variabilidad.

79 Construcción y refinamiento del instrumento
El puntaje máximo (techo) y el puntaje mínimo (piso) de un instrumento constriñen los puntajes totales y tienen implicaciones para: la media del reactivo la varianza del reactivo los valores de las covarianzas los valores de las correlaciones

80 Construcción y refinamiento del instrumento
Un reactivo tendría una media de 1 sólo si todos los respondientes hubiesen contestado con 1, es decir, no tendría variabilidad, por tanto, sería un reactivo pobre. Por tanto, reactivos con medias extremas tendrán variabilidad limitada y pobre calidad psicométrica.

81 Construcción y refinamiento del instrumento
La media puede interpretarse como la “dificultad” del reactivo. Para reactivos binarios, la Teoría Clásica de los Tests sugiere dificultades aproximadas de .50, para asegurar una máxima variabilidad. Media Desv. estándar N Reactivo 1 .60 .516 10 Reactivo 2 .50 .527 Reactivo 3 Reactivo 4 .40 Reactivo 5 .80 .422 Reactivo más fácil Reactivo más difícil