Tema 5.1 Evaluación del instrumento de medida:

Presentación del tema: "Tema 5.1 Evaluación del instrumento de medida:"— Transcripción de la presentación:

1 Tema 5.1 Evaluación del instrumento de medida:
PSICOMETRÍA Tema 5.1 Evaluación del instrumento de medida: FIABILIDAD i Salvador Chacón Moscoso Susana Sanduvete Chaves Agradecemos a Francisco Pablo Holgado Tello su inestimable colaboración en la elaboración de este material

2 El problema del error de medida. El modelo lineal de Spearman.
ÍNDICE El problema del error de medida. El modelo lineal de Spearman. Tests paralelos. Condiciones de paralelismo. Interpretación teórica del coeficiente de fiabilidad. Tipos de errores de medida. Factores que afectan a la fiabilidad. 6.1. Longitud del test. 6.2. Variabilidad de la muestra. La fiabilidad como equivalencia y como estabilidad de las medidas. 7.1. Método de las formas paralelas. 7.2. Método test-retest. Bibliografía. El tema 4, es del primero del bloque de TCT, aborda los conceptos fundamentales sobre la fiabilidad de las puntuaciones. La organización del tema es la recomendada por el Instituto Universitario de Educación a Distancia para la organización de los contenidos en un proceso de enseñanza-aprendizaje a distancia. Concretamente, en primer lugar aparecen las orientaciones didácticas donde se marcarán los objetivos, y se resalta la importancia del tema en el conjunto de la asignatura. A continuación aparece, un bloque central con los contenidos específicos del tema, y para finalizar veremos algunos ejercicios de autocomprobación y se mostrará bibliografía relevante comentada.

3 1. EL PROBLEMA DEL ERROR DE MEDIDA
Error de medida: uno de los requisitos fundamentales en cualquier proceso de medida es la precisión. “Diferencia entre la puntuación empírica obtenida por un participante en un test y su puntuación verdadera, entendiendo por test cualquier instrumento de medición psicológica”.  - Si aplicamos n veces el mismo test a un mismo participante ¿Qué ocurre? las puntuaciones obtenidas nunca serán iguales, aunque sí parecidas las puntuaciones estarán afectadas por errores de medida aleatorios (motivación del participante, estado de ánimo,...) que provocan que la puntuación empírica sea distinta al supuesto valor verdadero del participante. -¿Cómo podemos conocer el valor real del participante en el constructo que estamos midiendo?  Modelo Lineal de Spearman (TCT): Uno de los requisitos fundamentales en cualquier proceso de medición es la precisión o fiabilidad de los instrumentos de medida. Es decir, si medimos dos veces la misma tubería deberíamos obtener dos medidas muy similares. La diferencia entre lo que realmente mide la tubería y la medida que obtenemos sería el error de medida. Si aplicamos n veces el mismo test a un participante es muy probable que las puntuaciones obtenidas por el participante serán muy parecidas pero nunca iguales. Qué es lo más probable que ocurra?; probablemente nunca serán iguales, aunque si parecidas. Ello, implica que las puntuaciones estarán afectadas por errores de medida aleatorios (motivación del participante, estado de ánimo, o que halla dormido bien la noche anterior), dichos errores provocan que la puntuación empírica sea distinta al supuesto valor verdadero del participante. Una pregunta clave a la que debemos dar respuesta mediante el estudio de la fiabilidad, es ¿Cómo podemos conocer el valor real del participante en el constructo que estamos midiendo? Para ello, se han desarrollado distintas teorías que abordan esta problemática. Entre ellas, destaca la TCT basada en el modelo lineal propuesto por Spearman.

4 2. EL MODELO LINEAL DE SPEARMAN.
La puntuación observada por un participante en un test es igual a la suma de dos componentes: su verdadero valor en el rasgo medido más el error de medida cometido X = V + E El modelo lineal de Spearman se basa en la simple, pero a la vez, potente idea de que la puntuación obtenida por un participante en un test (X) puede considerarse como una combinación lineal de dos componentes: por una parte la puntuación verdadera del participante en el rasgo que mide el test (V), y por otra el error de medida cometido (E).

5 2. EL MODELO LINEAL DE SPEARMAN. Supuestos
1. El valor esperado de la variable aleatoria “error de medida”, es igual a cero, para una población medida con el mismo test, o para una repetición infinita de medidas sobre la misma persona 2. las puntuaciones verdaderas y los errores de medida no están correlacionados (supuesto importante para posteriores derivaciones)  no existe un patrón sistemático de errores positivos o negativos. El modelo lineal de Spearman se basa en la simple, pero a la vez, potente idea de que la puntuación obtenida por un sujeto en un test (X) puede considerarse como una combinación lineal de dos componentes: por una parte la puntuación verdadera del sujeto en el rasgo que mide el test (V), y por otra el error de medida cometido (E). Los supuestos del modelo son los siguientes: 1. El supuesto 1, establece que el valor esperado de la variable aleatoria “error de medida” es igual a cero. El supuesto 2 es crítico para posteriores derivaciones en TCT. Se supone que las puntuaciones verdaderas y los errores de medida en la población de sujetos examinados no están correlacionadas. Ello implica que no exista un patrón sistemático de errores positivos o negativos entre los sujetos mas y/o menos competentes. Sin embargo, este supuesto se puede violar ante la simple situación en la que sujetos con una aptitud baja copien las respuestas de sujetos más competentes.

6 2. EL MODELO LINEAL DE SPEARMAN. Supuestos
3. Los errores de medida de dos tests distintos no están correlacionados. Este supuesto no parece razonable en puntuaciones que se vean afectadas por factores tales como la fatiga, práctica o estado de ánimo (Allen y Yen, 1979). 4. Los e de un test no están correlacionados con las puntuaciones v de un segundo test. El siguiente supuesto implica que los errores de medida de dos tests distintos no estén correlacionados. Es decir, si las puntuaciones de un sujeto en un test están afectadas por errores positivos, bajo este supuesto, ello no hace más probable que las puntuaciones obtenidas en otro test también estén sesgadas en este sentido. Sin embargo, este supuesto no parece razonable en puntuaciones que se vean afectadas por factores tales como la práctica, fatiga, o estado de ánimo de los sujetos, por ejemplo (Allen y Yen, 1979). El supuesto del punto 4 hace referencia a que los errores de medida de un test no han de correlacionar con las puntuaciones verdaderas de un segundo tests. Este supuesto sería susceptible de no cumplirse si uno de los test mide alguna dimensión que influye en los errores del otro (Martínez-Arias, 1995). Es decir, la TCT, considera el error de medida como una desviación aleatoria, no sistemática de la puntuación verdadera, y por eso no ha de correlacionar con la puntuación verdadera. La TCT considera el error de medida como una desviación aleatoria, no sistemática, de la puntuación verdadera.

7 2. EL MODELO LINEAL DE SPEARMAN. Derivaciones
Derivaciones sobre esperanzas, varianzas (VAR) y correlaciones: 1. Dado que el E(Ei)=0, el valor esperado de las X, es igual al de las puntuaciones V  las medias poblacionales son iguales. 2. Dado que el E(Ei)=0, y que los errores son independientes de las puntuaciones verdaderas, la covariación entre las puntuaciones verdaderas y los errores es cero. Los supuestos del modelo lineal de Spearman conllevan un gran número de deducciones sobre las esperanzas, varianzas y covarianzas que nos van a permitir construir un modelo a partir del que se pueda estimar el valor verdadero de los sujetos en el rasgo medido. 1. Bajo la primera deducción se establece que el valor esperado de la puntuación verdadera es igual al valor esperado de la puntuación empírica. Lo que implica que las medias poblacionales también son iguales. 2. Mediante la segunda deducción se establece que la covarianza entre los errores y las puntuaciones verdaderas es cero. Es decir, las puntuaciones verdaderas son independientes de los errores aleatorios de medida.

8 2. EL MODELO LINEAL DE SPEARMAN. Derivaciones
3. Dado que las V y los E son independientes, la VAR de X es igual a la suma de la VAR de V más la VAR de E. 4. Dado que la COV entre los E y V es cero, la covarianza (COV) entre las X y las V es la VAR de las puntuaciones V. 3. La varianza de las puntuaciones empíricas es igual la varianza de la puntuación verdadera más la del error. Dado que la relación entre las verdaderas y los errores de medida es cero. 4. Mediante la cuarta deducción se entiende que la covarianza entre las puntuaciones observadas y las verdaderas es igual a la varianza de las puntuaciones verdaderas. Dado que la esperanza de los errores y la covarianza entre los errores y las puntuaciones verdaderas es cero.

9 2. EL MODELO LINEAL DE SPEARMAN. Derivaciones
5. Dado que la COV entre X y V es igual a la VAR de V, la correlación entre las X y V puede expresarse como la proporción de variabilidad de V sobre la de X. Índice de fiabilidad Si elevamos al cuadrado el índice de fiabilidad, obtenemos el coeficiente de fiabilidad Representa la proporción de VAR de X, explicada por su relación lineal con V. 5. Dado que la covarianza entre las puntuaciones observadas y verdaderas, es igual a la varianza de las verdaderas, la correlación entre las X y las V, puede expresarse como la proporción de variabilidad de las puntuaciones verdaderas sobre las empíricas. A ello, se le denomina índice de fiabilidad. Y dado que es habitual expresar en términos matemáticos la correlación al cuadrado. Si elevamos al cuadrado el índice, obtenemos el coeficiente de fiabilidad que representa la proporción de varianza de las puntuaciones observadas, explicada por su relación lineal con las verdaderas. A ello, se le denomina coeficiente de fiabilidad.

10 2. EL MODELO LINEAL DE SPEARMAN. Derivaciones
6. La correlación al cuadrado entre los E y X es igual a la VAR de las X, no explicada por su relación con V, sino a partir de su relación lineal con E. 7. A partir de la formulación anterior, también se puede expresar el coeficiente de fiabilidad como 1 menos la correlación al cuadrado entre X y E. 6. La correlación al cuadrado entre los errores y las puntuaciones observadas es igual a la varianza de las puntuaciones observadas, no explicada por su relación con las verdaderas, sino a partir de su relación lineal con los errores. 7. A partir de la formulación anterior, también se puede expresar el coeficiente de fiabilidad, como 1 menos la correlación al cuadrado entre las X, y los E. En la fórmula se puede apreciar que cuando la varianza de los errores sea pequeña, el coeficiente de fiabilidad será elevado. Cuando la VAR de los errores sea pequeña, el coeficiente de fiabilidad será elevado

11 2. EL MODELO LINEAL DE SPEARMAN. Ejemplos
1. La razón entre la desviación típica de los errores y la desviación típica de las puntuaciones empíricas es ¿Cuál es el valor del coeficiente de fiabilidad? 2. Calcular el coeficiente de fiabilidad de un test sabiendo que la VAR de las puntuaciones empíricas es igual a 36 y el error típico de medida es 3. 3. ¿Cuál es el valor del coeficiente de fiabilidad si la proporción de la VAR verdadera que hay en la VAR empírica de un test es 0.9?

12 2. EL MODELO LINEAL DE SPEARMAN. Ejemplos
1. 2. 3.

13 3. TESTS PARALELOS. CONDICIONES DE PARALELISMO
La imposibilidad de calcular empíricamente el coeficiente de fiabilidad, dado que desconocemos V, y por tanto los E, condujo a Spearman a definir el concepto de tests paralelos. Sean dos tests X y X´ que cumplen los supuestos anteriores; se denomina paralelos si: 1. Las puntuaciones verdaderas son iguales en ambos tests. Es decir: La imposibilidad de calcular empíricamente el coeficiente de fiabilidad, dado que desconocemos V, y los E, condujo a Spearman a plantearse el concepto de test paralelos: Por ello, sean dos tests X y X`que cumplen los supuestos anteriores, se denomina paralelos si: 1. Las puntuaciones verdaderas son iguales en ambos tests. 2. Si la varianza de los errores de medida es igual en ambos tests. 2. La VAR de los errores de medida es igual en ambos tests:

14 3. TESTS PARALELOS.N CONDICIONES DE PARALELISMO. Deducciones
Dado que la E(Ei)=0, la media de las puntuaciones empíricas obtenidas en dos tests supuestamente paralelos es igual: 2. Dado que la VAR de los E es la misma, la VAR de las X obtenidas en dos tests paralelos también son iguales: De nuevo, a partir de estos dos supuestos básicos se obtienen una serie de deducciones importantes que nos van a permitir la estimación de las puntuaciones verdaderas de los sujetos. 1. En primer lugar, la media de las puntuaciones empíricas obtenidas en dos tests supuestamente paralelos es igual, dado que la esperanza matemática de los errores de medida es igual a cero. 2. En segundo lugar, dado que la varianza de los errores es la misma, la varianza de las puntuaciones empíricas obtenidas en dos tests paralelos son iguales.

15 3. TESTS PARALELOS. CONDICIONES DE PARALELISMO. Deducciones
3. La correlación entre las puntuaciones obtenidas en dos tests paralelos es igual al cuadrado de la correlación entre las puntuaciones empíricas y las verdaderas: Consecuencias prácticas, ya que podemos expresar el coeficiente de fiabilidad como la correlación entre dos tests paralelos 3. La deducción número 3 tiene importantes consecuencias prácticas ya que por definición la correlación entre las puntuaciones observadas y verdaderas nunca puede ser calculada, ahora bien, si disponemos de dos medidas paralelas, podríamos expresar el índice de fiabilidad mediante la correlación de ambas. 4. Por ello, dado dos o más tests paralelos, las intercorrelaciones entre cada uno de ellos son iguales. 4. Dados dos o más tests paralelos, las intercorrelaciones entre cada uno de ellos son iguales:

16 3. TESTS PARALELOS. CONDICIONES DE PARALELISMO. Deducciones
Una vez estimado el coeficiente de fiabilidad se puede estimar las VAR de V y E. 5. Despejando la VAR de V de la ecuación anterior, encontramos que la VAR de las puntuaciones verdaderas es igual al producto de la VAR de las empíricas por la correlación entre las medidas paralelas: 6. Despejando de la anterior, encontramos que la VAR de E es igual al producto de la VAR de X por uno menos la correlación entre las medidas paralelas. 5. Despejando de la ecuación anterior, encontramos que el quinto supuesto establece que la varianza de las puntuaciones verdaderas es igual al producto de las empíricas por la correlación entre las medidas de dos tests supuestamente paralelos. 6. Despejando de la ecuación anterior, encontramos que la VAR de los errores es igual al producto de la varianza de las puntuaciones empíricas por uno. A este valor se le denomina error típico de medida Error típico de medida

17 3. TESTS PARALELOS. CONDICIONES DE PARALELISMO. Diagrama causal
1. Puntuación verdadera 2. Puntuación observada en test Y1, supuesto paralelo a Y2 3. Error de medida 4. Cambio en Y por cada unidad de cambio en eta. Bajo esta lógica, dos tests son estrictamente paralelos si: Una forma intuitiva de presentar el concepto de paralelismo de dos tests, es mediante el siguiente diagrama. Donde η, hace referencia a la puntuación verdadera; Y a la puntuación observada en dos tests distintos (supuestos paralelos); ε al error de medida; y λ a la saturación factorial o coeficiente de regresión que explica el cambio en Y por cada unidad de cambio en η. Bajo esta lógica, dos tests son paralelos si lambda sub i, es igual a lambda sub jota, para todo i distinto de j. Y si los errores son iguales para todo i distinto de jota.

18 3. TESTS PARALELOS. CONDICIONES DE PARALELISMO. Diagrama causal
3. TESTS PARALELOS. CONDICIONES DE PARALELISMO. Diagrama causal. Tests estrictamente paralelos Es decir, Y1 e Y2 son estrictamente paralelos si la relación que se establece entre V y la Y es exactamente igual, así como las VAR de sus correspondientes errores de medida. 1. Bajo los supuestos de la TCT, obtenemos que la COV entre ambos tests es igual a la VAR de la puntuación verdadera. 2. La VAR de Y es igual a suma de la VAR de V más la del E. Es decir, en este caso Y1 e Y2 son paralelos si la relación que se establece entre la puntuación verdadera y la observada, es exactamente igual, así como las varianzas de sus correspondientes errores de medida. 1. Bajo los supuestos de la TCT vistos anteriormente, obtenemos que la covarianza entre las puntuaciones de Y1 e Y2 es igual a la varianza de la puntuación verdadera. 2. Y, que la varianza de las puntuaciones observadas es igual a la suma de la varianza de las puntuaciones verdaderas más la del error. Finalmente, la matriz de varianza-covarianza implícita bajo el supuesto de tests estrictamente paralelos, tendría en la diagonal las varianzas de cada una de las variables, mientras que fuera de la diagonal encontramos las COV, que como hemos visto, es igual a la VAR de la puntuación verdadera. 1. VAR de cada Y 2. COV que es igual a la VAR de V

19 3. TESTS PARALELOS. CONDICIONES DE PARALELISMO
3. TESTS PARALELOS. CONDICIONES DE PARALELISMO. Medidas Tau-equivalentes Medidas TAU-EQUIVALENTES ¿Realmente existen los tests paralelos o se trata de una quimera teórica? Aun en el difícil caso de que se obtengan V iguales, resulta difícil que su E sea exactamente igual  Podemos flexibilizar este supuesto y obtenemos medidas Tau-equivalentes Sin embargo, bien podríamos cuestionarnos si realmente existen los tests paralelos o sin embargo se trata de una quimera teórica? Y es que aun en el difícil caso de que se obtengan puntuaciones V, realmente iguales, resultaría difícil que su término de error, sea exactamente igual. Lo que implica que podemos flexibilizar este supuesto, en cuyo caso obtendríamos medidas Tau-equivalentes. En ellas, cada lambda sub i es igual a cada lambda subjota, para todo i distinto de jota. Pero cada término de error subi no tiene porqué ser igual al subjota para todo i distinto de jota.

20 Medidas TAU-EQUIVALENTES
3. TESTS PARALELOS. CONDICIONES DE PARALELISMO. Medidas Tau-equivalentes Medidas TAU-EQUIVALENTES 1´. Bajo los supuestos de la TCT, volvemos a obtener que la COV entre ambos tests es igual a la VAR de V. 2´. Mientras que en el segundo supuesto, la VAR de Y ahora tendría un término de error distinto específico para cada test. En el caso de las medidas tau-equivalentes, 1. Bajo los supuestos de la TCT, volvemos a obtener que la COV entre ambos tests es igual a la VAR de las puntuaciones verdaderas. 2. Mientras que, en el segundo supuesto encontramos que la VAR de las puntuaciones observadas ahora tiene un término de error específico para cada tests. Con lo que la matriz de VAR-Cov implícita tiene en la diagonal las varianzas de cada tests, con su término de error específico y fuera de la diagonal la COV, que vimos que era igual la VAR de la puntuación verdadera. 1. VAR de cada Y, con su E específico 2. COV que es igual a la VAR de V

21 Si flexibilizamos aún más los supuestos obtenemos tests congenéricos.
3. TESTS PARALELOS. CONDICIONES DE PARALELISMO. Medidas Congenéricas Tests CONGENÉRICOS Si flexibilizamos aún más los supuestos obtenemos tests congenéricos. Implica que las V obtenidas con dos tests son transformaciones lineales unas de otras Aun podemos seguir flexibilizando los supuestos de paralelismo y obtener tests congenéricos. Se asume que ni los parámetros lambda, ni los términos de error son iguales. Implica que las puntuaciones verdaderas, obtenidas con dos tests son transformaciones lineales unas de otras.

22 3. TESTS PARALELOS. CONDICIONES DE PARALELISMO. Medidas Congenéricas
Tests CONGENÉRICOS 1´´. Bajo los supuestos de la TCT, ahora la COV entre Y es el producto de las respectivas Lambdas y de la VAR de V. 2´´. Mientras que la VAR de Y será igual al producto de lambda al cuadrado por la VAR de V más la VAR de E. 1. De nuevo, bajo los supuestos de la TCT, ahora la COV entre las puntuaciones observadas, es el producto de las respectivas lambdas por la varianza de las puntuaciones verdaderas 2. Mientras que la varianza de las puntuaciones del tests es igual al producto de la varianza de las puntuaciones verdaderas por el coeficiente de regresión al cuadrado más la varianza del error de medida.

23 4. INTERPRETACIÓN TEÓRICA DEL COEFICIENTE DE FIABILIDAD
…la correlación entre las puntuaciones empíricas obtenidas por una muestra de participantes en dos formas paralelas del test. Cociente entre la VAR de V y la de X  la proporción de X debida a V Una vez aclarado el concepto de tests paralelos. Entendemos la fiabilidad como la correlación entre las puntuaciones empíricas obtenidas por una muestra de participantes en dos formas paralelas del test. Se puede expresar también como el cociente entre la varianza de las puntuaciones verdaderas y las puntuaciones empíricas. Por tanto, se puede interpretar como la proporción de las puntuaciones empíricas que se debe a la varianza de las puntuaciones verdaderas. El coeficiente de fiabilidad está comprendido entre cero y uno. A medida que se aproxima a 1 implica que las puntuaciones empíricas son iguales a las verdaderas, por tanto, la fiabilidad mejora y los errores de medida disminuyen. Por el contrario a medida que se aproxima a 0, implica que la varianza de los errores es mayor. 2. Las V se alejan de las X  E aumenta 1. Las V se acercan a las X  E disminuye

24 4. INTERPRETACIÓN TEÓRICA DEL COEFICIENTE DE FIABILIDAD
Las medidas no tienen E X=V para todos los participantes La VAR de X es igual a la de V. Todas las diferencias en X reflejan diferencias en V La correlación entre X y V es = 1 La correlación entre X y E es = 0 La X incluye sólo E X=E para todos los participantes La VAR de X es igual a la de E. Todas las diferencias en X reflejan errores de medida La correlación entre X y V es = 0 La correlación entre X y E es = 1 De esta forma, cuando el coeficiente de fiabilidad es perfecto. Ello implica que: 1. Las medidas no tienen error. 2. Las puntuaciones observadas coinciden con las verdaderas para todos los participantes. 3. La varianza de las puntuaciones observadas es igual a la de las verdaderas. 4. Todas las diferencias en X, reflejas diferencias en V. 5. La correlación entre las puntuaciones observadas y verdaderas es igual a 1. 6. Y la correlación entre las puntuaciones observadas y los errores de medida es igual a cero. Por el contrario, cuando la fiabilidad es nula o igual a cero, las implicaciones son las contrarias. Es decir, Las puntuaciones observadas solo incluyen errores de medida. Las puntuaciones observadas coinciden con los errores de medida. La varianza de las puntuaciones observadas es igual a la de los errores de medida. Todas las diferencias en X, reflejan exclusivamente errores de medida. La correlación entre las puntuaciones observadas y las verdaderas es igual a cero. Mientras que la correlación entre las puntuaciones observadas y los errores es igual a uno.

25 4. INTERPRETACIÓN TEÓRICA DEL COEFICIENTE DE FIABILIDAD. Ejemplo
Ejemplo. Calcular el coeficiente de fiabilidad de un test de razonamiento abstracto, sabiendo que la VAR verdadera de dicho test es el 80% de su VAR empírica. Si por ejemplo, nos preguntan que calculemos el coeficiente de fiabilidad de un test de razonamiento abstracto sabiendo que la VAR verdadera de dicho test es el 80% de su varianza empírica. Aplicando la expresión del coeficiente de fiabilidad, obtenemos que el 80 por ciento de la varianza de las puntuaciones empíricas es verdadera medida del rasgo, y que el 20 por ciento restante se debe a los errores de medida. En este sentido, el coeficiente de fiabilidad también se puede expresar en función de la varianza de los errores, tal y como se obtiene en la deducción número 7.

26 4. INTERPRETACIÓN TEÓRICA DEL COEFICIENTE DE FIABILIDAD. Ejemplo
Es decir, el 80% de la VAR de las puntuaciones empíricas es verdadera medida del rasgo. El coeficiente de fiabilidad también se puede expresar en función de la VAR de los errores (deducción número 7). Si por ejemplo, nos preguntan que calculemos el coeficiente de fiabilidad de un test de razonamiento abstracto sabiendo que la VAR verdadera de dicho test es el 80% de su varianza empírica. Aplicando la expresión del coeficiente de fiabilidad, obtenemos que el 80 por ciento de la varianza de las puntuaciones empíricas es verdadera medida del rasgo, y que el 20 por ciento restante se debe a los errores de medida. En este sentido, el coeficiente de fiabilidad también se puede expresar en función de la varianza de los errores, tal y como se obtiene en la deducción número 7.

27 4. INTERPRETACIÓN TEÓRICA DEL COEFICIENTE DE FIABILIDAD. Ejemplo 2
Ejemplo. Podemos obtener xx’ si a 1 le restamos la VAR de las puntuaciones empíricas que se debe al error de medida Despejando en la ecuación anterior, podemos obtener el error típico de medida: medida grupal del error, es decir la diferencia entre X e V para la muestra utilizada Siguiendo con el ejemplo anterior, podemos obtener el coeficiente de fiabilidad si a 1 le restamos la varianza de las puntuaciones empíricas que se debe al error de medida. En este caso, sería 1 menos 0.20, obteniendo igualmente que el coeficiente de fiabilidad es .80. De la ecuación anterior podemos obtener el error típico de medida que supone una medida grupal del error, es decir, de la diferencia entre la puntuación empírica y verdadera para la muestra de referencia utilizada.

28 5. TIPOS DE ERRORES DE MEDIDA
1. Error de medida: diferencia entre la puntuación empírica de un participante y su puntuación verdadera. El error típico de medida es la desviación típica de los errores de medida de todos los participantes de la muestra  medida grupal del error 2. Error de estimación de la puntuación verdadera: diferencia entre V de un participante y su puntuación verdadera pronosticada El error típico de estimación de la puntuación verdadera 1. El error de medida de un participante se define como la diferencia entre la puntuación empírica del participante. A la desviación típica de los errores de medida se le denomina error típico de medida. Mediante él, estamos llevando a cabo una medida grupal del error puesto que se calcula para todos los participantes de la muestra. 2. Se denomina error de estimación de la puntuación verdadera a la diferencia entre la puntuación verdadera de un participante y su puntuación verdadera pronosticada.

29 5. TIPOS DE ERRORES DE MEDIDA
3. Error de sustitución: diferencia entre la puntuación obtenida por un participante en un test y la obtenida en otro paralelo. El error típico de sustitución 4. Error de predicción: diferencia entre las puntuaciones obtenidas por un participante en un test, y su puntuación pronosticada en ese mismo test. 3. Se define el error de sustitución como la diferencia entre las puntuaciones obtenidas por un participante en un test, y las obtenidas en otro test paralelo. El error típico de sustitución será la desviación típica de los errores de sustitución. 4. El error de predicción es la diferencia entre las puntuaciones obtenidas por un participante en un test, y su puntuación pronosticada en ese mismo test. Y a la desviación típica de todos esos errores se le denomina, error típico de predicción. El error típico de predicción

30 La fiabilidad de un test depende de factores como:
6. FACTORES QUE AFECTAN A LA FIABILIDAD La fiabilidad de un test depende de factores como: La longitud del propio test. Variabilidad de la muestra. Decir que la precisión del instrumento depende de la variabilidad de la muestra, implica que la precisión del instrumento depende del objeto medido, lo que no resulta deseable en ningún proceso de medición La fiabilidad de un test depende de factores como la variabilidad de la muestra, la longitud del propio test, o las características de los ítems que la configuran. En este tema nos vamos a dedicar exclusivamente a los dos primeros, dejando el tercero para un tema posterior dedicado a la calidad métrica de los ítems. Si analizamos la cuestión con más detalle, si la precisión del instrumento depende de la variabilidad de la muestra es cómo decir que la longitud de un metro va a depender del tipo de tubería que esté midiendo. Como se comprenderá esta circunstancia no es deseable, ya que implica que la precisión del instrumento de medida va a depender de las características del objeto medido.

31 6.1. FACTORES QUE AFECTAN A LA FIABILIDAD. La longitud del test
A mayor número de ítems, mayor fiabilidad  Cuantos más ítems se utilicen, mayor será la información acerca del rasgo a medir La relación entre la fiabilidad y la longitud viene determinada por la Fórmula de Spearman-Brown RXX’ = coeficiente de fiabilidad del test acortado o alargado rXX’= coeficiente de fiabilidad del test original n = número de veces que se ha alargado el test: n=EF/EI; donde EF = número de elementos finales; EI = número de elementos iniciales Uno de los elementos de los que depende la fiabilidad es de la longitud, es decir, el número de ítems que lo componen. Cuantos más ítems representativos del rasgo a medir mayor será la información que obtengamos sobre el atributo que estemos estudiando y en consecuencia menor número de errores se cometerán al estimar el parámetro de interés. La relación entre la fiabilidad y la longitud viene determinada por la fórmula de Spearman-Brown. Donde

32 6.1. FACTORES QUE AFECTAN A LA FIABILIDAD.
La longitud del test Ejemplo. Se aplica un test compuesto por 50 ítems a una muestra de participantes y se obtiene un coeficiente de fiabilidad de 0,60. ¿Cuál será el coeficiente de fiabilidad si duplicamos la longitud del test? ¿Y si multiplicamos por 6 el número de ítems original? Así por ejemplo, si se aplica un test compuesto por 50 ítems a una muestra de participantes y se obtiene un coeficiente de fiabilidad de 0.60, ¿Qué sucede al incrementar dos veces la longitud del test? Al aplicar la fórmula observamos que si aumenta la longitud del test a 100 ítems, la fiabilidad del mismo sería 0.75. Igualmente si lo aumentamos 6 veces la longitud, el coeficiente aumentaría hasta 0.9. 3. De esta forma cuando n tiende a infinito, el coeficiente de fiabilidad tiende a uno, llegando a este límite si se añadiesen infinitos ítems

33 6.1. FACTORES QUE AFECTAN A LA FIABILIDAD. La longitud del test
1. Observamos que el coeficiente de fiabilidad pasa de 0,60 a 0,75 2. Si aumentamos 6 veces la longitud, obtenemos un coeficiente de 0,9 Así por ejemplo, si se aplica un test compuesto por 50 ítems a una muestra de sujetos y se obtiene un coeficiente de fiabilidad de 0.60, ¿Qué sucede al incrementar dos veces la longitud del test? Al aplicar la fórmula observamos que si aumenta la longitud del test a 100 ítems, la fiabilidad del mismo sería 0.75. Igualmente si lo aumentamos 6 veces la longitud, el coeficiente aumentaría hasta 0.9. 3. De esta forma cuando n tiende a infinito, el coeficiente de fiabilidad tiende a uno, llegando a este límite si se añadiesen infinitos ítems 3. Cuando n tiende a infinito, el coeficiente tiende a 1; llegando a este límite si se añadiesen infinitos ítems

34 6.1. FACTORES QUE AFECTAN A LA FIABILIDAD.
La longitud del test En la gráfica se aprecia que a medida que aumenta n, el coeficiente aumenta, pero: 1. Al principio, el aumento es más pronunciado para tests más fiables 2. A medida que n se incrementa el aumento se suaviza 3. El incremento es menor a medida que rxx’ disminuye Mediante la siguiente gráfica se observa cómo efectivamente a medida que aumenta la longitud del test, también aumenta el coeficiente de fiabilidad. En un primer momento, el aumento es más pronunciado para los test más fiables desde un principio, pero a medida que n se incrementa, el aumento se suaviza. Por tanto, una pregunta a responder por un constructor de un tests, es

35 6.1. FACTORES QUE AFECTAN A LA FIABILIDAD.
La longitud del test ¿Hasta dónde resulta rentable aumentar el número de ítems para obtener una fiabilidad significativamente mejor que la original?  ¿Cuántos ítems paralelos habría que añadir para alcanzar un determinado valor del coeficiente de fiabilidad? Spearman-Brown permite estimar el n que sería necesario para alcanzar un determinado valor del coeficiente de fiabilidad Para el test del ejemplo, queremos alcanzar un coeficiente de fiabilidad de 0,90. ¿Cuántos elementos paralelos abría que añadir? La gráfica anterior sugiere la pregunta de ¿hasta dónde resulta rentable aumentar el número de ítems para obtener una fiabilidad significativamente mejor que la original? lo que implica preguntarse ¿cuántos ítems paralelos habría que añadir para alcanzar un determinado valor del coeficiente de fiabilidad? Una interesante aplicación de la fórmula de Spearman-Brown es que permite estimar el número de ítems paralelos que sería necesario añadir para alcanzar un determinado valor del coeficiente de fiabilidad. Así por ejemplo, para el test del ejemplo anterior, nos podríamos plantear que queremos alcanzar un coeficiente de fiabilidad de 0.90,...¿Cuántos elementos paralelos abría que añadir?... De nuevo aplicando la fórmula encontramos que habría que aumentar la longitud 6 veces, lo que equivale a un test de 300 elementos.

36 6.1. FACTORES QUE AFECTAN A LA FIABILIDAD. La longitud del test
Habría que aumentar la longitud 6 veces, lo que equivale a un test de 300 elementos. Por lo tanto, habría que añadir 250 ítems. La gráfica anterior sugiere la pregunta de ¿hasta dónde resulta rentable aumentar el número de ítems para obtener una fiabilidad significativamente mejor que la original? lo que implica preguntarse ¿cuántos ítems paralelos habría que añadir para alcanzar un determinado valor del coeficiente de fiabilidad? Una interesante aplicación de la fórmula de Spearman-Brown es que permite estimar el número de ítems paralelos que sería necesario añadir para alcanzar un determinado valor del coeficiente de fiabilidad. Así por ejemplo, para el test del ejemplo anterior, nos podríamos plantear que queremos alcanzar un coeficiente de fiabilidad de 0.90,...¿Cuántos elementos paralelos abría que añadir?... De nuevo aplicando la fórmula encontramos que habría que aumentar la longitud 6 veces, lo que equivale a un test de 300 elementos.

37 A mayor variabilidad, mayor fiabilidad.
6.2. FACTORES QUE AFECTAN A LA FIABILIDAD. La variabilidad de la muestra El coeficiente de fiabilidad puede variar en función de la mayor o menor homogeneidad del grupo. A mayor variabilidad, mayor fiabilidad. Fórmula que relaciona variabilidad con fiabilidad. El coeficiente de fiabilidad puede variar en función de la mayor o menor homogeneidad del grupo. La fórmula que relaciona ambos aspectos es la siguiente, y donde: La expresión por la que se pone en relación la variabilidad de la muestra con el coeficiente de fiabilidad es la siguiente, donde : S1= es la varianza empírica de las puntuaciones en el grupo 1. S2= es la varianza empírica de las puntuaciones en el grupo 2. R11= es el coeficiente de fiabilidad en el grupo 1. R22= es el coeficiente de fiabilidad en el grupo 2.

38 6.2. FACTORES QUE AFECTAN A LA FIABILIDAD.
La variabilidad de la muestra Ejemplo. Se ha aplicado un test a una muestra de participantes en donde la desviación típica de las puntuaciones empíricas es igual a 20. La razón entre la desviación típica de los errores y de las puntuaciones empíricas es 0,4. Además, se ha aplicado el test a otra muestra de participantes en la que la desviación típica de las puntuaciones empíricas es igual a 10. ¿Cuál será el valor del coeficiente de fiabilidad del test en esta segunda muestra? Así por ejemplo, imaginemos que se ha aplicado un test a una muestra de participantes en donde la desviación típica de las puntuaciones empíricas es igual a 20. La razón entre la desviación típica de los errores y de las puntuaciones empíricas es igual a 0.4. Aplicado el test a otra muestra de participantes en la que la desviación típica de las puntuaciones empíricas es igual a 10 ¿Cuál será el valor del coeficiente de fiabilidad del test? En primer lugar tendríamos que calcular el coeficiente de fiabilidad del test en la muestra original. En este caso, y recurriendo a expresiones vistas anteriormente encontramos que vale 0.84. Y en segundo lugar tendríamos que aplicar la fórmula para obtener el coeficiente de fiabilidad en el test aplicado en una muestra con una desviación típica menor. En este caso, encontramos que vale 0.36.

39 6.2. FACTORES QUE AFECTAN A LA FIABILIDAD.
La variabilidad de la muestra 1. Calcular el coeficiente de fiabilidad en la muestra original. Encontramos que vale 0,84 2. Aplicamos la fórmula y encontramos que vale 0,36 a menor variabilidad menor fiabilidad Así por ejemplo, imaginemos que se ha aplicado un test a una muestra de participantes en donde la desviación típica de las puntuaciones empíricas es igual a 20. La razón entre la desviación típica de los errores y de las puntuaciones empíricas es igual a 0.4. Aplicado el test a otra muestra de participantes en la que la desviación típica de las puntuaciones empíricas es igual a 10 ¿Cuál será el valor del coeficiente de fiabilidad del test? En primer lugar tendríamos que calcular el coeficiente de fiabilidad del test en la muestra original. En este caso, y recurriendo a expresiones vistas anteriormente encontramos que vale 0.84. Y en segundo lugar tendríamos que aplicar la fórmula para obtener el coeficiente de fiabilidad en el test aplicado en una muestra con una desviación típica menor. En este caso, encontramos que vale 0.36.

40 7. LA FIABILIDAD COMO EQUIVALENCIA Y COMO ESTABILIDAD DE LAS MEDIDAS
La estabilidad hace referencia a que cuando se evalúa un rasgo con el mismo test en distintas ocasiones, siempre y cuando el rasgo no haya cambiado, se deberían obtener puntuaciones muy similares. - Los principales métodos para el cálculo del coeficiente de fiabilidad y que se basan en la aplicación directa de la correlación son: de las formas paralelas test-retest En términos generales, encontramos que la estabilidad, hace referencia a que cuando se evalúa un rasgo con el mismo test en distintas ocasiones, siempre y cuando el rasgo no haya cambiado, se deberían obtener puntuaciones muy similares. Los dos principales métodos para el cálculo del coef. de fiabilidad, y que se basan en la aplicación directa del coef. De correlación son: El método de las formas paralelas. Y el método test-retest.

41 Construir dos formas paralelas de un test: X y X’.
7.1. LA FIABILIDAD COMO EQUIVALENCIA Y COMO ESTABILIDAD DE LAS MEDIDAS. Método de las formas paralelas Fases: Construir dos formas paralelas de un test: X y X’. Aplicar las dos formas del test a una muestra de participantes lo suficientemente amplia. Calcular el coeficiente de correlación de Pearson. Coeficiente de equivalencia (grado en que ambas formas son equivalentes) El método de las formas paralelas consiste en: Construir dos formas paralelas del un test, sea X e X`. Aplicar las dos formas paralelas a una muestra de participantes lo suficientemente amplia. Y finalmente, calcular el coeficiente de correlación de Pearson. Al coeficiente así calculado se le denomina también, coeficiente de equivalencia. Tiene la ventaja de que la posibilidad de ambas formas en el mismo momento aumenta enormemente las posibilidades de control de la situación. Sin embargo, presenta un grave inconveniente, y es que construir formas estrictamente paralelas es extremadamente difícil. Ventaja: la posibilidad de aplicar ambas formas en el mismo momento posibilita un mayor control de la situación. Inconveniente: es realmente difícil construir formas paralelas.

42 7.2. LA FIABILIDAD COMO EQUIVALENCIA Y COMO ESTABILIDAD DE LAS MEDIDAS. Método test-retest
Se aplica el mismo test a la misma muestra de participantes en dos ocasiones diferentes. A continuación, calculamos el coeficiente de correlación (coeficiente de estabilidad). -Ventaja: no requiere la elaboración de dos formas paralelas del mismo test. - Inconvenientes: - memorización de algunos ítems: provoca aumento irreal de la puntuación de los participantes. - intervalo temporal: es deseable incrementar el tiempo, pero se corre el peligro de que el rasgo cambie. - actitud de los participantes, ya que un cambio en la cooperación puede provocar una puntuación más alta o baja. -Mediante el método test-retest, se aplica el mismo test a la misma muestra de participantes en dos ocasiones distintas. A continuación se calcula el coeficiente de correlación. Al coeficiente de correlación así obtenido también se le llama coeficiente de estabilidad. Este método presenta la gran ventaja de que no requiere la elaboración de dos formas paralelas del mismo test. Sin embargo tiene tres grandes inconvenientes: 1. Puede afectar la memorización de algunos ítems por parte de los participantes, lo que estaría incrementando artificialmente el coeficiente de correlación. 2. Habría que determinar el intervalo temporal. En principio es deseable incrementarlo, sin embargo, un incremento demasiado grande hace más probable que el rasgo cambie debido a la influencia de factores sociales, o a la propia evolución del participante. 3. Otra cuestión es la propia actitud del participante. Un cambio en el grado de cooperación puede provocar una puntuación más alta o más baja.

43 8. BIBLIOGRAFÍA 1. Barbero, I., García, E. Vila, E., y Holgado, F.P. (2010). Psicometría: Problemas resueltos. Madrid: Sanz y Torres. Se trata de un libro de ejercicios y problemas en el que se incluye el desarrollo de la solución. El alumno podrá completar desde un punto de vista aplicado los conceptos y contenidos vistos en la parte teórica; así como adquirir las destrezas necesarias para la resolución de problemas. 2. Barbero, I. (Coord.) , Vila, E. y Holgado, F.P. (2010). Psicometría. Madrid: Sanz y Torres. En el capítulo 4 se introduce el modelo lineal clásico y el concepto de tests paralelos, así como la interpretación del coeficiente de fiabilidad y distintos métodos para su estimación. 3. Gómez-Benito, J. (1996). Aportaciones de los modelos de estructuras de covarianza al análisis psicométrico. En J. Muñíz (Coord.), Psicometría. Madrid: Universitas. El capítulo 10, define conceptos fundamentales como coeficiente de fiabilidad y tests paralelos desde modelos de ecuaciones estructurales.

44 8. BIBLIOGRAFÍA 4. Meliá, J.L. (2000). Teoría de la Fiabilidad y la Validez. Valencia: Cristóbal Serrano. En los Capítulos 3 y 4 expone el modelo lineal clásico de los errores de medida, el concepto de coeficiente e índice de fiabilidad y la definición de tests paralelos. El Capítulo 6 destaca algunas de las críticas. En el Capítulo 7 se trata la consistencia interna y los factores que afectan a la estimación de la fiabilidad. 5. Muñíz, J. (1996). Fiabilidad. En J. Muñíz (Coord.), Psicometría. Madrid: Universitas. En el Capítulo 1 se resumen los conceptos fundamentales del modelo lineal clásico y la definición de paralelismo. 6. Nunnally, J.C. y Bernstein, I.J. (1995). Teoría Psicométrica. México: McGraw Hill. El Capítulo 6 se presentan aspectos sobre supuestos y deducciones del modelo clásico. En el Capítulo 7 presentan algunas limitaciones y extensiones del modelo lineal clásico.