TEMA 6.2: VALIDEZ II PSICOMETRÍA Tema 6.2 Evaluación del instrumento de medida: VALIDEZ II Salvador Chacón Moscoso Susana Sanduvete Chaves Agradecemos.

Presentación del tema: "TEMA 6.2: VALIDEZ II PSICOMETRÍA Tema 6.2 Evaluación del instrumento de medida: VALIDEZ II Salvador Chacón Moscoso Susana Sanduvete Chaves Agradecemos."— Transcripción de la presentación:

1 TEMA 6.2: VALIDEZ II PSICOMETRÍA Tema 6.2 Evaluación del instrumento de medida: VALIDEZ II Salvador Chacón Moscoso Susana Sanduvete Chaves Agradecemos a Francisco Pablo Holgado Tello su inestimable colaboración en la elaboración de este material

2 TEMA 6.2: VALIDEZ II 2 Índice 1. Validación con varios predictores y un solo indicador del criterio 1.1. El coeficiente de validez múltiple 1.2. El modelo de regresión lineal múltiple 1.2.1. Ecuaciones de regresión 1.2.2. La varianza residual y el error típico de estimación múltiple 1.2.3. Intervalos de confianza 1.3. Interpretación de la evidencia obtenida acerca de la capacidad predictora del conjunto de variables utilizadas 1.3.1. Coeficiente de determinación múltiple 1.3.2. Coeficiente de alineación múltiple 1.3.3. Coeficiente de valor predictivo múltiple 1.4. Métodos para seleccionar las variables predictoras más adecuadas 2. Validez y utilidad de las decisiones 2.1. Índices de validez 2.2. Índices de selección 2.3. ¿Dónde situar el punto de corte? 2.4. Modelos de selección 3. Factores que influyen en el coeficiente de validez 3.1. Variabilidad de la muestra 3.2. Fiabilidad de las puntuaciones del test y del criterio 3.3. Longitud del test 4. Generalización de la validez 5. Bibliografía comentada

3 TEMA 6.2: VALIDEZ II 3 1.Validación con varios predictores y un solo indicador del criterio 1.1. El coeficiente de validez múltiple Cuando tenemos varios predictores (dos por ejemplo), el análogo es la correlación múltiple que viene dada por: Valor máximo: 1 El modelo de regresión lineal simple en la práctica es insuficiente  raramente se utiliza una única variable predictora para tomar decisiones.

4 TEMA 6.2: VALIDEZ II 4 Se quiere averiguar si la fluidez verbal y la extraversión son variables que favorecen el número de ventas en comerciales de automóviles. Se ha seleccionado a una muestra de 6 vendedores que han sido evaluados por una prueba de extraversión (X 1 ) y una prueba de fluidez verbal (X 2 ). Calcular el coeficiente de validez YX1X1 X2X2 424 865 656 676 547 788 1.Validación con varios predictores y un solo indicador del criterio 1.1. El coeficiente de validez múltiple

5 TEMA 6.2: VALIDEZ II 5 YX1X1 X2X2 Y2Y2 X12X12 X22X22 YX 1 YX 2 X 1 X 2 424164 8 8 865643625484030 656362536303630 676364936423642 547251649203528 7884964 56 64 363236226194226204219202 1.Validación con varios predictores y un solo indicador del criterio 1.1. El coeficiente de validez múltiple Dado que el valor máximo del coeficiente de validez es 1, se puede decir que X 1 y X 2 tienen una buena capacidad predictiva.

6 TEMA 6.2: VALIDEZ II 6 1.Validación con varios predictores y un solo indicador del criterio 1.1. El coeficiente de validez múltiple

7 TEMA 6.2: VALIDEZ II 7 1.Validación con varios predictores y un solo indicador del criterio 1.1. El coeficiente de validez múltiple Y X1X1 X2X2 El problema es que los predictores, además de estar relacionados con el criterio, pueden estar relacionados entre sí, lo que plantea problemas con la predicción e interpretación de resultados. ¿En qué grado la variabilidad de Y se debe a X 1 o X 2, o a la interacción?

8 TEMA 6.2: VALIDEZ II 8 Una forma de controlarlo es mediante la correlación parcial y semiparcial. 1. Correlación parcial : permite interpretar el grado de correlación entre la variable criterio (Y) y una de las variables predictoras (por ejemplo, X 1 ), eliminando del modelo a la otra variable predictora (en este ejemplo, X 2 ). 1.Validación con varios predictores y un solo indicador del criterio 1.1. El coeficiente de validez múltiple

9 TEMA 6.2: VALIDEZ II 9 2. Correlación semi-parcial : permite interpretar el grado de correlación entre la variable criterio (Y) y una de las variables predictoras (en el ejemplo, X 1 ), una vez la otra variable predictora (en este ejemplo, X 2 ) ya está en el modelo. Ejemplo: con los datos anteriores, calcular las correlaciones parciales y semi-parciales. Y X1X1 X2X2 1.Validación con varios predictores y un solo indicador del criterio 1.1. El coeficiente de validez múltiple

10 TEMA 6.2: VALIDEZ II 10 -Correlación parcial entre extraversión (X 1 ) y ventas (Y): La correlación entre extraversión y ventas (r YX 1 ) era 0,79. Eliminando la influencia de fluidez verbal, es 0,82 ; es decir, ha aumentado  la fluidez verbal podría estar afectando negativamente. -Correlación parcial entre fluidez verbal (X 2 ) y ventas (Y): La correlación entre ventas y fluidez verbal (r YX 2 ) era 0,3. Eliminando la influencia de extraversión, ahora es –0.46  la extraversión está afectando muy positivamente en la correlación. 1.Validación con varios predictores y un solo indicador del criterio 1.1. El coeficiente de validez múltiple

11 TEMA 6.2: VALIDEZ II 11 En la medida de lo posible, hay que evitar correlaciones altas entre predictores (extraversión con fluidez verbal, r X 1 X 2 = 0,65). -Correlación semi-parcial entre extraversión (X 1 ) y ventas (Y): La correlación entre extraversión y ventas (r YX 1 ) era 0,79. La correlación entre extraversión y ventas una vez fluidez verbal estaba en el modelo, apenas varía ( 0,78 ). -Correlación semi-parcial entre fluidez verbal (X 2 ) y ventas (Y): La correlación entre fluidez verbal y ventas (r YX 2 ) era 0,30. La correlación entre fluidez verbal y ventas una vez extraversión estaba en el modelo es -0.28. 1.Validación con varios predictores y un solo indicador del criterio 1.1. El coeficiente de validez múltiple

12 TEMA 6.2: VALIDEZ II 12 Es habitual trabajar con múltiples predictores  se pretende obtener una ecuación de predicción que pondere adecuadamente cada uno de los predictores para pronosticar el criterio, y eliminar los predictores que aportan poca información  Regresión Lineal Múltiple (generalización de la simple). Donde: a = ordenada en el origen. b 1,, b 2,..., b n = coeficientes de regresión  ; el error aleatorio. 1.Validación con varios predictores y un solo indicador del criterio 1.2.El modelo de regresión lineal múltiple

13 TEMA 6.2: VALIDEZ II 13 En puntuaciones directas, con dos variables predictoras (X 1 y X 2 ): a : ordenada en el origen 1.Validación con varios predictores y un solo indicador del criterio 1.2.El modelo de regresión lineal múltiple 1.2.1. Ecuaciones de regresión

14 TEMA 6.2: VALIDEZ II 14 En puntuaciones diferenciales: En puntuaciones tipificadas: b 1 y b 2 son las mismas que en la ecuación de regresión para puntuaciones directas 1.Validación con varios predictores y un solo indicador del criterio 1.2.El modelo de regresión lineal múltiple 1.2.1. Ecuaciones de regresión Ejemplo: con los datos anteriores, calcular la ecuación de regresión en puntuaciones directas. b* 1 y b* 2 se calcula como b 1 y b 2, pero sin multiplicar por S Y /S X

15 TEMA 6.2: VALIDEZ II 15 1.Validación con varios predictores y un solo indicador del criterio 1.2.El modelo de regresión lineal múltiple 1.2.1. Ecuaciones de regresión Ejemplo: Predecir cuál sería la puntuación en el criterio (Y) para cada participante y su error de estimación asociado.

16 TEMA 6.2: VALIDEZ II 16 YX1X1 X2X2 Y´=a+b 1 X 1 + b 2 X 2 Y’e = Y-Y’ 424 Y´=4,64+0,66*2 –0,36*4 4,52(4-4,52)=-0,52 865 Y´=4,64+0,66*6 –0,36*5 6,81,2 656 Y´=4,64+0,66*5 –0,36*6 5,780,22 676 Y´=4,64+0,66*7 –0,36*6 7,1-1,1 547 Y´=4,64+0,66*4 –0,36*7 4,760,24 788 Y´=4,64+0,66*8 –0,36*8 7,04-0,04 363236 0 1.Validación con varios predictores y un solo indicador del criterio 1.2.El modelo de regresión lineal múltiple 1.2.1. Ecuaciones de regresión Así, por ejemplo, a un participante que en extraversión obtuvo 2, y 4 en fluidez verbal, se le pronostica que venda aproximadamente 5 coches.

17 TEMA 6.2: VALIDEZ II 17 El coeficiente de validez indica la eficacia del predictor para estimar el criterio  el coeficiente de validez múltiple indica por tanto la eficacia del conjunto de variables predictoras para estimar el criterio. R Y.X1X2 Mejor serán las estimaciones del criterio error (Y-Y’) A la varianza de todos los errores de estimación (Y-Y´) se le denomina  Varianza residual o varianza del error 1.Validación con varios predictores y un solo indicador del criterio 1.2.El modelo de regresión lineal múltiple 1.2.2. La varianza residual y el error típico de estimación múltiple

18 TEMA 6.2: VALIDEZ II 18 Al igual que en el caso de la regresión simple, la varianza total de las puntuaciones obtenidas en el criterio puede descomponerse en la varianza de las puntuaciones pronosticadas más la varianza del error: Error típico de estimación: 1.Validación con varios predictores y un solo indicador del criterio 1.2.El modelo de regresión lineal múltiple 1.2.2. La varianza residual y el error típico de estimación múltiple Ejemplo: calcular el error típico de estimación y comprobar la igualdad:

19 TEMA 6.2: VALIDEZ II 19 1.Validación con varios predictores y un solo indicador del criterio 1.2.El modelo de regresión lineal múltiple 1.2.2. La varianza residual y el error típico de estimación múltiple YX1X1 X2X2 Y’e = Y-Y’Y’ 2 (Y-Y’) 2 4244,520,5220,430,27 8656,81,246,241,44 6565,780,2233,410,05 6767,1-1,150,411,21 5474,760,2422,660,06 7887,04-0,0449,560,00 363236 0222,713,03

20 TEMA 6.2: VALIDEZ II 20 - Comprobar que - E rror típico de estimación múltiple. 1.Validación con varios predictores y un solo indicador del criterio 1.2.El modelo de regresión lineal múltiple 1.2.2. La varianza residual y el error típico de estimación múltiple Calculado previamente para la ecuación de regresión

21 TEMA 6.2: VALIDEZ II 21 Debido a los errores de estimación, es más conveniente hacer estimaciones por intervalos que puntuales. Ejemplo: con los datos anteriores, calcular en qué intervalo se estima se encontrará el número de coches vendidos (Y) para un comercial que obtuvo 5 en extraversión (X 1 ) y 6 en fluidez verbal (X 2 ) (NC = 95%). Error típico de estimación 1.Validación con varios predictores y un solo indicador del criterio 1.2.El modelo de regresión lineal múltiple 1.2.3. Intervalos de confianza

22 TEMA 6.2: VALIDEZ II 22 Error típico de estimación calculado en el ejercicio anterior 1.Validación con varios predictores y un solo indicador del criterio 1.2.El modelo de regresión lineal múltiple 1.2.3. Intervalos de confianza

23 TEMA 6.2: VALIDEZ II 23 Equivale al coeficiente de validez al cuadrado y representa la proporción de varianza de las puntuaciones de los participantes en el criterio que se puede pronosticar a partir del conjunto de variables predictoras. Los posibles valores del C.D. se encuentran entre 0 y 1. Cuando la varianza del error es pequeña, implica que los valores pronosticados de Y’ están próximos a los reales  el error típico de estimación será pequeño y por tanto el C.D tomará valores próximos a uno. Expresa la proporción de variación de Y ligada a las variables predictoras, determinada por las variables predictoras, explicada por las variables predictoras, o que se puede predecir a partir de las variables predictoras. 1.3. Interpretación de la evidencia obtenida acerca de la capacidad predictora del conjunto de variables utilizadas 1.3.1. Coeficiente de determinación múltiple

24 TEMA 6.2: VALIDEZ II 24 Indica la proporción que representa el error típico de estimación múltiple respecto a la desviación típica de las puntuaciones en el criterio. Es la inseguridad, el azar que afecta a los pronósticos. Los posibles valores del C.A. se encuentran entre 0 y 1. Cuando la varianza del error es alta, implica que los valores pronosticados de Y’ están lejos de los reales  el error típico de estimación será elevado y por tanto el C.A. tomará valores próximos a uno. C.A. 2 expresa la proporción de variación de Y que no está ligada al conjunto de variables predictoras, determinada por las variables predictoras, explicada por las variables predictoras, o que no se puede predecir a partir de ellas. 1.3. Interpretación de la evidencia obtenida acerca de la capacidad predictora del conjunto de variables utilizadas 1.3.2. Coeficiente de alienación múltiple

25 TEMA 6.2: VALIDEZ II 25 Los posibles valores del C.V.P. se encuentran entre 0 y 1. Cuando mayor sea el C.A., menor será la capacidad del test para pronosticar el criterio. Ejemplo: con los datos anteriores, calcular el C.D., el C.A. y sus complementarios. Interpretar los resultados. Complementario al C.A., es otra forma de expresar la capacidad de los predictores para pronosticar el criterio. 1.3. Interpretación de la evidencia obtenida acerca de la capacidad predictora del conjunto de variables utilizadas 1.3.3. Coeficiente de valor predictivo múltiple

26 TEMA 6.2: VALIDEZ II 26 El 70% de las puntuaciones en el criterio se podría pronosticar a partir de X 1 y X 2 ; mientras que el restante 30% equivale a la variabilidad de las puntuaciones en el criterio que los predictores no explican. 1.3. Interpretación de la evidencia obtenida acerca de la capacidad predictora del conjunto de variables utilizadas 0,55 es la inseguridad en el pronóstico; mientras que el restante 0,45 es la seguridad en el pronóstico o la capacidad de los predictores para pronosticar el criterio.

27 TEMA 6.2: VALIDEZ II 27 1.4. Métodos para seleccionar las variables predictoras más adecuadas. Según Thorndike y Hagen (1989), los predictores han de ser: - Relevantes : ¿en qué medida el indicador se corresponde con el criterio? -Libres de sesgo : evitar seleccionar variables que afectan de manera diferencial entre grupos. - Fiables : las medidas obtenidas han de ser precisas y mantenerse estables a lo largo del tiempo. -Accesibles.

28 TEMA 6.2: VALIDEZ II 28 Cuanto más predictores mejor, dado que R aumenta. Sin embargo, hemos de prestar especial atención a la MULTICOLINEALIDAD  existencia de correlaciones altas entre los predictores (un predictor puede explicarse mediante la combinación lineal de otros)  información redundante, lo que hace que se sobre-estime el coeficiente de determinación 1.4. Métodos para seleccionar las variables predictoras más adecuadas.

29 TEMA 6.2: VALIDEZ II 29 - Método “ Forward ” (hacia delante) 1. Calcular las intercorrelaciones entre las variables. 2. Seleccionar la variable predictora cuya correlación con el criterio sea más alta y se construye la ecuación de regresión. 3. Se van añadiendo a la ecuación, una a una, las demás variables en función de su contribución de acuerdo con la correlación semi- parcial. 4. Cada vez que se introduce una variable, se calcula el aumento en el porcentaje de varianza explicado, analizando si es estadísticamente significativo. El proceso se detiene cuando el aumento no es significativo. 1.4. Métodos para seleccionar las variables predictoras más adecuadas.

30 TEMA 6.2: VALIDEZ II 30 - Método “ Backward ” (hacia atrás) 1.Calcular la correlación múltiple al cuadrado entre el criterio y el conjunto de variables predictoras. 2.Se van eliminando, una a una, las variables menos relevantes, calculando la reducción que se produce en el coeficiente de determinación. 3.El proceso se detiene, al contrario que en el caso anterior, cuando la reducción observada sea significativa. 1.4. Métodos para seleccionar las variables predictoras más adecuadas.

31 TEMA 6.2: VALIDEZ II 31 2. Validez y utilidad de las decisiones Se incluye una serie de procedimientos que permiten analizar la validez de las decisiones tomadas a partir de las puntuaciones obtenidas en un test en relación a un criterio dicotómico. En este caso, las puntuación del test se dicotomizan ( aptos-no aptos; enfermo-no enfermo, etc.). Es el método que suele utilizarse en los tests referidos al criterio (TRC).Diferenciamos entre: -Punto de corte en el test : puntuación en el test que diferencia entre participantes que se encuentran por encima o por debajo del punto de corte (aptos-no aptos; clínicos-no clínicos, etc.). -Punto de corte en el criterio : puntuación en el criterio por encima de la cual el resultado se considera un éxito, o caso clínico, por ejemplo.

32 TEMA 6.2: VALIDEZ II 32 Test Criterio Sí (sobre el punto de corte) No (bajo el punto de corte) SíA (verdaderos positivos) VP C (falsos negativos) FN g = A+C NoB (falsos positivos) FP D (verdadero negativos) VN h = B+D e = A+Bf = C+DA+B+C+D La dicotomización del test y del criterio llevan a la clasificación de todos los participantes en una tabla de contingencia de 2 * 2: El objetivo es que con el test se puedan tomar el mayor número de decisiones correctas; que test y criterio coincidan en las clasificaciones ( A y D ); y el menor número de decisiones incorrectas, es decir, que no coincidan ( B y C ). 2. Validez y utilidad de las decisiones

33 TEMA 6.2: VALIDEZ II 33 A partir de los datos, es necesario obtener algún indicador de validez: 1. Coeficiente Kappa : permite evaluar la consistencia de las clasificaciones, o en qué medida las clasificaciones de test y criterio han coincidido por azar. Se expresa mediante: Donde: Fc= nº de casos en los que coinciden test y criterio (A+D) Fa= número de casos en los que coinciden por azar. N= nº de personas de la muestra. 2. Validez y utilidad de las decisiones 2.1. Índices de validez

34 TEMA 6.2: VALIDEZ II 34 Test Criterio SíNo Sí183 No227 Se ha aplicado un test que trata de diagnosticar demencia a una muestra de 50 participantes. Como criterio se ha utilizado la entrevista clínica realizada por un experto. Las clasificaciones realizadas han sido las siguientes: Calcular el coeficiente Kappa e interpretar el resultado. 2. Validez y utilidad de las decisiones 2.1. Índices de validez

35 TEMA 6.2: VALIDEZ II 35 Test Criterio SíNo SíA (verdaderos positivos)=18 C (falsos negativos)=3 g = A+C = 21 NoB (falsos positivos)=2 D (verdaderos negativos)=27 h = B+D = 29 e = A+B = 20f = C+D = 3050 2. Validez y utilidad de las decisiones 2.1. Índices de validez

36 TEMA 6.2: VALIDEZ II 36 Puesto que el valor máximo es 1, podemos decir que la validez de la prueba de diagnóstico (test) es alta. 2. Validez y utilidad de las decisiones 2.1. Índices de validez

37 TEMA 6.2: VALIDEZ II 37 2. Proporción de clasificaciones correctas: grado en que test y criterio coinciden en las clasificaciones. 3. Sensibilidad (tasa de verdaderos positivos) : grado en que el test es bueno para detectar exclusivamente a las personas con trastorno. No se tiene en cuenta el efecto del azar 2. Validez y utilidad de las decisiones 2.1. Índices de validez

38 TEMA 6.2: VALIDEZ II 38 4. Especificidad (tasa de verdaderos negativos) : grado en que el test es bueno para excluir a los que realmente no tienen el trastorno. 5. Razón de eficacia : grado en que el test es bueno para seleccionar a participantes que tendrán el trastorno. 2. Validez y utilidad de las decisiones 2.1. Índices de validez Ejemplo: con los datos del ejercicio anterior, calcular la proporción de clasificaciones correctas, la sensibilidad, la especificidad y la razón de eficacia del test.

39 TEMA 6.2: VALIDEZ II 39 2. Proporción de clasificaciones correctas: 3. Sensibilidad (tasa de verdaderos positivos) : 2. Validez y utilidad de las decisiones 2.1. Índices de validez

40 TEMA 6.2: VALIDEZ II 40 4. Especificidad (tasa de verdaderos negativos) : 5. Razón de eficacia: 2. Validez y utilidad de las decisiones 2.1. Índices de validez

41 TEMA 6.2: VALIDEZ II 41 1. Razón de idoneidad: proporción de participantes que superaron el punto de corte en el criterio 2. Razón de selección: proporción de participantes que superaron el punto de corte en el test. 2. Validez y utilidad de las decisiones 2.2. Índices de selección Ejemplo: con los datos del ejercicio anterior, calcular las razones de idoneidad y de selección.

42 TEMA 6.2: VALIDEZ II 42 1. Razón de idoneidad: 2. Razón de selección: 2. Validez y utilidad de las decisiones 2.2. Índices de selección

43 TEMA 6.2: VALIDEZ II 43 Dado que es necesario dicotomizar las puntuaciones, dónde se sitúe el punto de corte va a traer consecuencias en las decisiones tomadas con el test. Falsos negativosAciertos, Verdaderos positivos Rechazos, Verdaderos negativos Falsos positivos Aceptados Rechazados CRITERIO RechazadosAceptados TEST C B A D P. Corte del test 2. Validez y utilidad de las decisiones 2.3. ¿Dónde situar el punto de corte?

44 TEMA 6.2: VALIDEZ II 44 Falsos negativosAciertos, Verdadero s positivos Rechazos, Verdaderos negativosFalsos positivos Aceptados Rechazados CRITERIO RechazadosAceptados TEST Consecuencias de desplazar el punto de corte del test hacia la derecha  criterio más estricto - Consecuencia positiva : Disminuye la tasa de falsos positivos. - Consecuencia negativa : Aumenta la tasa de falsos negativos. C B A D 2. Validez y utilidad de las decisiones 2.3. ¿Dónde situar el punto de corte?

45 TEMA 6.2: VALIDEZ II 45 Consecuencias de hacer más estricto el punto de corte del c riterio: - Consecuencia positiva : Disminuye la tasa falsos negativos. - Consecuencia negativa : Aumenta la tasa de falsos positivos. Falsos negativosAciertos, Verdaderos positivos Rechazos, Verdaderos negativos Falsos positivos Aceptados Rechazados CRITERIO RechazadosAceptados TEST C B A D 2. Validez y utilidad de las decisiones 2.3. ¿Dónde situar el punto de corte?

46 TEMA 6.2: VALIDEZ II 46 En general, el punto de corte se situará en aquel punto que maximice la capacidad predictiva del test. Es decir, en aquel valor donde se cometa un menor número de errores. Para ello, hay que analizar las consecuencias de las decisiones tomadas, ya que no siempre tiene la misma importancia cometer un tipo de error u otro (falsos negativos, o falsos positivos). Ejemplo, tests diagnósticos de SIDA: es más grave la existencia de falsos negativos (es decir, participantes que lo padecen, pero que el test determina que no), ya que los participantes no recibirán tratamiento y el riesgo de contagio a otras personas será mayor. 2. Validez y utilidad de las decisiones 2.3. ¿Dónde situar el punto de corte?

47 TEMA 6.2: VALIDEZ II 47 ¿Cómo combinar toda la información sobre un participante para tomar una decisión (tests, entrevista, actitud,...)? 1.Compensatorio: modelo aditivo, en el que al participante se le asigna una única puntuación global. Por ello, puede compensar una baja puntuación en el test, por ejemplo, con una alta puntuación en el criterio. No siempre tiene sentido, ya que la ausencia de una destreza no tiene porqué compensarse con otra. 2.Conjuntivo: se fijan previamente unos mínimos que han de cumplir los participantes en ambas pruebas. 3.Disyuntivo: sólo se exige superar un determinado nivel en alguna de las pruebas utilizadas. 2. Validez y utilidad de las decisiones 2.4. Modelos de selección

48 TEMA 6.2: VALIDEZ II 48 2-1. Conjuntivo-compensatorio: en un primer momento se aplica el modelo conjuntivo (superar todas las pruebas), y a continuación se calcula una puntuación global (compensatorio). 3-1. Disyuntivo-compensatorio: se hace una primera selección aplicando el modelo disyuntivo (superar al menos, alguna de las pruebas), y a continuación se les aplica el compensatorio (puntuación global). 2. Validez y utilidad de las decisiones 2.4. Modelos de selección

49 TEMA 6.2: VALIDEZ II 49 Coeficiente de validez: correlación entre las puntuaciones del test y del criterio  muy sensible a ciertos aspectos de las variables utilizadas. Schmidt y Hunter (1990) refieren 11 aspectos que pueden alterar los tamaños de las correlaciones: 1.Error muestral, o diferencia entre el coeficiente de correlación muestral y poblacional. 2.Error de medida, o ausencia de fiabilidad perfecta en la variable de predictora. 3.Error de medida en la variable criterio. 4.Utilizar criterios muy simplificados, reducidos a dos valores (apto- no apto). 3. Factores que influyen en el coeficiente de validez

50 TEMA 6.2: VALIDEZ II 50 5. Dicotomización de la variable predictora. 6. Cambios de variabilidad en la variable criterio en otras muestras o condiciones. 7. Cambios de variabilidad en la variable predictora en otras muestras o condiciones. 8. Definición incorrecta del constructo en la variable predictora. 9. Definición incorrecta del constructo en el criterio. 10. Errores de codificación, cálculo, etc. 11. Factores extraños ligados a las características de la muestra (experiencia, edad, etc.). 3. Factores que influyen en el coeficiente de validez

51 TEMA 6.2: VALIDEZ II 51 A medida que aumenta la variabilidad de la muestra, el coeficiente de validez aumenta. Por el contrario, a medida que disminuye, el coeficiente de validez disminuye  la muestra donde se calcule va a determinar el coeficiente de validez obtenido. Supongamos que en una Universidad se utiliza un test para seleccionar a los alumnos. Para conocer la capacidad predictiva del test, tenemos dos opciones: 1. Aplicar el test y Admitirlos a todos. Al finalizar tendríamos que evaluarles en el criterio. Entonces calcularíamos la correlación para obtener el coeficiente de validez. A continuación, habría que expulsar a los que en un principio no superaron el test. 2.Aplicar el test, y realizar la selección (muestra más homogénea). Al finalizar se aplicaría el criterio y basándonos en una serie de supuestos, hacer una estimación del coeficiente de validez que se hubiera obtenido en el grupo total de aspirantes. 3. Factores que influyen en el coeficiente de validez 3.1. Variabilidad de la muestra

52 TEMA 6.2: VALIDEZ II 52 3. Factores que influyen en el coeficiente de validez 3.1. Variabilidad de la muestra Ejemplo: suponemos que el número de aspirantes era 300 y que obtuvieron una desviación típica de 12 puntos. De entre todos ellos se seleccionaron a 40, cuya desviación típica fue de 6 puntos. Al cabo del año, fueron calificados en el criterio, siendo la correlación con el test de 0,30. ¿Cuál sería el coeficiente de validez estimado si se hubiese calculado en la muestra total?

53 TEMA 6.2: VALIDEZ II 53 Se aprecia que al estimarse en una muestra con mayor variabilidad, el incremento es notable, ya que pasa de 0,30 a 0,53. 3. Factores que influyen en el coeficiente de validez 3.1. Variabilidad de la muestra

54 TEMA 6.2: VALIDEZ II 54 Las puntuaciones del test y criterio están afectadas por los errores de medida, que pueden estar afectando al coeficiente de validez que se estime. Spearman (1904) propuso las fórmulas de atenuación que permiten corregir la atenuación o disminución del coeficiente de validez debido a los errores de medida. 1. Estimación del coeficiente de validez en el caso de que tanto test como criterio tuvieran una fiabilidad perfecta  calcular la correlación entre las puntuaciones verdaderas del test y del criterio. 3. Factores que influyen en el coeficiente de validez 3.2. Fiabilidad de las puntuaciones del test y del criterio

55 TEMA 6.2: VALIDEZ II 55 Ejemplo: aplicado un test a una muestra de participantes se obtuvo un coeficiente de fiabilidad de 0,64. El coeficiente de fiabilidad del criterio resultó ser 0,60 y el coeficiente de validez de 0,56. ¿Cuál sería el coeficiente de validez estimado en el caso de que tanto las puntuaciones del test como del criterio estuvieran libres de errores de medida? 3. Factores que influyen en el coeficiente de validez 3.2. Fiabilidad de las puntuaciones del test y del criterio

56 TEMA 6.2: VALIDEZ II 56 2. Estimación del coeficiente de validez en el caso de que el TEST tuviera una fiabilidad perfecta  calcular la correlación entre las puntuaciones verdaderas del test y las empíricas del criterio. 3. Factores que influyen en el coeficiente de validez 3.2. Fiabilidad de las puntuaciones del test y del criterio Ejemplo: con los datos del ejercicio anterior, ¿cuál sería el coeficiente de validez estimado en el caso de que las puntuaciones del test estuvieran libres de errores de medida?

57 TEMA 6.2: VALIDEZ II 57 3. Factores que influyen en el coeficiente de validez 3.2. Fiabilidad de las puntuaciones del test y del criterio 3. Estimación del coeficiente de validez en el caso de que el CRITERIO tuviera una fiabilidad perfecta  calcular la correlación entre las puntuaciones empíricas del test y las verdaderas del criterio. Ejemplo: con los datos del ejercicio anterior, ¿cuál sería el coeficiente de validez estimado en el caso de que las puntuaciones del criterio estuvieran libres de errores de medida?

58 TEMA 6.2: VALIDEZ II 58 El coeficiente de validez aumenta en todos los casos. Sin embargo, se trata de supuestos hipotéticos ya que es imposible eliminar los errores, pero sí es posible tratar de reducirlos mejorando los coeficientes de fiabilidad. Para ello, contamos con las siguientes situaciones: 3. Factores que influyen en el coeficiente de validez 3.2. Fiabilidad de las puntuaciones del test y del criterio 4. Estimación del coeficiente de validez en el caso de que se mejorase la fiabilidad tanto del TEST como del CRITERIO. Continuando con el ejemplo anterior, ¿cuál sería el coeficiente de validez si se consiguiera un coeficiente de fiabilidad en el test de 0,75 y en el criterio de 0,64?

59 TEMA 6.2: VALIDEZ II 59 3. Factores que influyen en el coeficiente de validez 3.2. Fiabilidad de las puntuaciones del test y del criterio 5. Estimación del coeficiente de validez en el caso de que se mejorase la fiabilidad del TEST. Continuando con el ejemplo anterior, ¿cuál sería el coeficiente de validez si se consiguiera un coeficiente de fiabilidad en el TEST de 0,75?

60 TEMA 6.2: VALIDEZ II 60 3. Factores que influyen en el coeficiente de validez 3.2. Fiabilidad de las puntuaciones del test y del criterio 6. Estimación del coeficiente de validez en el caso de que se mejorase la fiabilidad del CRITERIO Continuando con el ejemplo anterior, ¿cuál sería el coeficiente de validez si se consiguiera un coeficiente de fiabilidad en el CRITERIO de 0,70?

61 TEMA 6.2: VALIDEZ II 61 3. Factores que influyen en el coeficiente de validez 3.2. Fiabilidad de las puntuaciones del test y del criterio

62 TEMA 6.2: VALIDEZ II 62 El valor máximo del coeficiente de validez es menor-igual que el índice de fiabilidad. Para ello, sabemos que el coeficiente de validez del test cuando se eliminan los errores de medida es menor-igual que 1: 1. Suponiendo que efectivamente sea 1, se deduce que el coeficiente de validez es menor-igual que el producto de las raíces del coeficiente de fiabilidad del test por el criterio: 2. Y suponiendo que el valor máximo del coeficiente fiabilidad del criterio es 1, entonces el coeficiente de validez es menor-igual que la raíz del coeficiente de fiabilidad del test. 3. Y dado que la raíz del coeficiente de fiabilidad es el índice de fiabilidad, entonces el coeficiente de validez es menor-igual que el índice de fiabilidad: 3. Factores que influyen en el coeficiente de validez 3.2. Fiabilidad de las puntuaciones del test y del criterio

63 TEMA 6.2: VALIDEZ II 63 Utilizamos la fórmula de Spearman-Brown que relaciona fiabilidad y longitud: Y la sustituimos en la fórmula que relaciona validez y fiabilidad: Rxx. Spearman-Brown que relaciona fiabilidad y longitud 3. Factores que influyen en el coeficiente de validez 3.3. Longitud del test

64 TEMA 6.2: VALIDEZ II 64 También nos puede interesar al número de veces que hay que aumentar o disminuir la longitud de un test para lograr un determinado valor del coeficiente de validez. En cuyo caso: Supongamos que un test de 30 elementos tiene un coeficiente de validez de 0,60 y uno de fiabilidad de 0,64. ¿Cuántos elementos habría que añadir para obtener un coeficiente de validez de 0,70? 3. Factores que influyen en el coeficiente de validez 3.3. Longitud del test

65 TEMA 6.2: VALIDEZ II 65 Habría que valorar hasta qué punto merece la pena hacer más largo un test; a veces no compensa Para obtener un coeficiente de validez de 0,70 a partir de uno de 0,60, habría que añadir 84 ítems a los 30 iniciales. 3. Factores que influyen en el coeficiente de validez 3.3. Longitud del test

66 TEMA 6.2: VALIDEZ II 66 4. Generalización de la validez Hace referencia a la posibilidad de utilizar y aplicar la evidencia obtenida en una situación a otras similares. Este problema es de especial relevancia en los estudios a gran escala, dado que suelen utilizarse muestras muy diversas, incluso de culturas distintas. Para analizar este punto se han utilizado técnicas estadísticas derivadas del meta-análisis. Meta-análisis : síntesis cuantitativas de estudios que permiten analizar diversos estudios de validación del mismo test ya que traducen los resultados a una métrica común.

67 TEMA 6.2: VALIDEZ II 67 1. Barbero, I., García, E., Vila, E. y Holgado, F. P. (2010 ). Psicometría: problemas resueltos. Madrid: Sanz y Torres. Se trata de un libro de ejercicios y problemas en el que se incluye el desarrollo de la solución. El alumno podrá completar desde un punto de vista aplicado los conceptos y contenidos vistos en la parte teórica; así como adquirir las destrezas necesarias para la resolución de problemas. 2. Barbero, I. (Coord.), Vila, E. y Holgado, F. P. (2010). Psicometría. Madrid: Sanz y Torres. En el capítulo 7, hace un repaso sobre los principales aspectos relativos a la validez de criterio cuando se dispone de más de un predictor; y en su segunda parte presenta, de manera clara y directa, la validez desde los TRC. 5. Bibliografía comentada

68 TEMA 6.2: VALIDEZ II 68 3. Martínez Arias, R. (1995). Psicometría: teoría de los tests psicológicos y educativos. Madrid: Síntesis. Se tratan los principales aspectos relacionados con la validez tanto en su vertiente teórica como aplicada. Tras una presentación conceptual de los tipos tradicionales de validez (capítulo 12), profundiza en los aspectos formales de la validez relativa al criterio (capítulos 13 al 15). 4. Meliá, J. L. (2000). Teoría de la fiabilidad y la validez. Valencia: Cristóbal Serrano. En el capítulo 11 se realiza un recorrido por algunas de las definiciones tradicionales de la validez. También se presentan las implicaciones de los tipos tradicionales de validez así como la relación existente entre la fiabilidad y la validez. El capítulo termina con un apartado en el que realizan algunas consideraciones generales sobre la importancia de la validez. 5. Bibliografía comentada