TEMA 6.2: VALIDEZ II PSICOMETRÍA Tema 6.2 Evaluación del instrumento de medida: VALIDEZ II Salvador Chacón Moscoso Susana Sanduvete Chaves Agradecemos a Francisco Pablo Holgado Tello su inestimable colaboración en la elaboración de este material

TEMA 6.2: VALIDEZ II 2 TEMA 6.2. EVALUACIÓN DEL INSTRUMENTO DE MEDIDA: VALIDEZ (II) 1. Validación con varios predictores y un solo indicador del criterio 1.1. El coeficiente de validez múltiple 1.2. El modelo de regresión lineal múltiple Ecuaciones de regresión La varianza residual y el error típico de estimación múltiple 1.3. Interpretación de la evidencia obtenida acerca de la capacidad predictora del conjunto de variables utilizadas Coeficiente de determinación múltiple Coeficiente de alineación múltiple Coeficiente de valor predictivo múltiple 1.4. Métodos para seleccionar las variables predictoras más adecuadas 2. Validez y utilidad de las decisiones 2.1. Índices de validez 2.2. ¿Dónde situar el punto de corte? 2.3. Ejemplo 2.4. Modelos de selección 2.5. ¿Cómo estimar la eficacia de una selección? 3. Factores que influyen en el coeficiente de validez 3.1. La variabilidad de la muestra 3.2. La fiabilidad de las puntuaciones del test y del criterio 3.3. Validez y longitud 4. Generalización de la validez 5. Bibliografía básica

TEMA 6.2: VALIDEZ II 3 Validación referida al criterio; varios predictores y un índicador del criterio

TEMA 6.2: VALIDEZ II 4 Validación con varios predictores y un solo indicador del criterio El modelo de “Regresión Lineal Simple” en la práctica es insuficiente  Raramente se utiliza una única variable predictora para tomar decisiones. Y X1X1 X2X2 El problema es que los predictores además de estar relacionados con el criterio puede que estén relacionados entre sí  lo que plantea problemas con la predicción e interpretación de resultados. Ejemplo: seleccionar comerciales de automóviles. Criterio = nº de ventas (Y). Predictores: extraversión (X1) y capacidad verbal (X2). Probablemente ambos predictores estén correlacionados entre sí  ¿en qué grado la variabilidad de Y se debe a X1 o X2, o a la interacción? Varios predictores y un indicador del criterio:

TEMA 6.2: VALIDEZ II 5 Una forma de controlarlo es mediante la correlación parcial y semiparcial. 1. Correlación parcial : permite interpretar el grado de correlación entre la variable criterio (Y) y una de las variables predictoras, eliminando de antemano el efecto que sobre dicha correlación pueda estar ejerciendo el resto de variables La correlación entre el número de ventas (Y) y la extraversión (X1), eliminando la influencia que en esa correlación ejerce la fluidez verbal (X2) Y X1X1 X2X2 Varios predictores y un indicador del criterio: Validación con varios predictores y un solo indicador del criterio

TEMA 6.2: VALIDEZ II 6 2. Correlación semi-parcial : permite interpretar el grado de correlación entre la variable criterio (Y) y una de las variables predictoras, eliminando, de antemano el efecto que sobre dicha variable predictora pueda estar ejerciendo el resto de variables La correlación entre el número de ventas (Y) y la extraversión (X1) eliminando la influencia que en X1 ejerce la fluidez verbal (x2) Y X1X1 X2X2 Validación con varios predictores y un solo indicador del criterio

TEMA 6.2: VALIDEZ II 7 Coeficiente de validez múltiple Coeficiente de validez : viene dado por la correlación entre la variable predictora y el indicador del criterio. -Cuando sólo tenemos 1 predictor; y 1 criterio utilizamos la correlación simple. -Sin embargo, cuando tenemos varios predictores (dos por ejemplo), el análogo es la correlación múltiple que viene dada por: Varios predictores y un indicador del criterio:

TEMA 6.2: VALIDEZ II 8 El modelo de regresión lineal múltiple En suma, es habitual trabajar con múltiples predictores  obtener una ecuación de predicción que pondere adecuadamente cada uno de los predictores para pronosticar el criterio. Y eliminar los predictores que aportan poca información  “ Regresión Lineal Múltiple ” que es una generalización de la simple. Donde: a = ordenada en el origen. b 1,, b 2,..., b n = coeficientes de regresión  ; el error aleatorio. Varios predictores y un indicador del criterio:

TEMA 6.2: VALIDEZ II 9 Donde: y = vector de puntuaciones de los N sujetos en la variable dependiente o criterio (N*1). b = vector con (p+1) coeficientes de regresión. X = matriz de puntuaciones en las p variables predictoras, con una primera columna de unos.  = vector de errores aleatorios (N*1). El modelo de regresión lineal múltiple. Ecuaciones de regresión Normalmente se expresa en notación matricial debido al gran volumen de operaciones que habría que realizar. En este caso:

TEMA 6.2: VALIDEZ II 10 Ecuaciones de regresión: 1. El vector de puntuaciones observadas en el criterio, es igual a la matriz de puntuaciones observadas en los predictores, por el vector de coeficientes de regresión + el vector de errores aleatorios 2. Así por ejemplo, un vendedor ha vendido 13 coches, otro 10 y otro 15. Y que es igual a la matriz de las puntuaciones de los sujetos en extraversión y fluidez verbal (primer vendedor 4y 8), por los coeficientes de regresión, más el vector de errores. El modelo de regresión lineal múltiple. Ecuaciones de regresión

TEMA 6.2: VALIDEZ II 11 Centrándonos con dos variables tendremos una ecuación con dos v. Predictoras (X1 y X2); La Regresión Lineal Múltiple, supone una generalización de la Simple Ecuaciones de regresión: 1. a es la ordenada en el origen 2. b es el coeficiente de correlación semi-parcial (elimina la influencia del resto de variables predictoras del modelo) por la razón de la varianza del criterio entre la del predictor correspondiente El modelo de regresión lineal múltiple. Ecuaciones de regresión

TEMA 6.2: VALIDEZ II 12 Varianza residual o varianza error y el error típico de estimación múltiple Varianza residual: Si recordamos, el coeficiente de validez indica la eficacia del predictor para estimar el criterio  el Coeficiente de validez múltiple indicará la eficacia del conjunto de variables predictoras para estimar el criterio. De tal forma que: R Y.X1X2 Mejor serán las estimaciones del criterio error (Y-Y`) A la varianza de todos los (Y-Y´) se le denomina  Varianza residual, varianza error, o error típico de estimación

TEMA 6.2: VALIDEZ II 13 Intervalos de confianza. Intervalos de confianza: Debido a los errores de estimación, mas que estimaciones puntuales es conveniente hacerlas por intervalos. Asumiendo que los errores se distribuyen normalmente : 1.Determinar el nivel de confianza y su puntuación típica asociada (NC. 99%  Zc=2.58). 2.Calcular el error típico de estimación (a mayor error, más amplios serán los intervalos). 3.Calcular el error máximo que estamos dispuesto a asumir (Emax = Z c S y.x ). 4.Aplicar la ecuación de regresión y obtener la puntuación pronosticada. (Y`= a + b 1 X 1 + b 2 X 2 ) 5.Establecer el intervalo de confianza. Y`  Emax

TEMA 6.2: VALIDEZ II 14 Interpretación de la evidencia obtenida acerca de la capacidad predictora del conjunto de variables Al igual que en el caso de la regresión simple, la varianza total de las puntuaciones obtenidas en el criterio puede descomponerse en la varianza de las puntuaciones pronosticadas más de la varianza error. Si dividimos todos los miembros por varianza de las puntuaciones en el criterio obtenemos que el error típico de estimación se puede obtener a partir de la varianza de las puntuaciones en el criterio y del coef. validez múltiple:

TEMA 6.2: VALIDEZ II 15 VALIDACIÓN REFERIDA AL CRITERIO. Interpretación. Coeficiente de determinación múltiple Interpretación del coeficiente de validez múltiple: 1. Coeficiente de Determinación múltiple: equivale al coeficiende de validez al cuadrado y representa la proporción de varianza de las puntuaciones de los sujetos en el criterio que se puede pronosticar a partir del conjunto de variables predictoras. El C.D está acotado en el intervalo [0_1] Cuando la varianza error es pequeña, implica que los valores pronosticados de Y` están próximos a los reales;  el error típico de estimación será pequeño y por tanto el C.D tomará valores próximos a uno. Expresa, la proporción de variación de Y ligada a las variables predictoras, determinada por las vv.predictoras, explicada por las vv. predictoras, o que se puede predecir a partir de las vv. predictoras.

TEMA 6.2: VALIDEZ II 16 VALIDACIÓN REFERIDA AL CRITERIO. Interpretación. Coeficiente de alienación múltiple. 2. Coeficiente de alienación múltiple : indica la proporción que representa el error típico de estimación múltiple respecto a la desviación típica de las puntuaciones en el criterio El C.A está acotado en el intervalo [0_1] Cuando la varianza error es alta, implica que los valores pronosticados de Y` están lejanos de los reales;  el error típico de estimación será elevado y por tanto el C.A tomará valores próximos a uno. Expresa la proporción de variación de Y que no está ligada al conjunto de vv.predictoras, determinada por las vv.predictoras, explicada por las vv.predictoras, o que no se puede predecir a partir de ellas  inseguridad, azar que afecta a los pronósticos

TEMA 6.2: VALIDEZ II 17 VALIDACIÓN REFERIDA AL CRITERIO. Interpretación. Coeficiente de valor predictivo múltiple 17 El C.V.P está acotado en el intervalo [0_1] Cuando mayor sea el C.A menor será la capacidad del test para pronosticar el criterio. 3. Coeficiente de valor predictivo múltiple : complementario al C.A, es otra forma de expresar la capacidad del test para pronosticar el criterio

TEMA 6.2: VALIDEZ II 18 VALIDACIÓN REFERIDA AL CRITERIO. Ejemplo Se quiere averiguar si la fluidez verbal y la extraversión son variables que favorecen el número de ventas en comerciales de automóviles. Se ha seleccionado a una muestra de 6 vendedores que han sido evaluados por dos pruebas de extraversión (X1) y fluidez verbal (X2), respectivamente. YX1X1 X2X2 Y2Y2 X1 2 X2 2 YX 1 YX 2 X 1 X

TEMA 6.2: VALIDEZ II 19 1.Calculamos las intercorrlaciones entre las variables: 2. A continuación, ya disponemos todos los datos para calcular el coeficiente de correlación múltiple o coef. de validez: Dado que el valor máximo del coeficiente de validez es 1 se puede decir que X1 y X2 tienen una buena capacidad predictiva. VALIDACIÓN REFERIDA AL CRITERIO. Ejemplo

TEMA 6.2: VALIDEZ II En tercer lugar, habría que calcular las correlaciones parciales y semiparciales -Correlación parcial entre extraversión y ventas: 1. Si antes la correlación entre extraversión y ventas era 0.79, ahora, cuando hemos eliminado la influencia de F.verbal es Es decir, ha aumentado,  que la fluidez verbal podría estar afectando negativamente. -Correlación parcial entre F.verbal y ventas: 2. Si antes la correlación entre ventas y F.verbal era 0.30, ahora es –0.46  la extraversión está afectando muy positivamente en la correlación. VALIDACIÓN REFERIDA AL CRITERIO. Ejemplo

TEMA 6.2: VALIDEZ II 21 Todo ello nos indica que, en la medida de lo posible hay que evitar correlaciones altas entre los predictores (Extraversión con F.verbal; r=0.65) 3. En tercer lugar, habría que calcular las correlaciones y semiparciales -Correlación semi-parcial entre extraversión y ventas: 1. Si antes la correlación entre extraversión y ventas era 0.79, ahora, cuando hemos eliminado de extraversión el efecto de F.Verbal pasa a ser Correlación semi-parcial entre F.Verbal y ventas: 2. Si antes la correlación entre F.Verbal y ventas era 0.30, ahora, cuando hemos eliminado de F.Verbal el efecto de extraversión pasa a ser VALIDACIÓN REFERIDA AL CRITERIO. Ejemplo

TEMA 6.2: VALIDEZ II 22 VALIDACIÓN REFERIDA AL CRITERIO. Ejemplo 4. Calcular la ecuación de regresión : Y=a+b 1 X 1 + b 2 X 2 Y´= X 1 –0.36X 2 Y (x 1 =2; x2=4) = *2-0.36*4= Calculamos el origen de ordenadas; y ambos coeficientes de regresión 2. Así por ejemplo, un sujeto que en extraversión haya obtenido 2, y 4 en F.Verbal, se le pronostica que venda aproximadamente 5 coches

TEMA 6.2: VALIDEZ II 23 Error de estimación YX1X1 X2X2 Y´=a+b 1 X 1 + b 2 X 2 Y´Y-Y´ 424 Y´= *2 –0.36*4 4.52(4-4.52) Y´= *6 –0.36* Y´= *5 –0.36* Y´= *7 –0.36* Y´= *4 –0.36* Y´= *8 –0.36* Una vez construida la recta de regresión, podemos predecir para cada valor de X, cuál sería la puntuación del sujeto en el criterio (Y) - Una vez estimados todos los valores Y´, podemos obtener los correspondientes errores de pronóstico, si al valor real le restamos el pronosticado. Ejemplo (4-4.52) VALIDACIÓN REFERIDA AL CRITERIO. Ejemplo

TEMA 6.2: VALIDEZ II 24 A partir de los datos de tabla podemos calcular: -La varianza de las puntuaciones pronosticadas Dado que Cov(e,Y`)=0  -La varianza de los errores o el error típico de estimación múltiple. VALIDACIÓN REFERIDA AL CRITERIO. Ejemplo

TEMA 6.2: VALIDEZ II Intervalos confidenciales. Supongamos que queremos saber cuántos coches debería vender un comercial que en extraversión puntúa en 5 y 6 en fluidez verbal  construir los intervalos confidenciales en torno a la estimación puntual: 1.Nivel de confianza (95%)  Zc=± Calcular el error típico de estimación múltiple: 3.Calcular el error máximo: Emax=ZcSy.x; Emax=1.96*0.71= Estimar el valor en el criterio para una puntuación de 5 y 6: 5. Establecer el intervalo de confianza. Y`  Emax=5.78±1.39=4.39 Y 7.17 VALIDACIÓN REFERIDA AL CRITERIO. Ejemplo

TEMA 6.2: VALIDEZ II 26 Coeficiente de determinación múltiple: la proporción de varianza de las puntuaciones de los sujetos en el criterio que se puede pronosticar a partir de los predictores. Es decir, el 70 % de las puntuaciones en el criterio se podría pronosticar a partir X 1 y X 2 mientras que el resto, el 30% equivale a la variabilidad de las puntuaciones en el criterio sin explicar por los predictores. Coeficiente de alienación múltiple: proporción que representa el error típico de estimación respecto a la desviación típica de las puntuaciones en el criterio VALIDACIÓN REFERIDA AL CRITERIO. Ejemplo

TEMA 6.2: VALIDEZ II 27 Métodos para seleccionar las variables predictoras más adecuadas. Según Thorndike y Hagen (1989), los predictores han de ser: -a) Relevantes : ¿en qúe medida el indicador se corresponde con el criterio? -b) Libres de sesgo : evitar seleccionar variables que afectan de manera diferencial entre grupos. -c) Fiables : las medidas obtenidas han de ser precisas y mantenerse estables a lo largo del tiempo. -d) Accesibles

TEMA 6.2: VALIDEZ II 28 Métodos para seleccionar las variables predictoras más adecuadas. Cuanto más predictores mejor, dado que R aumenta. Sin embargo, hemos de prestar especial atención a la MULTICOLINEALIDAD  existencia de correlaciones altas entre los predictores (un predictor puede explicarse mediante la combinación lineal de otros)  información redundante, lo que hace que se sobre-estime el coeficiente de determinación

TEMA 6.2: VALIDEZ II 29 Métodos para la selección de las variables: - Método “ Forward ” (hacia delante) -1. Calcular las intercorrelaciones entre las variables. -2. Selecciona la variable predictora cuya correlación con el criterio sea más alta y se construye la ecuación de regresión. -3. Se van añadiendo a la ecuación, una a una, las demás variables en función de su contribución de acuerdo con la correlación semi- parcial. -4. Cada vez que se introduce una variable, se calcula el aumento en el porcentaje de varianza explicado, analizando si es estadísticamente significativo. El proceso se detiene cuando el aumento no es significativo. Métodos para seleccionar las variables predictoras más adecuadas.

TEMA 6.2: VALIDEZ II 30 Métodos para la selección de las variables: - Método “ Backward ” (hacia atrás) 1.Calcular la correlación múltiple al cuadrado entre el criterio y el conjunto de variables predictoras. 2.Se van eliminando, una a una, las variables menos relevantes, calculando la reducción que se produce en el coeficiente de determinación. 3.El proceso se detiene, al contrario que en el caso anterior, cuando la reducción observada sea significativa. Métodos para seleccionar las variables predictoras más adecuadas.

TEMA 6.2: VALIDEZ II 31 Validez y utilidad de las decisiones; TRC 31

TEMA 6.2: VALIDEZ II 32 VALIDEZ Y UTILIDAD DE LAS DECISIONES Se incluyen una serie de procedimientos que permiten analizar la validez de las decisiones tomadas a partir de las puntuaciones obtenidas en un test en relación a un criterio dicotómico. En este caso, las puntuación del test se dicotomizan ( aptos-no aptos; enfermo-no enfermo, etc). Diferenciamos entre: -Punto de corte en el test : puntuación en el test que diferencia entre sujetos que se encuentran por encima o por debajo del punto de corte (aptos-no aptos; clínicos-no clínicos,...). -Punto de corte en el criterio : puntuación en el criterio por encima de la cual el resultado se considera un éxito, o caso clínico, por ejemplo. VALIDEZ Y UTILIDAD DE LAS DECISIONES:

TEMA 6.2: VALIDEZ II 33 VALIDEZ Y UTILIDAD DE LAS DECISIONES. Índices de validez y de selección. 33 Test Criterio Si (sobre el punto de corte) No (bajo el punto de corte) SiA (verdaderos positivos) VP C (falsos negativos) FN A+CA+C NoB (falsos positivos) FP D (verdadero negativos) VN B+DB+D A+BA+BC+DC+DA+B+C+D La dicotomización del test y del criterio, llevan a la clasificación de todos los sujetos en una tabla de contingencia de 2 * 2: El objetivo es que con el test se puedan tomar el mayor número de decisiones correctas  test y criterio coincidan en las clasificaciones ( A y D ). Y el menor´número de decisiones incorrectas, es decir, que no coincidan ( B y C )

TEMA 6.2: VALIDEZ II 34 Test Criterio Si (sobre el punto de corte) No (bajo el punto de corte) SiA (verdaderos positivos)=18 C (falsos negativos)=3 A+C = 21 NoB (falsos positivos)=2 D (verdaderos negativos)=27 B+D = 29 A+B = 20C+D = 3050 Se ha aplicado un test que trata de diagnosticar demencia a una muestra de 50 sujetos. Como criterio se ha utilizado la entrevista clínica realizada por un experto. Las clasificaciones realizadas han sido las siguiente: VALIDEZ Y UTILIDAD DE LAS DECISIONES

TEMA 6.2: VALIDEZ II 35 VALIDEZ Y UTILIDAD DE LAS DECISIONES. Índices de validez INDICES DE VALIDEZ: A partir de los datos, es necesario obtener algún indicador de validez: 1. Coeficiente Kappa : permite evaluar la consistencia de las clasificaciones, o en qué medida las clasificaciones de test y criterio han coincidido por azar. Se expresa mediante: Donde: Fc= nº de casos en los que coinciden test y criterio (A+D) Fa= número de casos en los que coinciden por azar. N= nº de personas de la muestra.

TEMA 6.2: VALIDEZ II 36 VALIDEZ Y UTILIDAD DE LAS DECISIONES. Índices de validez 36 INDICES DE VALIDEZ: A partir de los datos, es necesario obtener algún indicador de validez: 1. Coeficiente Kappa: Puesto que el valor máximo es 1, podemos decir que la validez de la prueba de diagnóstico (test) es alta

TEMA 6.2: VALIDEZ II Proporción de clasificaciones correctas: grado en que test y criterio coinciden en las clasificaciones VALIDEZ Y UTILIDAD DE LAS DECISIONES. Índices de validez 3. Sensibilidad (tasa de verdaderos positivos) : grado en que el test es bueno para detectar exclusivamente a las personas con trastorno. No se tiene en cuenta el efecto del azar

TEMA 6.2: VALIDEZ II Especificidad (tasa de verdaderos negativos) : grado en que el test es bueno para excluir a los que realmente no tienen el trastorno. 5. Razón de eficacia : grado en que el test es bueno para seleccionar a sujetos que tendrán el trastorno. INDICES DE VALIDEZ: VALIDEZ Y UTILIDAD DE LAS DECISIONES. Índices de validez

TEMA 6.2: VALIDEZ II 39 Otro tipo de índices son los de SELECCIÓN: 1. Razón de idoneidad: proporción de sujetos que superaron el punto de corte en el criterio VALIDEZ Y UTILIDAD DE LAS DECISIONES. Índices de selección 2. Razón de selección: proporción de sujetos que superaron el punto de corte en el test. Test Criterio Si (sobre el punto de corte) No (bajo el punto de corte) SiA (verdaderos positivos)=18 C (falsos negativos)=3 A+C = 20 NoB (falsos positivos)=2 D (verdaderos negativos)= B+D = 30 A+B = 20C+D = 2950

TEMA 6.2: VALIDEZ II 40 ¿DÓNDE SITUAR EL PUNTO DE CORTE? Dado que es necesario dicotomizar las puntuaciones, dónde se sitúe el punto de corte va a traer consecuencias en las decisiones tomadas con el test. VALIDEZ Y UTILIDAD DE LAS DECISIONES. ¿Dónde situar el punto de corte? Falsos negativosAciertos, Verdaderos positivos Rechazos, Verdaderos negativos Falsos positivos Aceptados Rechazados CRITERIO RechazadosAceptados TEST C B A D P. Corte del test

TEMA 6.2: VALIDEZ II 41 Falsos negativosAciertos, Verdadero s positivos Rechazos, Verdaderos negativosFalsos positivos Aceptados Rechazados CRITERIO RechazadosAceptados TEST Consecuencias de desplazar el punto de corte del test hacia la derecha  criterio más estricto - Consecuencia positiva : Disminuye la tasa de falsos positivos. - Consecuencia negativa : Aumenta la tasa de falsos negativos. C B A D VALIDEZ Y UTILIDAD DE LAS DECISIONES. ¿Dónde situar el punto de corte?

TEMA 6.2: VALIDEZ II 42 Consecuencias de hacer más estricto el punto de corte del Criterio: - Consecuencia positiva : Disminuye la tasa falsos negativos. - Consecuencia negativa : Aumenta la tasa de falsos postivos. Falsos negativosAciertos, Verdaderos positivos Rechazos, Verdaderos negativos Falsos positivos Aceptados Rechazados CRITERIO RechazadosAceptados TEST C B A D VALIDEZ Y UTILIDAD DE LAS DECISIONES. ¿Dónde situar el punto de corte?

TEMA 6.2: VALIDEZ II 43 ¿Dónde situar el punto de corte? En general, en aquel punto que maximice la capacidad predictiva del test. Es decir, en aquel valor donde se cometa un menor número de errores. Para ello hay que: Analizar las consecuencias de las decisiones tomadas, ya que no siempre tiene la misma importancia cometer un tipo de error u otro (falsos negativos, o falsos positivos). Ejemplo, tests diagnósticos de SIDA: es más grave la existencia de falsos negativos, es decir sujetos que lo padecen, pero que el test determina que no. Ya que los sujetos no recibirán tratamiento y el riesgo de contagio a otras personas será mayor. VALIDEZ Y UTILIDAD DE LAS DECISIONES. ¿Dónde situar el punto de corte?

TEMA 6.2: VALIDEZ II 44 MODELOS DE SELECCIÓN: ¿cómo combinar toda la información sobre un sujeto para tomar una decisión (tests, entrevista, actitud,...). 1.Compensatorio: modelo aditivo, en el que al sujeto se le asigna una única puntuación global. Por ello, puede compensar una baja puntuación en el test, por ejemplo, con una alta puntuación en el criterio. No siempre tiene sentido, ya que la ausencia de una destreza no tiene porqué compensarse con otra. 2.Conjuntivo: se fijan previamente unos mínimos que han de cumplir los sujetos en ambas pruebas. 3.Disyuntivo: sólo se exige superar un determinado nivel en alguna de las pruebas utilizadas. VALIDEZ Y UTILIDAD DE LAS DECISIONES. Modelos de selección

TEMA 6.2: VALIDEZ II 45 MODELOS DE SELECCIÓN: 2-1: conjuntivo-compensatorio: en un primer momento se aplica el modelo conjuntivo (superar todas las pruebas), y a continuación se calcula una puntuación global (compensatorio). 3-1: disyuntivo-compensatorio: se hace una primera selección aplicando el modelo disyuntivo (superar al menos, alguna de las pruebas), y a continuación se les aplica el compensatorio (puntuación global). VALIDEZ Y UTILIDAD DE LAS DECISIONES. Modelos de selección

TEMA 6.2: VALIDEZ II 46 Factores que influyen en el coeficiente de validez

TEMA 6.2: VALIDEZ II 47 FACTORES QUE INFLUYEN EN EL COEF. VALIDEZ: Coeficiente de validez: correlación entre las puntuaciones del test y del criterio  muy sensible a ciertos aspectos de las variables utilizadas. Schmidt y Hunter (1990) refieren 11 aspectos que pueden alterar los tamaños de las correlaciones: 1.Error muestral, o diferencia entre el coeficiente de correlación muestral y poblacional. 2.Error de medida, o ausencia de fiabilidad perfecta en la variable de predictora. 3.Error de medida en la variable criterio. 4.Utilizar criterios muy simplificados, reducidos a dos valores (apto- no apto). FACTORES QUE INFLUYEN EN EL COEFICIENTE DE VALIDEZ

TEMA 6.2: VALIDEZ II 48 FACTORES QUE INFLUYEN EN EL COEF. VALIDEZ: 5. Dicotomización de la variable predictora. 6. Cambios de variabilidad en la variable criterio en otras muestras o condiciones. 7. Cambios de variabilidad en la v. predictora en otras muestras o condiciones 8. Definición incorrecta del constructo en la variable predictora. 9. Definición incorrecta del constructo en el criterio. 10. Errores de codificación, cálculo, etc. 11. Factores extraños ligados a las características de la muestra (experiencia, edad,...) FACTORES QUE INFLUYEN EN EL COEFICIENTE DE VALIDEZ

TEMA 6.2: VALIDEZ II 49 -Variabilidad. -Fiabilidad. -Longitud. FACTORES QUE INFLUYEN EN EL COEFICIENTE DE VALIDEZ

TEMA 6.2: VALIDEZ II 50 FACTORES QUE INFLUYEN EN EL COEF. VALIDEZ: 1. La variabilidad de la muestra : A medida que aumenta ésta, el coeficiente de validez aumenta. Por el contrario, a medida que disminuye el coeficiente de validez disminuye.  la muestra dónde se calcule va a determinar el coeficiente de validez obtenido. FACTORES QUE INFLUYEN EN EL COEFICIENTE DE VALIDEZ. Variabilidad de la muestra Supongamos que en una Universidad se utiliza un test para seleccionar a los alumnos. Para conocer la capacidad predictiva del test, tenemos dos opciones: 1. Aplicar el test y Admitirlos a todos. Al finalizar tendríamos que evaluarles en el criterio. Entonces calcularíamos la correlación para obtener el coeficiente de validez. A continuación habría que expulsar a los que en un principio no superaron el test. 2.Aplicar el test, y realizar la selección (muestra más homogénea). Al finalizar se aplicaría el criterio y basándonos en una serie de supuestos, hacer una estimación del coeficiente de validez que se hubiera obtenido en el grupo total de aspirantes.

TEMA 6.2: VALIDEZ II Por el principio de homocedasticidad, los errores típicos de estimación son iguales en los dos grupos FACTORES QUE INFLUYEN EN EL COEFICIENTE DE VALIDEZ. Variabilidad de la muestra Supuestos para la estimación de la validez en muestras con distinta variabilidad: 1. La pendiente de la recta de regresión es la misma en el grupo de aspirantes (R) que en el de seleccionados (r). Muestra total de aspirantes Muestra de seleccionados Para conocer la validez en el grupo total de aspirantes, basta con sustituir y despejar:

TEMA 6.2: VALIDEZ II 52 FACTORES QUE INFLUYEN EN EL COEFICIENTE DE VALIDEZ, Variabilidad de la muestra Suponemos que el número de aspirantes era 300 y que obtuvieron una desviación típica de 12 puntos. De entre todos ellos se seleccionaron a 40, cuya desviación típica fue de 6 puntos. Al cabo del año, fueron calificados en el criterio, siendo la correlación con el test de ¿Cuál sería el coeficiente de validez estimado si se hubiese calculado en la muestra total? Se aprecia que al estimarse en una muestra con mayor variabilidad, el incremento es notable. Ya que pasa de 0.30 a 0.53.

TEMA 6.2: VALIDEZ II 53 FACTORES QUE INFLUYEN EN EL COEF. VALIDEZ: 2. La Fiabilidad de las puntuaciones del test y del criterio : las puntuaciones del test y criterio están afectadas por los errores de medida, que pueden estar afectando al coeficiente de validez que se estime. Spearman (1904) propuso las fórmulas de atenuación que permiten corregir la atenuación o disminución del coeficiente de validez debido a los errores de medida. FACTORES QUE INFLUYEN EN EL COEFICIENTE DE VALIDEZ. Fiabilidad de las puntuaciones 2.1. Estimación del coeficiente de validez en el caso de que tanto test como criterio tuvieran una fiabilidad perfecta  calcular la correlación entre las puntuaciones verdaderas del test y del criterio.

TEMA 6.2: VALIDEZ II 54 Aplicado un test a una muestra de sujetos se obtuvo un coeficiente de fiabilidad de El coeficiente de fiabilidad del criterio resultó ser 0.60 y el coeficiente de validez de ¿Cuál sería el coeficiente de validez estimado en el caso de que tanto las puntuaciones del test como del criterio estuvieran libres de errores de medida? FACTORES QUE INFLUYEN EN EL COEFICIENTE DE VALIDEZ. Fiabilidad de las puntuaciones 2.2. Estimación del coeficiente de validez en el caso de que el TEST tuviera una fiabilidad perfecta.  C alcular la correlación entre las puntuaciones verdaderas del test y las empíricas del criterio.

TEMA 6.2: VALIDEZ II 55 FACTORES QUE INFLUYEN EN EL COEFICIENTE DE VALIDEZ. Fiabilidad de las puntuaciones 2.3. Estimación del coeficiente de validez en el caso de que el CRITERIO tuviera una fiabilidad perfecta.  calcular la correlación entre las puntuaciones empíricas del test y las verdaderas del criterio. El coeficiente de validez aumenta en todos los casos. Sin embargo, se trata de supuestos hipotéticos ya que es imposible eliminar los errores, pero sí es posible tratar de reducirlos mejorando los coeficientes de fiabilidad. Para ello, contamos con las siguientes situaciones:

TEMA 6.2: VALIDEZ II 56 FACTORES QUE INFLUYEN EN EL COEFICIENTE DE VALIDEZ. Fiabilidad de las puntuaciones 2.4. Estimación del coeficiente de validez en el caso de que se mejorase la fiabilidad tanto del TEST como del CRITERIO. Continuando con el ejemplo anterior, ¿Cuál sería el coeficiente de validez, si se consiguiera un coeficiente de fiabilidad en el test de 0.75 y en el criterio de 0.64?

TEMA 6.2: VALIDEZ II Estimación del coeficiente de validez en el caso de que se mejorase la fiabilidad del TEST. Continuando con el ejemplo anterior, ¿Cuál sería el coeficiente de validez, si se consiguiera un coeficiente de fiabilidad en el TEST de 0.75? FACTORES QUE INFLUYEN EN EL COEFICIENTE DE VALIDEZ. Fiabilidad de las puntuaciones

TEMA 6.2: VALIDEZ II Estimación del coeficiente de validez en el caso de que se mejorase la fiabilidad del CRITERIO Continuando con el ejemplo anterior, ¿Cuál sería el coeficiente de validez, si se consiguiera un coeficiente de fiabilidad en el CRITERIO de 0.70? FACTORES QUE INFLUYEN EN EL COEFICIENTE DE VALIDEZ. Fiabilidad de las puntuaciones

TEMA 6.2: VALIDEZ II 59 FACTORES QUE INFLUYEN EN EL COEFICIENTE DE VALIDEZ. Valor máximo del coeficiente de validez El valor máximo del coeficiente de validez es menor-igual que el índice de fiabilidad. Para ello, sabemos que el coeficiente de validez del test cuando se eliminan los errores de medida es menor-igual que 1: 1. Suponiendo que efectivamente sea 1. Se deduce que el coef. validez es menor-igual que el producto de las raíces del coef. fiabilidad del test por el criterio: 2. Y suponiendo que el valor máximo del coef. fiabilidad del criterio es 1, entonces el coef. validez es menor-igual que la raíz del coef. de fiabilidad del test 3. Y dado que la raíz del coef. De fiabilidad es el índice de fiabilidad, entonces el coef. validez es menor-igual que el índice de fiabilidad:

TEMA 6.2: VALIDEZ II 60 FACTORES QUE INFLUYEN EN EL COEFICIENTE DE VALIDEZ. Validez y longitud. FACTORES QUE INFLUYEN EN EL COEF. VALIDEZ: 3. Longitud del test. Para ello, utilizamos la fórmula de Spearman-Brown que relaciona fiabilidad y longitud: Y la sustituimos en la fórmula que relaciona validez y fiabilidad: Rxx. Spearman-Brown que relaciona fiabilidad y longitud

TEMA 6.2: VALIDEZ II 61 FACTORES QUE INFLUYEN EN EL COEFICIENTE DE VALIDEZ. Validez y longitud. 3. Longitud del test. También nos puede interesar al número de veces que hay que aumentar o disminuir la longitud de un test para lograr un determinado valor del coeficiente de validez. En cuyo caso: Supongamos que un test de 30 elementos tiene un coeficiente de validez de 0.60 y uno de fiabilidad de 0.64 ¿cuántos elementos habría que añadir para obtener un coeficiente de validez de 0.70? Habría que valorar hasta qué punto merece la pena hacer más largo un test; ya que a veces no compensa Es decir, para obtener un coeficiente de validez de 0.70, partiendo de uno de.60, habría que hace 3.80 veces más largo el test  114 ítems

TEMA 6.2: VALIDEZ II 62 GENERALIZACIÓN DE LA VALIDEZ. GENERALIZACIÓN DE LA VALIDEZ: Hace referencia a la posibilidad de utilizar y aplicar la evidencia obtenida en una situación a otras similares. Este problema es de especial relevancia en los estudios a gran escala, dado que suelen utilizarse muestras muy diversas, incluso de culturas distintas. Para analizar este punto se han utilizado técnicas estadísticas derivadas del meta-análisis. Meta-análisis: síntesis cuantitativas de estudios, que permiten analizar diversos estudios de validación del mismo test ya que traducen los resultados a una métrica común.

TEMA 6.2: VALIDEZ II 63 A MODO DE SÍNTESIS -Tema anterior: Concepto de validez, evolución histórica; validez criterio con 1 predictor y 1 criterio. 1.Validación con varios predictores (Correlación parcial y semi-parcial  RL.Múltiple) 2. C.D, C.A, y V.P múltiple. 3.Métodos para la elección de los criterios (relevantes,libres de sesgo, fiables, accesibles); MULTICOLINEALIDAD (correlación entre predictores). 4. Validez de las decisiones  dicotomizar test y criterio (índices de validez, índices de selección).

TEMA 6.2: VALIDEZ II ¿Dónde situar el punto de corte?  importancia de las decisiones. 6. Modelos de selección (compensatorio; conjuntivo, disyuntivo; conjuntivo-compensatorio; disyuntivo-compensatorio). 7. Factores que afectan a la validez (variabilidad, fiabilidad, longitud). -Siguiente tema: Análisis de la calidad métrica de los ítems. Cuyo objetivo es maximizar la fiabilidad y validez de un test. A MODO DE SÍNTESIS

TEMA 6.2: VALIDEZ II Barbero, I., García, E. Vila, E., y Holgado, F.P. (2010 ). Psicometría: Problemas resueltos. Madrid: Sanz y Torres. Se trata de un libro de ejercicios y problemas en el que se incluye el desarrollo de la solución. El alumno podrá completar desde un punto de vista aplicado los conceptos y contenidos vistos en la parte teórica; así como adquirir las destrezas necesarias para la resolución de problemas. 2. Barbero, I. (Coord), Vila, E. y Holgado, F.P. (2010). Psicometría. Madrid: Sanz y Torres. En el capítulo 7 hace un repaso sobre los principales aspectos relativos a la validez de criterio cuando se dispone de más de un predictor. Y en su segunda parte presenta, de manera clara y directa la validez desde los TRC. BIBLIOGRAFÍA COMENTADA

TEMA 6.2: VALIDEZ II Martínez Arias, R. (1995). Psicometría: Teoría de los Tests Psicológicos y Educativos. Madrid: Síntesis. Se tratan los principales aspectos relacionados con la validez tanto en su vertiente teórica como aplicada. Tras una presentación conceptual de los tipos tradicionales de validez (Capítulo 12), profundiza en los aspectos formales de la validez relativa al criterio (Capítulos 13 al 15). 4. Meliá, J.L. (2000). Teoría de la Fiabilidad y la Validez. Valencia: Cristóbal Serrano. En el Capítulo 11 se realiza un recorrido por algunas de las definiciones tradicionales de la validez. También se presentan las implicaciones de los tipos tradicionales de validez así como la relación existente entre la fiabilidad y la validez. El Capítulo termina con un apartado en el que realizan algunas consideraciones generales sobre la importancia de la validez. 66 BIBLIOGRAFÍA COMENTADA