EJEMPLO PARA ACTIVIDADES SOBRE VALIDEZ Validez: Evaluación empírica. 1) Evidencia convergente y discriminante  Matrices MRMM 2) Análisis de las relaciones test-criterio  Regresión

Validez: Evaluación empírica.   Una inferencia válida basada en las puntuaciones de un test (el plano empírico) se dice que es válida porque ha recibido algún apoyo empírico. Cuanto mayor es el apoyo, mayor la confianza en esa inferencia, es decir, mayor su validez. ¿Puedo usar o interpretar las puntuaciones en este test del modo deseado? Teoría (ideas) Constructos o conceptos Plano empírico Variables observables o indicadores Operacionalización X

Validez: Evaluación empírica. 1) Evidencia convergente y discriminante  Matrices MRMM 2) Análisis de las relaciones test-criterio  Regresión

Evidencia convergente y discriminante  Correlación   Hemos pasado el EPQ-RA, y el BFQ, ambos cuestionarios de personalidad. Tenemos las siguientes variables: EPQ-RA (Versión reducida del cuestionario BFQ (Big Five Questionnaire, recoge los cinco revisado de personalidad de Eysenck) factores de personalidad del Five Factor Model) * Extroversión * Extroversión * Neuroticismo * Estabilidad emocional (Neuroticismo) * Psicoticismo * Amabilidad * Sinceridad * Responsabilidad o Tesón * Intelecto Apertura También hemos administrado el D-48 (Test del dominó. Mide inteligencia general) Esperamos encontrar un patrón de correlaciones acorde con lo que plantea la teoría. + +

Seleccionamos las puntuaciones en las dimensiones de Extroversión y Neuroticismo de los dos cuestionarios, y las del D-48

Los resultados van en la dirección esperada. Validez convergente: Las escalas que miden lo mismo, presentan correlaciones altas. Validez discriminante: las escalas del test correlacionan bajo con otras escalas o tests que no miden lo mismo.

Validez: Evaluación empírica. 1) Evidencia convergente y discriminante  Matrices MRMM 2) Análisis de las relaciones test-criterio  Regresión

y Análisis de las relaciones test-criterio. Operacionalización X   ¿Cuán bien puedo pronosticar las puntuaciones en un criterio dado a partir de las puntuaciones en el test? Teoría (ideas) Constructos o conceptos Plano empírico Variables observables o indicadores Operacionalización X y

Análisis de las relaciones test-criterio  Regresión   La pregunta clave es: ¿el test es útil para predecir criterios externos a la prueba? Trata de garantizar la eficacia del test para pronosticar una variable de interés. Numerosos estudios de investigación han analizado el poder predictivo de las dimensiones de personalidad del modelo de Eysenck (Extroversión, Psicoticismo y Neuroticismo) sobre la Desadaptación escolar. Vamos a evaluar las relaciones test-criterio de las distintas dimensiones del EPQ-RA. El criterio será la puntuación en un test de Desadaptación Escolar (mayor puntuación implica peor adaptación). Para ello utilizaremos la regresión. La regresión es una técnica más sofisticada que la correlación. Permite saber el porcentaje de varianza del criterio que puedo pronosticar adecuadamente a partir del test. Y el cambio que puedo esperar en el criterio por cada unidad de cambio en el test. Como tenemos 3 dimensiones, haremos un análisis de regresión múltiple.

Desadaptación Escolar Análisis de las relaciones test-criterio. ¿Cuán bien puedo pronosticar las puntuaciones en un criterio dado a partir de las puntuaciones en el test? Teoría (ideas) Plano empírico Personalidad Ítem 7 Ítem 3 Ítem 12 Ítem 13 e3 e1 e12 e7 Extro- versión Neuroti- cismo Psicoti- Ítem 1 e13 .... X2 Neuroticismo Y Desadaptación Escolar X1 Extroversión X3 Psicoticismo

Variable Dependiente o criterio: Desadaptación escolar Es la variable que pretendemos predecir a partir de la puntuación en las 3 dimensiones del test Variables Independientes o predictoras: Extroversión Neuroticismo Psicoticismo Son las que utilizamos para intentar predecir el criterio

test(3 dimensiones)-criterio. Coeficiente de validez. Coeficiente de correlación múltiple al cuadrado corregido (ajustado al tamaño de la muestra): Indica el porcentaje de varianza del criterio explicado por las 3 dimensiones del test. Es muy bajo, solo puedo explicar un 4,6% de la varianza de la desadaptación. La relación es débil. Correlación múltiple test(3 dimensiones)-criterio. Coeficiente de validez. La relación es débil.

Contrasta la hipótesis nula (H0) que afirma que la proporción de varianza explicada por el test es nula. Si Sig. < .05  Rechazamos la H0 (es lo que deseamos) Si Sig. > .05  Mantenemos la H0 Conclusión: Rechazamos la hipótesis nula. Las 3 dimensiones del EPQ-RA explican un porcentaje de varianza de la desadaptación (4,6%) significativamente distinto de cero

Indica el incremento/decremento que se produce en la desadaptación escolar por cada unidad de incremento en cada una de las dimensiones de personalidad. Por cada unidad de incremento en Extroversión, la desadaptación disminuye 1,4 unidades. Por cada unidad de incremento en Neuroticismo, la desadaptación aumenta en 0,15 unidades. Por cada unidad de incremento en Psicoticismo, la desadaptación aumenta en 1,3 unidades. El efecto es pequeño en Neuroticismo. Pero importante en Extroversión y Psicoticismo. El Neuroticismo es la única dimensión que NO resulta ser un predictor significativo (Sig. > .05) de la desadaptación escolar.

Validez: Evaluación empírica.   A falta de analizar la estructura interna del test, podemos concluir que parece que éste funciona bien: Evidencia convergente y discriminante: se encuentra el patrón de correlaciones esperado. Análisis de las relaciones test-criterio: las dimensiones de Extroversión y Psicoticismo resultan ser predictores significativos de la Desadaptación escolar. CUANTO MAYOR SEA LA EVIDENCIA QUE OFREZCAMOS APOYANDO EL SIGNIFICADO PSICOLÓGICO QUE DAMOS A LAS PUNTUACIONES DE UN TEST, MAYOR SERÁ SU VALIDEZ. UNA SOLA EVIDENCIA ES INSUFICIENTE TANTO PARA CONFIRMAR COMO PARA RECHAZAR LA VALIDEZ DE UN TEST.