09. Validez Estimación y evaluación de la evidencia de validez convergente y discriminante

Tipos de validez 1. Validez de contenido 2. Validez de constructo El contenido real del instrumento Lo que debería incluirse en el instrumento, según la teoría y Validez de contenido: Por expertos. Validez de facie: Por no expertos. La estructura interna real del instrumento La estructura que el instrumento debería poseer, según la teoría y Constructo único. Constructo multidimensional.

Las asociaciones reales de un instrumento Tipos de validez 3. Validez convergente Validez convergente: Concurrente Predictiva Validez discriminante Las asociaciones que el instrumento debería (o no) tener con otras medidas, según la teoría Las asociaciones reales de un instrumento y

Red nomológica Guía para evaluar la calidad convergente y divergente de un instrumento

Red de “significados” alrededor de un constructo. Red nomológica Constructos psicológicos en un contexto teórico RED NOMOLÓGICA Red de “significados” alrededor de un constructo. Constructo Reac

Red nomológica Lee Cronbach y Paul Meehl en 1955. Nomológica: Del griego que significa legítimo. Dicta un patrón particular de asociaciones entre constructos y sus medidas.

Red nomológica Sugiere que la medida de un constructo debería estar: fuertemente asociada con medidas de algunos constructos, pero débilmente correlacionada con medidas de otros constructos.

Necesidad de pertenencia Red nomológica Ejemplo: Escala de Necesidad de Pertenencia Necesidad de pertenencia Pulsión para formar y mantener al menos una cantidad mínima de relaciones interpersonales duraderas, positivas y significativas. Más Menos

Necesidad de pertenencia Necesidad de afiliación Red nomológica Correlaciones de débiles a moderadas con: Necesidad de pertenencia Necesidad de afiliación Extroversión Sociabilidad

Necesidad de pertenencia Red nomológica No correlación con: Necesidad de pertenencia Autoestima

Necesidad de pertenencia Apertura a la experiencia Red nomológica Correlaciones negativas con: Necesidad de pertenencia Introversión Apertura a la experiencia Aislamiento social

Red nomológica Síntesis Red nomológica de NECESIDAD DE PERTENENCIA Correlaciones positivas con: No correlación con: Correlaciones negativas con: Necesidad de afiliación Autoestima Apertura a la experiencia Sociabilidad Aislamiento social Extroversión Introversión

Red nomológica Predicciones con base en la red: Guía para evaluar la calidad convergente y divergente de la Escala de Necesidad de Pertenencia.

MÉTODOS PARA EVALUAR LA VALIDEZ CONVERGENTE Y DISCRIMINANTE

Métodos para evaluar la validez convergente y discriminante Asociaciones focalizadas Grupos de correlaciones Matrices multirrasgo-multimétodo

Asociaciones Focalizadas Método de Asociaciones Focalizadas

Métodos para evaluar la validez convergente y discriminante Enfocarse en las asociaciones entre los puntajes de la prueba y una o algunas variables específicas (variables criterio). Son asociaciones predichas cruciales. Proporcionan: Fuerte evidencia de validez Serias dudas sobre la validez de la prueba o

Métodos para evaluar la validez convergente y discriminante Asociaciones focalizadas Ejemplo: El Test de Evaluación Escolar (SAT) debe estar asociado con medidas de ejecución académica (variable criterio). Un estudio con más de 110,000 estudiantes de 25 universidades en EU reveló una correlación promedio de .55 entre sus puntajes en el SAT y sus calificaciones.

Métodos para evaluar la validez convergente y discriminante Estas correlaciones, llamadas coeficientes de validez, son fundamentales para establecer la validez. Dan confianza a psicómetras, usuarios y evaluadores respecto de la calidad del instrumento (que mide el constructo que pretende medir).

Métodos para evaluar la validez convergente y discriminante Generalización de la validez

Métodos para evaluar la validez convergente y discriminante Generalización de la validez Proceso de evaluación de los coeficientes de validez de una prueba a través de un gran grupo de estudios. Comúnmente, se realizan estudios con muestras de 50 a 400 participantes, por limitaciones de tiempo y recursos.

Métodos para evaluar la validez convergente y discriminante PASOS: Aplicar la prueba. Evaluar la(s) variable(s) criterio relevante(s). Obtener la(s) correlación(es) entre a y b. Los estudios con muestras pequeñas, con un tipo específico de población, podrían proporcionar evidencia de validez convergente y discriminante, pero no se pueden generalizar a otras.

Métodos para evaluar la validez convergente y discriminante Estudios de generalización de la validez: Evalúan la utilidad predictiva de los puntajes de una prueba en diferentes ambientes, ocasiones, situaciones, etc. Combina los resultados de varios estudios individuales más pequeños en un gran análisis.

Métodos para evaluar la validez convergente y discriminante Los estudios de generalización de la validez pueden revelar: El nivel general de la validez predictiva a través de todos los estudios individuales pequeños . El grado de variabilidad entre los estudios (si es alto, la validez no se puede generalizar). La fuente de la variabilidad entre los estudios: diferentes metodologías o criterios de medición.

Métodos para evaluar la validez convergente y discriminante Ejemplo: Aplicación del Test de Eficiencia en empleados bancarios y relacionarlo con su ejecución: válido sólo para ellos. Generalización: aplicación en maestros, vendedores, contadores, etc.

Métodos para evaluar la validez convergente y discriminante Ejemplo: En 25 estudios de generalización de la validez del Test de Eficiencia se obtuvo: Correlación promedio de todos los estudios: .30. Variabilidad entre los estudios: Alta: de .40 a .50. Baja: de .20 a .40. Fuente de la variabilidad: en algunos estudios los gerentes evaluaron la ejecución y en otros se evaluó con la cantidad de artículos vendidos.

Métodos para evaluar la validez convergente y discriminante Asociaciones focalizadas Grupos de correlaciones Matrices multirrasgo-multimétodo

Grupos de Correlaciones 2. Método de Grupos de Correlaciones

Métodos para evaluar la validez convergente y discriminante El constructo principal tiene diferentes niveles de asociación con una amplia variedad de constructos. Se obtiene una gran cantidad de medidas relacionados con la prueba de interés, se examina el patrón de correlaciones entre ellas y se juzga el grado en el que tal patrón “tiene sentido”, a la luz del significado conceptual del constructo que está siendo evaluado por la prueba.

Métodos para evaluar la validez convergente y discriminante PASOS: Aplicar la prueba. Medir las numerosas variables criterio. Calcular las correlaciones entre la prueba de interés y las medidas de muchas variables criterio. Analizar las correlaciones y hacer un juicio subjetivo acerca del grado en el que las correlaciones corresponden a lo que se esperaba con base en la red nomológica del constructo de interés.

Métodos para evaluar la validez convergente y discriminante Ejemplo: Test de Perfeccionismo Dimensiones: Otras medidas (23 variables criterio): Interés en los errores Estándares altos para los demás Necesidad de aprobación Organización Presión paterna percibida Planeación absoluta Cavilación Esfuerzos por la excelencia Perfeccionismo consciente Auto-evaluación de perfeccionismo Escala de Perfeccionismo Multidimensional de Frost EP-MF Escala de Perfeccionismo Multidimensional de Hewitt y Flett EPM-HF Índice Breve de Síntomas IBS Inventario Obsesivo Compulsivo IOC Escala de Deseabilidad Social de Marlowe–Crowne EDS-MC

Métodos para evaluar la validez convergente y discriminante 1 2 3 4 5 6 7 8 9 10 Total EP-MF EPM-HF IBS IOC EDS-MC Hill et al., 2004

Métodos para evaluar la validez convergente y discriminante Asociaciones fuertes: Dimensiones de otros instrumentos Escala de estándares personales (altas expectativas para la ejecución propia y una inclinación para basar el autoaprecio en la ejecución) Dimensiones del Test de Perfeccionismo 8. Esfuerzos por la excelencia Escala de perfeccionismo auto-orientada ( estándares no realistas para la ejecución y la tendencia a fijarse en imperfecciones en la ejecución propia) 1. Interés en los errores 3. Necesidad de aprobación 7. Cavilación Temor a la evaluación negativa Frecuencia y severidad de los síntomas del desorden obsesivo compulsivo

Métodos para evaluar la validez convergente y discriminante Asociaciones focalizadas Grupos de correlaciones Matrices multirrasgo-multimétodo

Matrices Multi-Rasgo Multi-Método 3. Método de Matrices Multi-Rasgo Multi-Método MMRMM

Métodos para evaluar la validez convergente y discriminante Cronbach y Meehl (1955) establecieron un significado conceptual de la validez de constructo con base en la noción de la red nomológica. Campbell y Fiske (1959) desarrollaron la lógica de una matriz multirrasgo- multimétodo (MMRMM) como una expansión estadística y metodológica del trabajo conceptual de Cronbach y Meehl. [Uno de los artículos más influyentes en la historia de la medición en psicología]

Métodos para evaluar la validez convergente y discriminante Lee J. Cronbach (1916-2001)

Métodos para evaluar la validez convergente y discriminante Matrices multirrasgo-multimétodo (MMRMM) Se obtienen medidas de varios rasgos y cada uno a través de varios métodos. Propósito: establecer una guía clara para evaluar la evidencia de validez convergente y discriminante. Evalúa dos diferentes fuentes de varianza que podrían afectar las correlaciones entre dos mediciones (varianza de rasgo y varianza de método).

Métodos para evaluar la validez convergente y discriminante Ejemplo: Para evaluar una escala de habilidad social: 1) Medir habilidad social. 2) Medir otros rasgos: estabilidad emocional, impulsividad y conciencia.

Estabilidad emocional Red nomológica Habilidad social Estabilidad emocional Conciencia Impulsividad

Métodos para evaluar la validez convergente y discriminante 3) Utilizar diferentes métodos para medir los rasgos: a) Escalas de auto-reporte. b) Evaluación de conocidos: Pedir a conocidos cercanos de los participantes que evalúen su habilidad social, impulsividad, conciencia y estabilidad emocional. c) Evaluación de entrevistadores: Pedir a estudiantes de psicología que entrevisten a los participantes para evaluar su habilidad social, impulsividad, conciencia y estabilidad emocional.

Evaluación de entrevistadores Evaluación de conocidos Métodos de medición Rasgos Evaluación de entrevistadores Autorreporte Evaluación de conocidos

Métodos para evaluar la validez convergente y discriminante . : Varios rasgos con varios métodos Habilidad social Estabilidad emocional Impulsividad Conciencia con: Escalas de auto-reporte Evaluación de conocidos Evaluación de entrevistadores

Métodos para evaluar la validez convergente y discriminante  r entre Dos posibles explicaciones: a) Comparten varianza de rasgo Psicológicamente, tienen algo en común. b) Comparten varianza de método No es cuestión de interpretaciones psicológicas sino de metodología. Auto-reporte de habilidad social Auto-reporte de estabilidad emocional y A B

Métodos para evaluar la validez convergente y discriminante a) Comparten varianza de rasgo Probables razones: Su habilidad social les permite crear relaciones sociales que les traen beneficios sociales, como la estabilidad emocional. Quienes son estables emocionalmente podrían tender a ser más hábiles socialmente. Ambas pueden ser causadas por una tercera variable: quizá hay base genéticas que influyen en ambos. A B B A C A y B

Métodos para evaluar la validez convergente y discriminante b) Comparten varianza de método La r es + porque se basa en dos medidas derivadas de la misma fuente (por ejemplo, auto-reportes de los respondientes). Comparten propiedades adicionales a los constructos principales que se están midiendo. Quienes se perciben altos en las dos medidas pueden tender a percibirse positivamente en todo, y viceversa. Por tanto, la  r puede ser simplemente un sesgo inherente en el método de medición de auto-reporte (artefacto debido a que las dos medidas comparten el mismo método).

Métodos para evaluar la validez convergente y discriminante Las influencias de: la varianza de rasgo y de la varianza de método complican la interpretación de las correlaciones en términos de la evidencia de validez convergente y discriminante. Es muy complejo. Hay que examinar las correlaciones cuidadosamente. La aproximación MMRMM fue diseñada: para organizar la información relevante y para guiar las interpretaciones.

Métodos para evaluar la validez convergente y discriminante Ejemplo: Dos correlaciones: Auto-reporte de habilidad social Reporte del conocido sobre la habilidad social del participante r entre y ¿Cuál de las dos debe ser más fuerte para que la nueva medida se interprete como válida? Auto-reporte de habilidad social Auto-reporte de estabilidad emocional y r entre

Métodos para evaluar la validez convergente y discriminante Auto-reporte de habilidad social Reporte del conocido sobre la habilidad social del participante Se esperaría que fuera alta porque son dos medidas del mismo constructo. r entre y Se esperaría que fuera baja porque son medidas de dos constructos diferentes. Auto-reporte de habilidad social Auto-reporte de estabilidad emocional r entre y

Métodos para evaluar la validez convergente y discriminante Sin embargo, considerando la varianza de método: Auto-reporte de habilidad social Reporte del conocido de la habilidad social del participante Esta correlación sería más débil que la otra. r entre y Auto-reporte de habilidad social Auto-reporte de estabilidad emocional r entre y

Métodos para evaluar la validez convergente y discriminante Por tanto, hay diferentes tipos de correlaciones, dependiendo de la varianza de rasgo y de la de método. Campbell y Fiske (1959) señalaron cuatro tipos de correlaciones derivadas de un MMRMM.

Método utilizado para medir Asociación entre los dos constructos Método utilizado para medir los dos constructos Métodos diferentes Métodos iguales Constructos diferentes (no asociados) Denominación rs heterorrasgo-heterométodo rs heterorrasgo-monométodo Fuentes de varianza Varianza de rasgo no compartida y varianza de método no compartida Varianza de rasgo no compartida y varianza de método compartida Ejemplo Auto-reporte de habilidad social con reporte de un conocido sobre la estabilidad emocional Auto-reporte de habilidad social con auto-reporte de estabilidad emocional Correlación esperada Débil Moderada Constructos iguales (o similares) (asociados) rs monorrasgo-heterométodo rs monorrasgo-monométodo Varianza de rasgo compartida y varianza de método no compartida Varianza de rasgo compartida y varianza de método compartida Auto-reporte de habilidad social con reporte de un conocido de habilidad social Auto-reporte de habilidad social con auto-reporte de habilidad social (confiabilidad) Correlación esperada Fuerte Más fuerte

Métodos para evaluar la validez convergente y discriminante La evaluación de la validez de constructo, con la varianza de rasgo y la varianza de método, procede de enfocarse en los diversos tipos de correlaciones organizados en la MMRMM.

Matriz Multi-Rasgo / Multi-Método MMRMM Métodos Rasgos Autorreporte Evaluación de conocidos Evaluación de entrevistadores   Habilidades sociales Impul- sividad Estabilidad emocional Impul-sividad Auto-reporte (.85) Impulsividad .14 (.81) .35 .24 (.82) .40 .22 (.76) .13 .32 .19 .18 (.80) .20 .23 .41 .30 .28 (.78) .34 .11 .01 .08 .25 .06 (.77) .16 .33 .12 .44 .38

1º. Evidencia de validez convergente Mono-rasgo / hetero-método Métodos diferentes Constructos iguales (o similares) (asociados) Denominación rs monorrasgo-heterométodo Fuentes de varianza Varianza de rasgo compartida y varianza de método no compartida Ejemplo Correlación esperada Fuerte Auto-reporte de habilidad social Reporte de un conocido de habilidad social con Maneras diferentes de medir el mismo rasgo. Correlaciones fuertes

Las correlaciones mono-rasgo / hetero-método son fuertes Rasgos Autorreporte Evaluación de conocidos Evaluación de entrevistadores   Habilidades sociales Impul- sividad Estabilidad emocional Impul-sividad Auto-reporte (.85) Impulsividad .14 (.81) .35 .24 (.82) .40 .22 (.76) .13 .32 .19 .18 (.80) .20 .23 .41 .30 .28 (.78) .34 .11 .01 .08 .25 .06 (.77) .16 .33 .12 .44 .38 Ej., la correlación del auto-reporte de habilidad social con otras medidas de habilidad social es fuerte .

2º. Más evidencia de validez convergente y discriminante Hetero-rasgo / hetero-método Métodos diferentes Constructos diferentes Denominación rs heterorrasgo-heterométodo Fuentes de varianza Varianza de rasgo no compartida y varianza de método no compartida Ejemplo Correlación esperada Más débil Auto-reporte de habilidad social Reporte de un conocido sobre la estabilidad emocional con Asociaciones entre medidas de diferentes constructos evaluados con diferentes métodos. Correlaciones débiles

Correlaciones hetero-rasgo / hetero-método débiles Métodos Rasgos Autorreporte Evaluación de conocidos Evaluación de entrevistadores   Habilidades sociales Impul- sividad Estabilidad emocional Impul-sividad Auto-reporte (.85) Impulsividad .14 (.81) .35 .24 (.82) .40 .22 (.76) .13 .32 .19 .18 (.80) .20 .23 .41 .30 .28 (.78) .34 .11 .01 .08 .25 .06 (.77) .16 .33 .12 .44 .38 Ej., la correlación del auto-reporte de habilidad social es más fuerte con otras medidas de habilidad social que con cualquier otra.

3º. Evidencia aún más rigurosa de validez convergente y discriminante Hetero-rasgo / mono-método Métodos iguales Constructos diferentes (no asociados) Denominación rs heterorrasgo-monométodo Fuentes de varianza Varianza de rasgo no compartida y varianza de método compartida Ejemplo Correlación esperada Moderada Auto-reporte de habilidad social Auto-reporte de estabilidad emocional con Asociaciones entre medidas de diferentes constructos evaluados con el mismo método. Correlaciones moderadas

Evaluación de conocidos Evaluación de entrevistadores Las correlaciones mono-rasgo / hetero-método más fuertes que las hetero-rasgo / mono-método MMRMM Métodos Rasgos Autorreporte Evaluación de conocidos Evaluación de entrevistadores   Habilidades sociales Impul- sividad Estabilidad emocional Impul-sividad Auto-reporte (.85) Impulsividad .14 (.81) .35 .24 (.82) .40 .22 (.76) .13 .32 .19 .18 (.80) .20 .23 .41 .30 .28 (.78) .34 .11 .01 .08 .25 .06 (.77) .16 .33 .12 .44 .38 Hetero-rasgo / mono-método: Asociaciones entre medidas de diferentes constructos evaluados con el mismo método. Ej., la correlación del auto-reporte de habilidad social es más fuerte con otras medidas de habilidad social que con medidas de auto-reporte de otros rasgos.

Métodos para evaluar la validez convergente y discriminante El MMRMM se utiliza poco, pero es un importante desarrollo para entender y analizar la evidencia de validez convergente y discriminante.

Otros temas de Psicometría Coeficiente de validez Factores que afectan el coeficiente de validez Interpretación del coeficiente de validez Amenazas a la calidad psicométrica: Sesgos en la respuesta Sesgos en el instrumento Aproximaciones psicométricas avanzadas Teoría de la Generalizabilidad Teoría de la Respuesta al Item (TRI) y Modelos Rasch