TEMA 6.1: VALIDEZ I PSICOMETRÍA Tema 6.1 Evaluación del instrumento de medida: VALIDEZ I Salvador Chacón Moscoso Susana Sanduvete Chaves Agradecemos a.

Presentación del tema: "TEMA 6.1: VALIDEZ I PSICOMETRÍA Tema 6.1 Evaluación del instrumento de medida: VALIDEZ I Salvador Chacón Moscoso Susana Sanduvete Chaves Agradecemos a."— Transcripción de la presentación:

1 TEMA 6.1: VALIDEZ I PSICOMETRÍA Tema 6.1 Evaluación del instrumento de medida: VALIDEZ I Salvador Chacón Moscoso Susana Sanduvete Chaves Agradecemos a Francisco Pablo Holgado Tello su inestimable colaboración en la elaboración de este material

2 TEMA 6.1: VALIDEZ I 2 TEMA 6.1. EVALUACIÓN DEL INSTRUMENTO DE MEDIDA: VALIDEZ (I) 1. Introducción al concepto de validez y su evolución histórica 2. Validación de contenido 3. Validación de constructo 3.1. La matriz multimétodo-multirrasgo 3.2. El análisis factorial 4. Validación referida al criterio 4.1. El problema de la selección y medición del criterio 4.2. Procedimientos estadísticos utilizados en la validación referida al criterio 5. Validación con un único predictor y un solo indicador del criterio 5.1. El coeficiente de validez 5.2. El modelo de regresión lineal 5.2.1. Ecuaciones de regresión 5.2.2. La varianza residual y el error típico de estimación 5.2.3. Intervalos de confianza 5.3. Interpretación de la evidencia obtenida acerca de la capacidad predictiva del test 5.3.1. Coeficiente de determinación (C.D.) 5.3.2. Coeficiente de alineación (C.A.) 5.3.3. Coeficiente de valor predictivo (C.V.P.) 6. Bibliografía comentada

3 TEMA 6.1: VALIDEZ I 3 1. INTRODUCCIÓN AL CONCEPTO DE VALIDEZ Y SU EVOLUCIÓN HISTORICA Evolución histórica: -Según los “Standards for educational and psychological tests and manuals” (APA, AERA, NCME, 1966, 1985), la validez hace referencia al grado en que se mide aquello que se pretende medir, pudiéndose diferenciar entre validez de contenido, de criterio y de constructo  visión tripartita predominante. -Messick (1989) amplía el concepto: a)abre el concepto de medida no limitándolo a las puntuaciones del test, sino incluyendo las puntuaciones obtenidas en cualquier otro instrumento de evaluación. b)destaca la importancia de considerar la utilidad de las decisiones y consecuencias derivadas del procedimiento de medida, apareciendo el concepto de validez consecuencial. c)enfoque integrador del macroconcepto de validez en torno a la validez de constructo.

4 TEMA 6.1: VALIDEZ I 4 Evolución histórica: -“… la validez unificada integra consideraciones de contenido, criterio y consecuencias en un marco de referencia de constructo para la evaluación empírica de hipótesis racionales acerca del significado de las puntuaciones y de relaciones relevantes desde el punto de vista teórico, incluyendo las de naturaleza científica y aplicada ” (Messick, p. 741) 1. INTRODUCCIÓN AL CONCEPTO DE VALIDEZ Y SU EVOLUCIÓN HISTORICA

5 TEMA 6.1: VALIDEZ I 5 Principal aportación de Messick (1994) Ruptura con la visión tripartita de la validez. La validez de constructo asume la relevancia y representatividad de los aspectos medidos (v. contenido) así como las relaciones con otros criterios externos de interés (v. criterio). Entendemos la validez como concepto unitario donde la validez de constructo es el aspecto central donde convergen criterios científicos (representatividad y utilidad) y valores sociales (consecuencias de la aplicación de la medida). 1. INTRODUCCIÓN AL CONCEPTO DE VALIDEZ Y SU EVOLUCIÓN HISTORICA

6 TEMA 6.1: VALIDEZ I 6 - En teoría de tests, la validez hace referencia a la adecuación de las inferencias realizadas a partir de las puntuaciones del test. - Validación: proceso mediante el cual el constructor o el usuario de los tests recoge la evidencia empírica necesaria para apoyar las inferencias que se van a realizar. Se entiende por evidencia tanto los datos, observaciones y hechos, como los argumentos que permitan apoyar y sustentar esos hechos. - Según los estándares (1999), vamos a entender: -La validez como un concepto unitario. -La validación como un proceso continuo que permitirá recoger evidencias sobre la adecuación de las inferencias. “Distintos tipos de validez” se sustituye por “distintas estrategias para obtener evidencias de validez” 1. INTRODUCCIÓN AL CONCEPTO DE VALIDEZ Y SU EVOLUCIÓN HISTORICA

7 TEMA 6.1: VALIDEZ I 7 2. VALIDACIÓN DE CONTENIDO VALIDACIÓN DE CONTENIDO: se analiza hasta qué punto los elementos de un test son: 1. Relevantes : exhaustiva especificación de todas las posibles conductas o dominios del constructo a medir (nada sobra). 2. Representativos : que todas las posibles conductas estén recogidas en el test (nada falta). Distinción artificial entre Validez de Contenido y de Constructo, ya que en el momento en que se definen los dominios a medir, estaremos delimitando también el constructo

8 TEMA 6.1: VALIDEZ I 8 2. VALIDACIÓN DE CONTENIDO Proceso: a)Definición del dominio del constructo  definir claramente cada una de las dimensiones. b)Elaboración de las especificaciones del test. Es decir, el dominio y objetivos que va a cubrir el test. c)Selección de un panel de expertos en el dominio. d)Establecimiento de un marco estructurado para cuantificar el grado de acuerdo entre los distintos jueces.

9 TEMA 6.1: VALIDEZ I Es preferible que los expertos que participen no hayan participado en la elaboración de los ítems. De este modo, podrán opinar no sólo acerca del ajuste de cada ítem con la dimensión que pretende medir, sino también sobre su claridad, formato, etc. Después de revisar los ítems y modificar o corregir aquellos considerados no apropiados por los expertos, se puede pasar a la elaboración del instrumento que se usará en el estudio piloto. 9 2. VALIDACIÓN DE CONTENIDO

10 TEMA 6.1: VALIDEZ I El índice de congruencia propuesto por Osterlind puede utilizarse para determinar si los ítems son útiles para medir una dimensión concreta del constructo: 10 X ijk = Puntuación en el ítem i de la dimensión k propuesta por el juez j. N = número de dimensiones del instrumento. n = número de jueces. 2. VALIDACIÓN DE CONTENIDO

11 TEMA 6.1: VALIDEZ I Se obtiene un índice de congruencia para cada ítem. Los resultados posibles oscilan entre ±1, dependiendo del grado de congruencia entre las respuestas de los expertos: –-1 supondría que todos los expertos están de acuerdo en considerar que el ítem no se ajusta a la dimensión que pretende medir. –+1 implicaría que todos los expertos asignaron el mayor grado de ajuste a la relación ítem-dimensión. –0 sería el menor grado de acuerdo entre la opinión de los diferentes expertos. Los ítems que obtienen 0,5 o una puntuación mayor son usualmente incluidos en el instrumento propuesto. 11 2. VALIDACIÓN DE CONTENIDO

12 TEMA 6.1: VALIDEZ I Ejemplo: Construimos una escala para medir la calidad metodológica de las intervenciones en psicología, con ítems referidos a 3 dimensiones diferentes: características extrínsecas, sustantivas y metodológicas. Estamos interesados en conocer si los ítems “Momentos de medida: a. después de la intervención; b. antes de la intervención” (ítem 1); y Periodo de tratamiento: a. <6 meses; b. ≥6 meses” (ítem 2) son útiles para medir la dimensión metodológica del constructo calidad. La tabla que a continuación se presenta, muestra el número de expertos que eligieron cada opción (-1: no útil; 0: ni útil ni inútil; +1: útil) : 12 2. VALIDACIÓN DE CONTENIDO

13 TEMA 6.1: VALIDEZ I Calcular el índice de congruencia de los ítems 1 y 2. ¿Deberíamos eliminar alguno de los ítems? 13 Categorías 0+1 ítem 1070130 ítem 23010070 2. VALIDACIÓN DE CONTENIDO

14 TEMA 6.1: VALIDEZ I 0,2 < 0,5 → El ítem 2 debería ser eliminado. 14 2. VALIDACIÓN DE CONTENIDO

15 TEMA 6.1: VALIDEZ I 15 2. VALIDACIÓN DE CONTENIDO Aplicaciones La validez de contenido es importante para cualquier proceso de construcción de test, pero entendemos que es absolutamente necesaria en tests de rendimiento educativo y ocupacional porque permite responder preguntas tales como: 1. ¿Está el contenido del test libre de variables irrelevantes? 2. ¿Cubre una muestra representativa de destrezas específicas, para algún puesto de trabajo, por ejemplo?

16 TEMA 6.1: VALIDEZ I 16 Validez de contenido frente a validez aparente: los tests tienen que aparentar que están midiendo aquello que se proponen, de tal forma que si el contenido del test parece poco relevante, sin sentido o infantil, podría desmotivar a los participantes. 2. VALIDACIÓN DE CONTENIDO

17 TEMA 6.1: VALIDEZ I 17 3. VALIDACIÓN DE CONSTRUCTO Se entiende como la medida en que el test refleja la teoría psicológica a partir de la que se ha construido, y permite interpretar las puntuaciones dándoles un significado teórico (APA, AERA, NCME, 1999). -¿Mide realmente el test la variable que intenta medir? -¿Existe en realidad dicha variable?

18 TEMA 6.1: VALIDEZ I 18 Las puntuaciones del test no son el constructo. El constructo puede manifestarse a través de múltiples indicadores. Por ello, mediante la Validación de Constructo, se acumulan evidencias que apoyan que las puntuaciones del test son una de sus posibles manifestaciones 3. VALIDACIÓN DE CONSTRUCTO

19 TEMA 6.1: VALIDEZ I 19 Fases : 1.Definir cuidadosamente el constructo a medir; para ello, se suele recurrir a teorías existentes y formular hipótesis entre: Variables latentes y observadas (validez del rasgo); Variables latentes medidas y otras variables latentes (validez nomológica). 2. Diseñar instrumento de medida que contenga elementos representativos y relevantes del constructo a medir. 3. Obtención de datos empíricos, y evidencias sobre las relaciones previamente hipotetizadas. 4. Establecer: La estructura interna del test: interrelaciones entre las puntuaciones obtenidas por los participantes en los distintos ítems. La estructura externa del test: relación entre las puntuaciones obtenidas en el test y otras medidas del mismo constructo con otros instrumentos. 3. VALIDACIÓN DE CONSTRUCTO

20 TEMA 6.1: VALIDEZ I 20 Procedimientos para la evaluación de validez de constructo -Correlaciones con otras medidas del constructo. Es decir, correlaciones con otro test previamente validado.  en la medida en que la correlación sea alta mayor será la relación del test con el constructo que trata de medir. -Matrices multimétodo-multirrasgo (Campbell y Fiske, 1959). -Análisis Factorial. 3. VALIDACIÓN DE CONSTRUCTO

21 TEMA 6.1: VALIDEZ I 21 1.Matrices multimétodo-multirrasgo (Campbell y Fiske, 1959): Se mide un mismo constructo mediante distintos procedimientos y distintos constructos mediante el mismo método. Se obtienen tres tipos de correlaciones: - Coeficientes de fiabilidad : son las correlaciones entre el mismo constructo medido con el mismo método. - Validez convergente (monorrasgo-heterométodo): son las correlaciones del mismo constructo medido mediante distintos procedimientos. - Validez discriminante (heterorrasgo-monométodo): son las correlaciones de distintos constructos medidos con el mismo procedimiento. 3. VALIDACIÓN DE CONSTRUCTO 3.1. La matriz multimétodo-multirrasgo

22 TEMA 6.1: VALIDEZ I 22 Se quieren medir tres constructos: Razonamiento Numérico (RN), Factor Espacial (FE) y Razonamiento Abstracto (RA), y se miden con pruebas de distinto formato: Verdadero-Falso (V-F); y Elección múltiple (E-M). En la tabla se presenta las correlaciones obtenidas entre los distintos constructos medidos con ambos métodos método 1 (V-F)método 2 (EM) RNFERAFNFERA Método 1 (V-F) RN,95 FE,20,90 RA,30,28,92 Método 2 (EM) RN,90,31,40,93 FE,26,87,33,37, 94 RA,43,20,84,26,37, 88 3. VALIDACIÓN DE CONSTRUCTO 3.1. La matriz multimétodo-multirrasgo

23 TEMA 6.1: VALIDEZ I 23 Mét. 1 (V-F)Mét. 2 (EM) RNFERARNFERA Mét. 1(V-F) RN,95 FE,20,90 RA,30,28,92 Mét. 2 (EM) RN,90,31,40,93 FE,26,87,33,37, 94 RA,43,20,84,26, 37, 88 1. La fiabilidad hace referencia al mismo constructo medido con el mismo método (diagonal). Así por ejemplo, la fiabilidad de razonamiento numérico medido con el método 1 es de 0,95, mientras que con el método 2 es de 0,93 3. VALIDACIÓN DE CONSTRUCTO 3.1. La matriz multimétodo-multirrasgo

24 TEMA 6.1: VALIDEZ I 24 Mét. 1 (V-F)Mét. 2 (EM) RNFERARNFERA Mét. 1(V-F) RN,95 FE,20,90 RA,30,28,92 Mét. 2 (EM) RN,90,31,40,93 FE,26,87,33,37, 94 RA,43,20,84,26,37, 88 La validez convergente o coeficiente monorrasgo- heterométodo hacía referencia a que se midiera el mismo constructo pero con distinto método (verde). En teoría, estas correlaciones deberían ser altas y significativas. Así por ejemplo, el razonamiento numérico medido con los métodos 1 y 2 obtiene una correlación de 0,90. 3. VALIDACIÓN DE CONSTRUCTO 3.1. La matriz multimétodo-multirrasgo

25 TEMA 6.1: VALIDEZ I 25 Mét. 1 (V-F)Mét. 2 (EM) RNFERARNFERA Mét. 1(V-F) RN,95 FE,20,90 RA,30,28,92 Mét. 2 (EM) RN,90,31,40,93 FE,26,87,33,37, 94 RA,43,20,84,26, 37, 88 3. la validez discriminante hace referencia a las correlaciones entre distintos rasgos con el mismo método (rojo). En teoría, éstas han de ser bajas, y menores que la fiabilidad y la validez convergente. Así, por ejemplo, la correlación entre RN y FE medidos con el método 1 es de 0,20. 3. VALIDACIÓN DE CONSTRUCTO 3.1. La matriz multimétodo-multirrasgo

26 TEMA 6.1: VALIDEZ I 26 Un problema es que no hay criterio estadístico para determinar si existe o no validez convergente y discriminante. Actualmente, se suele investigar este aspecto mediante procedimientos derivados del Análisis Factorial Confirmatorio. 3. VALIDACIÓN DE CONSTRUCTO 3.1. La matriz multimétodo-multirrasgo

27 TEMA 6.1: VALIDEZ I 27 Análisis Factorial: es una de las técnicas más utilizadas para determinar la estructura interna y externa del test en relación con el constructo. El objetivo es explicar un conjunto de variables observadas (ítems de un test, por ejemplo) mediante un número menor de variables latentes inobservables denominadas factores (dimensiones teóricas). Son estos factores los que permiten dar una interpretación teórica mediante la forma en que se agrupan los ítems en función de su contenido, que deberían de coincidir con las dimensiones teóricas utilizadas en la construcción de la escala. 3. VALIDACIÓN DE CONSTRUCTO 3.2. El análisis factorial

28 TEMA 6.1: VALIDEZ I 28 -Exploratorio versus Confirmatorio: AFE : no se tiene absoluta certeza de la dimensionalidad de la escala. Tras ejecutar un AFE, obtenemos una solución sobre el número de factores o dimensiones en las que se pueden resumir las variables observadas. AFC : tenemos ciertas hipótesis sobre el número de dimensiones y la forma en que se agrupan los ítems. Reporta índices de ajuste que nos ayudan a decidir si dicha estructura se reproduce en los datos. 3. VALIDACIÓN DE CONSTRUCTO 3.2. El análisis factorial

29 TEMA 6.1: VALIDEZ I 29 3. VALIDACIÓN DE CONSTRUCTO 3.2. El análisis factorial 1. Todos los factores están correlacionados o no. 2. Todas las variables observadas están afectadas por todos los factores latentes. 3. Los errores no correlacionan entre si.

30 TEMA 6.1: VALIDEZ I 30 4. VALIDACIÓN REFERIDA AL CRITERIO Supone obtener evidencias acerca del grado en que las puntuaciones obtenidas en el test pueden utilizarse eficazmente para hacer inferencias sobre el comportamiento real del participante en un criterio que no se puede medir directamente. APA (1999): evidencia basada en la relación con otras variables.

31 TEMA 6.1: VALIDEZ I 31 Posibles diseños: varían en función del momento en que se recogen los datos del test (ejemplo: cuestionario para valorar grado de depresión ) y criterio (ejemplo: sintomatología depresiva según DSM-V ). 1.Validez predictiva : el criterio se mide después de haber aplicado el test. Objetivo: predecir las puntuaciones futuras en el criterio a partir de las obtenidas en el test. Ejemplo: ¿Tendrá el participante un trastorno depresivo?  uso predictivo del test. 2. Validez concurrente : test y criterio se miden al mismo tiempo. Ejemplo: ¿Tiene el participante, actualmente, un trastorno depresivo?  uso diagnóstico del test. 3. Validez retrospectiva : el criterio se mide antes de administrar el test. Ejemplo: ¿Tuvo el participante un trastorno depresivo hace 2 años? 4. VALIDACIÓN REFERIDA AL CRITERIO

32 TEMA 6.1: VALIDEZ I 32 Fases: 1.Definir claramente el criterio que se quiere medir. 2.Identificar el indicador o indicadores a utilizar como medidas del criterio. 3.Seleccionar una muestra de participantes representativa. 4.Aplicar el test predictor y obtener una puntuación para cada participante. 5.Obtener una medida de cada participante en el criterio. 6.Determinar el grado de relación entre las puntuaciones obtenidas en test y criterio. 4. VALIDACIÓN REFERIDA AL CRITERIO

33 TEMA 6.1: VALIDEZ I 33 4. VALIDACIÓN REFERIDA AL CRITERIO 4.1. El problema de la selección y medición del criterio Un problema importante es la forma en que vamos a definir y delimitar el criterio: -Criterio o indicador simple de fácil delimitación: Un test de selección de vendedores de enciclopedias (criterio de éxito = 10 enciclopedias/semana). -Criterio o indicador complejo (delimitación más complicada): Selección de profesor de Psicometría (criterio de éxito = ¿conocimiento materia?¿Habilidades sociales?¿publicaciones?, etc.). Todos los indicadores son parciales y no ofrecen una comprensión completa del criterio

34 TEMA 6.1: VALIDEZ I 34 4. VALIDACIÓN REFERIDA AL CRITERIO 4.1. El problema de la selección y medición del criterio Para la selección del criterio, Thorndike y Hagen (1989) recomiendan indicadores que sean: a) Relevantes : que estén relacionados con el criterio; sin embargo, no existen tests estadísticos que nos permitan concluir en este sentido  se puede recurrir a jueces expertos. b)Libres de sesgo : utilizar variables que no afecten de manera diferencial entre grupos. c) Fiables : se han de utilizar indicadores estables en el tiempo. d)Accesibles

35 TEMA 6.1: VALIDEZ I 35 4. VALIDACIÓN REFERIDA AL CRITERIO 4.1. El problema de la selección y medición del criterio Cuando operativizamos el coeficiente de validez mediante la correlación test-criterio, aparecen problemas ligados a la naturaleza de la correlación: 1.Fiabilidad del predictor y del criterio: bajos coeficientes de fiabilidad del test y del criterio rebajan los valores del coeficiente de validez. 2.Restricción del rango: el coeficiente de validez puede verse reducido debido a restricciones en la variabilidad de la muestra (por ejemplo, en selección de personal ya que se eligen a los participantes con puntuaciones altas). 3.Dicotomización en el test, criterio o ambas: reducen los valores del coeficiente de validez.

36 TEMA 6.1: VALIDEZ I 36 4. VALIDACIÓN REFERIDA AL CRITERIO 4.2. Procedimientos estadísticos utilizados en la validación referida al criterio Coeficiente de validez  Correlación entre las puntuaciones del test y del criterio (Crocker y Algina, 1986; Robinson y Stafford, 2006). Dependiendo del número de tests y criterios Martínez-Arias (1995) diferencia entre: 1. Un predictor y un criterio (punto 5, tema 6.1): análisis de correlación y regresión simple. 2. Varios predictores y un criterio (punto 1, tema 6.2): análisis de correlación y regresión múltiple, análisis discriminante (criterios cualitativos), regresión logística (criterio dicotómico). 3. Varios predictores y varios criterios : análisis de regresión multivariante, análisis de correlación canónica (técnicas complejas que difícilmente conducen a resultados directos). 4. Validez y utilidad de las decisiones (punto 2, tema 6.2): investigación operativa (técnicas maximax y minimax) (Van der Linden, 1991)  optimizar las decisiones tomadas con el test.

37 TEMA 6.1: VALIDEZ I 37 5. VALIDACIÓN CON UN ÚNICO INDICADOR Y UN SOLO PREDICTOR DEL CRITERIO 5.1. El coeficiente de validez Correlación y regresión simple: ¿hasta qué punto podemos predecir las puntuaciones en el criterio de un participante, dada su puntuación en el test? La fórmula para obtener la correlación entre test y criterio viene definida por la siguiente expresión: Importante: el tipo de correlación dependerá del tipo de variable de test y criterio.

38 TEMA 6.1: VALIDEZ I 38 5. VALIDACIÓN CON UN ÚNICO INDICADOR Y UN SOLO PREDICTOR DEL CRITERIO 5.1. El coeficiente de validez Ejemplo: supongamos que se quiere llevar a cabo un estudio de validación relativa al criterio de un test de aptitud mecánica (X). Para ello, se aplica el test elaborado a una muestra de 6 participantes. Estos participantes son evaluados posteriormente por sus supervisores, en una escala de 0 a 10, en función del tiempo empleado en reparar un coche con la misma avería (Y). Los resultados son los siguientes: Calcular el coeficiente de validez. XY 129 147 1510 78 95 44

39 TEMA 6.1: VALIDEZ I 39 5. VALIDACIÓN CON UN ÚNICO INDICADOR Y UN SOLO PREDICTOR DEL CRITERIO 5.1. El coeficiente de validez XYXYX2X2 Y2Y2 12910814481 1479819649 1510150225100 78564964 95458125 4416 6143473711335 Obtenemos un valor de 0,73. Dado que el valor máximo del coeficiente de validez es 1, se puede decir que el test tiene una buena capacidad predictiva.

40 TEMA 6.1: VALIDEZ I 40 5. VALIDACIÓN CON UN ÚNICO INDICADOR Y UN SOLO PREDICTOR DEL CRITERIO 5.2. El modelo de regresión lineal Conocida la correlación, se utiliza el modelo de regresión lineal para predecir las puntuaciones en el criterio (Y) a partir de las puntuaciones en el test (X). La función lineal viene definida por:

41 TEMA 6.1: VALIDEZ I 41 a XiXi YiYi P(X,Y) = valor de Y observado para X i P(X,Y’) = valor de Y pronosticado para X i por la función lineal Y’ i e = Y i - Y’ i 3. La diferencia entre (XY) y (XY´) determina el error de predicción  distancia vertical entre ambos puntos. 2. Para cada X i, tenemos dos puntos (XY), y (X, Y’) pronosticado. Es decir, dicha función predice un valor de Y que no se corresponde con el real. 1. a = punto donde la línea corta al eje Y, o valor esperado de Y cuando X vale 0. 5. VALIDACIÓN CON UN ÚNICO INDICADOR Y UN SOLO PREDICTOR DEL CRITERIO 5.2. El modelo de regresión lineal

42 TEMA 6.1: VALIDEZ I 42 5. VALIDACIÓN CON UN ÚNICO INDICADOR Y UN SOLO PREDICTOR DEL CRITERIO 5.2. El modelo de regresión lineal 5.2.1. Ecuaciones de regresión Fórmulas para calcular los parámetros (a y b) de la ecuación de regresión:

43 TEMA 6.1: VALIDEZ I 43 En puntuaciones diferenciales  la ordenada en el origen pasa por el punto (0,0) Yi a Y`i Xi a =(0,0) Puntuaciones directas Puntuaciones diferenciales 5. VALIDACIÓN CON UN ÚNICO INDICADOR Y UN SOLO PREDICTOR DEL CRITERIO 5.2. El modelo de regresión lineal 5.2.1. Ecuaciones de regresión

44 TEMA 6.1: VALIDEZ I 44 En puntuaciones típicas  la pendiente de la recta es el coeficiente de validez Ejemplo: con los datos del ejercicio anterior, calcular la ecuación de regresión en puntuaciones directas, diferenciales y típicas. 5. VALIDACIÓN CON UN ÚNICO INDICADOR Y UN SOLO PREDICTOR DEL CRITERIO 5.2. El modelo de regresión lineal 5.2.1. Ecuaciones de regresión

45 TEMA 6.1: VALIDEZ I 45 1.Ecuación de regresión en puntuaciones directas: 5. VALIDACIÓN CON UN ÚNICO INDICADOR Y UN SOLO PREDICTOR DEL CRITERIO 5.2. El modelo de regresión lineal 5.2.1. Ecuaciones de regresión

46 TEMA 6.1: VALIDEZ I 46 5. VALIDACIÓN CON UN ÚNICO INDICADOR Y UN SOLO PREDICTOR DEL CRITERIO 5.2. El modelo de regresión lineal 5.2.1. Ecuaciones de regresión 2. Ecuación de regresión en puntuaciones diferenciales: 3. Ecuación de regresión en puntuaciones típicas: Ejemplo: calcular, en puntuaciones directas, el valor pronosticado en el criterio (Y) para cada participante y su error asociado.

47 TEMA 6.1: VALIDEZ I 47 XY Y’ =a+BX e =Y-Y’ 129 Y x=12 =3,15+0,395*12=7,89 9-7,89=1,11 147 Y x=14 =3,15+0,395*14=8,68 7-8,68=-1,68 1510 Y x=15 =3,15+0,395*15=9,08 10-9,08=0,92 78 Y x=7 =3,15+0,395*7=5,91 8-5,91=2,09 95 Y x=9 =3,15+0,395*9=6,71 5-6,71=-1,71 44 Y x=4 =3,15+0,395*4=4,73 4-4,73=-0,73 A un participante que obtuvo X=12, se le pronostica Y’=7,89 5. VALIDACIÓN CON UN ÚNICO INDICADOR Y UN SOLO PREDICTOR DEL CRITERIO 5.2. El modelo de regresión lineal 5.2.1. Ecuaciones de regresión Si al valor real de Y le restamos el pronosticado, obtendremos el error de pronóstico. Por ejemplo, para este mismo participante, el error de pronóstico asociado será 9 - 7,89 = 1,11

48 TEMA 6.1: VALIDEZ I 48 5. VALIDACIÓN CON UN ÚNICO INDICADOR Y UN SOLO PREDICTOR DEL CRITERIO 5.2. El modelo de regresión lineal 5.2.2. La varianza residual y el error típico de estimación El error de estimación es la diferencia entre el valor real obtenido por un participante en el criterio y el pronosticado por la función lineal: El promedio de los errores de todos los participantes al cuadrado es la varianza residual o varianza del error :

49 TEMA 6.1: VALIDEZ I 49 5. VALIDACIÓN CON UN ÚNICO INDICADOR Y UN SOLO PREDICTOR DEL CRITERIO 5.2. El modelo de regresión lineal 5.2.2. La varianza residual y el error típico de estimación La raíz cuadrada de la varianza residual o varianza del error (es decir, su desviación típica) es el error típico de estimación : Ejemplo: con los datos anteriores, calcular el error típico de estimación (utilizando la primera fórmula) y comprobar la siguiente igualdad: A mayor r XY mejor  menor será cada error individual  menor será el error típico de estimación (S Y.X )

50 TEMA 6.1: VALIDEZ I 50 XY Y’ e=Y-Y’e2e2 Y2Y2 Y’ 2 129 7,89 1,111,238162,25 147 8,68 -1,682,824975,34 1510 9,08 0,920,8510082,45 78 5,91 2,094,376434,93 95 6,71 -1,712,922545,02 44 4,73 -0,730,531622,37 6143 012,72335322,36 5. VALIDACIÓN CON UN ÚNICO INDICADOR Y UN SOLO PREDICTOR DEL CRITERIO 5.2. El modelo de regresión lineal 5.2.2. La varianza residual y el error típico de estimación

51 TEMA 6.1: VALIDEZ I 51 Error típico de estimación Comprobación de la igualdad 5. VALIDACIÓN CON UN ÚNICO INDICADOR Y UN SOLO PREDICTOR DEL CRITERIO 5.2. El modelo de regresión lineal 5.2.2. La varianza residual y el error típico de estimación

52 TEMA 6.1: VALIDEZ I 52 5. VALIDACIÓN CON UN ÚNICO INDICADOR Y UN SOLO PREDICTOR DEL CRITERIO 5.2. El modelo de regresión lineal 5.2.3. Intervalos de confianza Debido a los errores de estimación, es más conveniente hacer estimaciones por intervalos que puntuales. Ejemplo: con los datos anteriores, calcular en qué intervalo se encontrará la puntuación estimada en el criterio (Y) para una persona que obtuvo X=13 (NC = 95%). Error típico de estimación

53 TEMA 6.1: VALIDEZ I 53 5. VALIDACIÓN CON UN ÚNICO INDICADOR Y UN SOLO PREDICTOR DEL CRITERIO 5.2. El modelo de regresión lineal 5.2.3. Intervalos de confianza Error típico de estimación calculado en el ejercicio anterior

54 TEMA 6.1: VALIDEZ I 54 5. VALIDACIÓN CON UN ÚNICO INDICADOR Y UN SOLO PREDICTOR DEL CRITERIO 5.3. Interpretación de la evidencia obtenida acerca de la capacidad predictiva del test 5.3.1. Coeficiente de determinación (C.D.) Equivale al coeficiente de validez al cuadrado. Representa la proporción de varianza de las puntuaciones de los participantes en el criterio (Y) que se puede pronosticar a partir del test (X). Cuando la varianza del error es pequeña, los valores pronosticados de Y están próximos a los reales  el error típico de estimación será pequeño y, por tanto, el C.D. tomará valores próximos a uno. Los posibles valores del C.D. se encuentran entre 0 y 1. Expresa la proporción (o porcentaje si se multiplica por 100) de variación de Y ligada a X, determinada por X, explicada por X, o que se puede predecir a partir de X.

55 TEMA 6.1: VALIDEZ I 55 5. VALIDACIÓN CON UN ÚNICO INDICADOR Y UN SOLO PREDICTOR DEL CRITERIO 5.3. Interpretación de la evidencia obtenida acerca de la capacidad predictiva del test 5.3.2. Coeficiente de alienación (C.A.) Indica la proporción que representa el error típico de estimación respecto a la desviación típica de las puntuaciones en el criterio. Es la inseguridad, el azar que afecta a los pronósticos. Los posibles valores del C.A. se encuentran entre 0 y 1. Cuando la varianza del error es alta, implica que los valores pronosticados de Y’ están lejanos de los reales  el error típico de estimación será elevado y por tanto el C.A tomará valores próximos a uno. C.A. 2 expresa la proporción (o porcentaje si se multiplica por 100) de variación de Y que no está ligada a X, determinada por X, explicada por X, o que no se puede predecir a partir de X.

56 TEMA 6.1: VALIDEZ I 56 5. VALIDACIÓN CON UN ÚNICO INDICADOR Y UN SOLO PREDICTOR DEL CRITERIO 5.3. Interpretación de la evidencia obtenida acerca de la capacidad predictiva del test 5.3.3. Coeficiente de valor predictivo (C.V.P.) Los posibles valores del C.V.P. se encuentran entre 0 y 1. Cuanto mayor sea el C.A., menor será la capacidad del test para pronosticar el criterio. Ejemplo: con los datos anteriores, calcular el C.D., el C.A. y sus complementarios. Interpretar los resultados. Complementario al C.A., es otra forma de expresar la capacidad del test para pronosticar el criterio.

57 TEMA 6.1: VALIDEZ I 57 El 52% de las puntuaciones en el criterio se podría pronosticar a partir del test; mientras que el resto, el 48%, equivale a la variabilidad de las puntuaciones en el criterio que el test no explica. 5. VALIDACIÓN CON UN ÚNICO INDICADOR Y UN SOLO PREDICTOR DEL CRITERIO 5.3. Interpretación de la evidencia obtenida acerca de la capacidad predictiva del test 0,69 es la inseguridad en el pronóstico; mientras que el resto, 0,31, es la seguridad en el pronóstico o la capacidad del test para pronosticar el criterio.

58 TEMA 6.1: VALIDEZ I 58 6. BIBLIOGRAFÍA COMENTADA 1. Barbero, I., García, E. Vila, E., y Holgado, F. P. (2010). Psicometría: problemas resueltos. Madrid: Sanz y Torres. Se trata de un libro de ejercicios y problemas en el que se incluye el desarrollo de la solución. El alumnado podrá completar desde un punto de vista aplicado los conceptos y contenidos vistos en la parte teórica, así como adquirir las destrezas necesarias para la resolución de problemas. 2. Barbero, I., Vila, E. y Holgado, F.P. (2010). Psicometría. Madrid: Sanz y Torres. En el capítulo 6 se incluye la definición y evolución del concepto de validez, así como los principales aspectos relacionados con la validez de contenido, constructo y criterio. 3. Martínez Arias, R. (1995). Psicometría: teoría de los tests psicológicos y educativos. Madrid: Síntesis. Se tratan los principales aspectos relacionados con la validez tanto en su vertiente teórica como aplicada. Tras una presentación conceptual de los tipos tradicionales de validez (capítulo 12), profundiza en los aspectos formales de la validez relativa al criterio (capítulos 13 al 15) y de la validez de constructo (capítulos 16 y 17).

59 TEMA 6.1: VALIDEZ I 59 4. Meliá, J. L. (2000). Teoría de la fiabilidad y la validez. Valencia: Cristóbal Serrano. En el capítulo 11, se realiza un recorrido por algunas de las definiciones tradicionales de la validez. También se presentan las implicaciones de los tipos tradicionales de validez así como la relación existente entre la fiabilidad y la validez. El capítulo termina con un apartado en el que realizan algunas consideraciones generales sobre la importancia de la validez. 5. Paz, M. D. (1996). Validez. En J. Muñiz (Coord.), Psicometría. Madrid: Síntesis. Este capítulo comienza con una presentación de la evolución histórica del concepto de validez. Posteriormente se abordan, a nivel tanto conceptual como aplicado, los aspectos más relevantes de la validez de constructo, de criterio y de contenido. 6. BIBLIOGRAFÍA COMENTADA