Definición de validez Tipos de validez 1. Validez de contenido 2. Validez de constructo 3. Validez convergente Validez consecuencial.

Presentación del tema: "Definición de validez Tipos de validez 1. Validez de contenido 2. Validez de constructo 3. Validez convergente Validez consecuencial."— Transcripción de la presentación:

1

2 Definición de validez Tipos de validez 1. Validez de contenido 2. Validez de constructo 3. Validez convergente Validez consecuencial

3

4

5

6

7 El Inventario de Personalidad…  ¿Qué se supone que mide?  ¿Qué evidencia hay de que mide realmente lo que se supone que mide?  ¿Los puntajes del instrumento están relacionados con la ejecución en el trabajo teóricamente? ¿hay datos que muestren esa relación?

8 Mi experiencia ha indicado que …

9 VALIDEZ Quizá el asunto más importante en la medición en psicología. El concepto ha evolucionado.

10  Definición tradicional: “Grado en el cual un instrumento mide lo que se supone que debe medir”.(Sobresimplifica)  Definición contemporánea: “Grado en el cual la teoría y la evidencia apoyan las interpretaciones de los puntajes del instrumento implicadas por los usos propuestos” ¿El instrumento es útil y significativo como una medida de…?

11 1ª implicación de la definición contemporánea: Una medida en sí misma no es ni válida ni no válida. La cuestión de la validez tiene que ver con las interpretaciones y con los usos propuestos de los puntajes de medición.

12 ¿Hay buenas razones para creer que los puntajes del instrumento realmente proporcionan información que diferencia potencialmente a los mejores y a los peores empleados? Ej. Inventario de Personalidad NEO Factor Eficiencia: Proceso activo de planeación, organización y realización de tareas.

13 ¿El martillo es per se una herramienta útil? ¡No! Depende de aquello para lo que se usará. Su utilidad depende del trabajo de que se trate.

14 Medidas psicológicas Su utilidad depende del trabajo de que se trate. ¿El instrumento de Eficiencia es válido per se? No, depende de la manera en que se interpretará y se usará.

15 Afirmación incorrecta: “La escala de Eficiencia del IP-NEO es válida”. Debe ser: “Los puntajes de la escala de Eficiencia del NEO son válidamente interpretados como una medida de Eficiencia”.

16 La validez es una propiedad de las interpretaciones y usos de los puntajes del instrumento; no es una propiedad del propio instrumento.

17 2ª implicación de la definición contemporánea: La validez no es un asunto de “todo o nada”, sino de grado. No es: válido versus no válido Sí es: fuerte versus débil

18  Un instrumento debería seleccionarse sólo si hay una fuerte evidencia que apoye la interpretación y el uso que se pretende.  Sopesar las fortalezas relativas de las evidencias de los instrumentos que se están considerando.

19 3ª implicación de la definición contemporánea: La validez de la interpretación y el uso de un instrumento están basados en la evidencia empírica y en la teoría psicológica defendible. Debe haber evidencia empírica y teoría psicológica que apoyen una interpretación particular de los puntajes del instrumento.

20

21 Ejemplo:

22 El jefe de recursos humanos que basa sus decisiones de contratación en este test ¿podría defenderlas?

23 Ej. ¿Hay datos duros (obtenidos de investigación de calidad) que demuestren que quienes puntúan relativamente alto en la escala de Eficiencia son realmente más altos en “Eficiencia” que quienes puntúan relativamente más bajo? Tests and resources: http://www.annarbor.co.uk/ index.php

24

25  Validez de contenido 1er. tipo

26 1er. tipo: Contenido del instrumento Correspondencia entre: el contenido que en realidad tiene el instrumento Lo que debería incluirse en el instrumento y

27 El contenido del instrumento debe reflejar las facetas o dimensiones importantes del constructo. A juicio de expertos en el constructo

28 Amenazas a la validez de contenido: 1ª Contenido irrelevante para el constructo. 2ª Sub-representación del constructo. No más, no menos.

29 Amenazas a la validez de contenido: Ej. Examen de una clase de Psicología de la personalidad para medir “Conocimiento de Freud”: estructura de la personalidad, etapas del desarrollo de la personalidad y mecanismos de defensa. Reactivos que muestren sólo los tres temas, no otras cosas, así como el rango total del contenido. No más, no menos.

30 Pero: No existe una regla clara de lo que constituye “una muestra adecuada” de reactivos. Razones prácticas (como tiempo, fatiga, atención) restringen la cantidad de contenido que puede incluirse (no es posible incluir reactivos que cubran cada faceta o matiz del constructo).

31 Se determina hasta donde los itemes de un instrumento son representativos de las variables que se desea medir (grado de representatividad). Palella y Martins; 2006 No puede ser expresada cuantitativament e (Ruiz; 2003) Método: Validez de Contenido Técnica: Juicio de Expertos Método: Validez de Contenido Técnica: Juicio de Expertos ÍtemsCongruenciaClaridadTendenciosidadObservaciones SiNoSiNoSiNo 1 2 4 5 6 7 8 9 10 11 .................... .................... .................... .................... .................... .................... __________________________ __________________________ __________________________ __________________________ __________________________ __________________________ __________________________ __________________________ __________________________ __________________________ __________________________

32 Validez de Facie: Grado en el cual una medida parece estar relacionada con un constructo específico, a juicio de no expertos. El contenido simplemente parece relevante para la persona que toma el instrumento.

33 Implicaciones : Puede influir en la motivación para responder de una manera honesta y seria. Un instrumento con alta validez de facie podría ser mejor recibido por los usuarios potenciales.

34 En suma:  Validez de contenido: Grado en el cual el contenido de una medida verdaderamente refleja el dominio total del constructo, ni más ni menos. Evaluada sólo por profundos conocedores del constructo (expertos).  Validez de facie: Grado en el cual los no expertos perciben que un instrumento es relevante para lo que ellos creen que mide.

35 2o. tipo  Estructura interna del instrumento

36 Estructura interna del instrumento Manera en que las partes de un instrumento se relacionan entre sí. Las bases conceptuales de un constructo tienen implicaciones para la estructura interna de una medición del constructo.

37  Estructura interna del instrumento. Correspondencia entre: La estructura interna que el instrumento tiene en realidad La estructura que el instrumento debería poseer y La estructura del instrumento debe reflejar la estructura teórica del constructo

38 Autoestima global Un constructo coherente único: evaluación total del valor de uno mismo. Todos los 10 reactivos están altamente correlacionados entre sí. Forman un apretado racimo.  Ej. Inventario de Autoestima de Rosenberg http://www.psychomatrix.in/

39  Ej. Inventario de Autoestima Multidimensional (O’Brien y Epstein) Autoestima global y ocho componentes de autoestima (basados en investigación previa). Un racimo por cada uno de los componentes

40  Procedimiento para evaluar la estructura interna (dimensionalidad): Análisis factorial Ayuda a identificar la presencia y naturaleza de los factores que existen dentro de un grupo de reactivos. El número de factores es una faceta importante de la evaluación de la estructura interna de una medida.

41 El análisis factorial: a) Ayuda a clarificar el número de factores dentro de un grupo de reactivos. Ej., si el Inventario de Autoestima de Rosenberg sale con 2 factores en lugar de 1, se cuestionaría su validez para medir su autoestima global. b) Revela las asociaciones entre los factores/dimensiones dentro de un instrumento multidimensional.

42 c) Identifica qué reactivos están ligados a qué factores. El entendimiento conceptual del constructo llevaría a generar reactivos específicos que reflejaran aspectos particulares del constructo. Y la estructura factorial encontrada debería revelar esta asociación reactivos-factores. Pero los resultados no son perfectos.

43 3er. tipo  Validez convergente

44 Validez convergente Asociaciones con otras variables Según el entendimiento teórico del constructo para el cual se interpretan los puntajes, éstos deberán tener patrones particulares de asociación con otras variables.

45 Validez convergente Correspondencia entre: Las asociaciones reales de una medida Las asociaciones que el instrumento debería tener con otras medidas y

46 Ej. La teoría sugiere un patrón de asociaciones para la autoestima global con otros constructos. El Inventario de Autoestima se asocia con: Felicidad (+) Depresión (-) Inteligencia (no relación) Motivación social (+) Si se obtiene este patrón con los datos, el instrumento puede interpretarse como una medida de autoestima.

47 Evidencia convergente Grado en el cual los puntajes de un instrumento se correlacionan con instrumentos de constructos relacionados. Correlaciones entre diferentes maneras de medir el mismo constructo.

48 Puntajes del instrumento a) instrumentos de constructos relacionados b) instrumentos que midan el mismo constructo c) Evaluaciones de terceros sobre la posesión que la persona tiene del constructo con Evidencia convergente :

49 Evidencia discriminante Grado en el cual los puntajes de un instrumento no están correlacionados con instrumento de constructos no relacionados. Ej., autoestima con inteligencia.

50 Ej.,: Autoestima y logro académico (promedio de calificaciones). r =.40. Interpretación: Los estudiantes que tienen alta autoestima tienden a tener alto desempeño académico. Recomendación: La escuela debe dedicar recursos al incremento de la autoestima en los estudiantes.

51 Pero: Considerar cuidadosamente los métodos, incluyendo la validez discriminante. ¿El instrumento posee validez discriminante como una medida de autoestima? Toma de decisiones incorrecta y desperdicio de recursos.

52 Variedades de la validez convergente: Validez concurrente y validez predictiva

53 Validez concurrente Grado en el cual los puntajes del instrumento se correlacionan con otras variables relevantes medidas al mismo tiempo que el instrumento de interés.

54 Ej., instrumento de Razonamiento en preparatorianos promedio de calificaciones en preparatoria. con

55 Validez predictiva Grado en el cual los puntajes del instrumento se correlacionan con otras variables relevantes en un momento futuro en el tiempo que el instrumento de interés.

56 Ej., instrumento de Razonamiento en preparatorianos promedio de calificaciones en universitarios. con

57 Validez consecuencial

58 Diferencia entre enfoque tradicional y contemporáneo: consideración de las consecuencias reales y potenciales de medir. Obligación de evitar consecuencias adversas del significado de los puntajes

59 Posibilidad de que la medición afecte injusta y adversamente a algunas personas más que a otras.

60 Ej. Constructo: Adaptación de tendencias cognitivas y conductuales en respuesta a circunstancias cambiantes. Retención de estabilidad cognitiva y conductual. Confusión versus Consistencia Flexibilidad versus Rigidez

61 Sensibilidad emocional Inteligencia emocional Ej. Constructo:

62 Los juicios de valor tienen sutiles influencias potenciales sobre el proceso científico, que deben ser reconocidas y evaluadas lo más claramente posible.

63 Ej. : Las mujeres obtienen puntajes más altos que los hombres en “Eficiencia”. Por tanto, menos hombres que mujeres son contratados.

64 ¿Por qué el instrumento diferencia entre H y M? 1ª posibilidad: El instrumento está sesgado (no mide igual a todos; no es igualmente válido para todos). 2ª posibilidad: El instrumento no está sesgado (mide igualmente bien a todos, pero un grupo posee una mayor proporción del constructo que el otro).

65

66 Resumen 1 er tipo: Validez de contenido Correspondencia entre: el contenido real del instrumento lo que debería incluirse en el instrumento y El contenido del instrumento debe reflejar las facetas importantes del constructo

67  Validez de contenido: Evaluada sólo por profundos conocedores del constructo (expertos).  Validez de facie: Percepción de los no expertos de que un instrumento es relevante para lo que ellos creen que mide.

68 2º tipo: Validez de constructo Correspondencia entre: La estructura interna real del instrumento La estructura que el instrumento debería poseer y La estructura real del instrumento debe reflejar la estructura teórica del constructo

69  Constructo único: Todos los reactivos están altamente correlacionados entre sí.  Constructo multidimensional: Varios factores con reactivos correlacionados

70 3er. tipo: Validez convergente Correspondencia entre: Según el entendimiento teórico del constructo para el cual se interpretan los puntajes, éstos deberán tener patrones particulares de asociación con otras variables. Las asociaciones reales de una medida Las asociaciones que el instrumento debería tener con otras medidas y

71 Validez convergente: validez concurrente y Validez predictiva

72 Validez consecuencial Consideración de las consecuencias reales y potenciales de medir. Obligación de evitar consecuencias adversas del significado de los puntajes Posibilidad de que la medición afecte injusta y adversamente a algunas personas más que a otras.