Validez y Confiabilidad de los cuestionarios

Objetivos Discutir y analizar los conceptos de validez y confiabilidad. Presentar y analizar situaciones que afectan la validez y confiabilidad de los instrumentos. Hallar la validez de contenido y confiabilidad de un instrumento.

Características fundamentales de un cuestionario Validez Es la cualidad del instrumento para medir los rasgos o características que se pretenden medir. Por medio de la validación se trata de determinar si realmente el cuestionario mide aquello para lo que fue creado. Confiabilidad Se refiere a la consistencia de los resultados. En el análisis de la confiabilidad se busca que los resultados de un cuestionario concuerden con los resultados del mismo cuestionario en otra ocasión.

Validez y Confiabilidad Son características que el científico social que aspira hallar en todo método, instrumento o técnica. implica veracidad, confianza y exactitud Sí los datos e instrumentos son válidos y confiables, entonces sus conclusiones tienden a ser exactas. La mayoría de la literatura sobre el tema hace referencia a la validez y confiabilidad haciendo referencia al instrumento de medición, y no al proceso de investigación.

Validez Contenido Criterio Constructo Concurrente Predictiva Confiabilidad Formas alternas Prueba-RePrueba División por mitades Consistencia interna Coeficiente Alpha Kuder Richarson

Validez de contenido Lawshe (1975) dijo que es la comunalidad o traslapo que existe entre la ejecución en la prueba bajo investigación y la habilidad para funcionar en el dominio de ejecución asociado a una tarea determinada. Novick (1985) establece que la validez de contenido es la forma mediante la cual los miembros del panel de evaluación del instrumento perciben traslapo entre la prueba y el dominio que se está analizando.

Validez de contenido Muchinsky (2006) por su parte, define la validez de contenido como el grado al cual la prueba contenga una muestra representativa de la conducta a medirse. El dominio de contenido normalmente es definido o establecido por la literatura, teoría y estudios antecedentes.

Índice de validez de contenido Número de jueces Índice de validez de contenido 5 0.99 6 7 8 0.75 9 0.78 10 0.62 11 0.59 12 0.56 13 0.54 14 0.51 15 0.49 20 0.42 25 0.37 30 0.33 35 0.31 40 0.29 Lawshe desarrolló un modelo matemático que utiliza la opinión de una muestra de jueces con el objetivo de identificar sí el ítem es pertinente o no para el medir el constructo bajo estudio.

Paso para hallar la validez de contenido según Lawshe Definir las características que deben tener los jueces. Seleccionar una muestra de jueces. Administrar el instrumento a los jueces. Hallar el coeficiente de validez de contenido del ítem. Eliminar del instrumentos todos los ítemes que no cumplen con el criterio establecido. Hallar la validez de contenido del instrumento (IVC).

Coeficiente de validez de contenido del ítem (CVR) Si la cantidad de jueces que expresó que el ítem es PERTINENTE es mayor que la cantidad de jueces que indicaron que NO ES PERTINENTE. CVR = PERTINENTE ÷ N Si la cantidad de jueces que expresó que el ítem es NO ES PERTINENTE es mayor que la cantidad de jueces que indicaron que es PERTINENTE. CVR = (PERTINENTE – NO PERTINENTE) ÷ N

Coeficiente de validez de contenido del ítem (CVR) Si la cantidad de jueces que expresó que el ítem es NO ES PERTINENTE es igual que la cantidad de jueces que indicaron que es PERTINENTE. CVR = 0 Si todos los jueces indicaron que el ítem es PERTINENTE. CVT = .99

Ejercicio 1: Halle el CVR y IVC del siguiente instrumento Número del ítem Jueces 1 2 3 4 5 6 7 8 9 10 0 = No pertinente y el 1 = Pertinente

Validez de criterio Es la efectividad de una prueba para predecir la conducta individual en situaciones específicas. Tipos de validez de criterio Concurrente Es el grado de relación que existe entre las puntuaciones de la prueba y las medidas del criterio llevadas a cabo al mismo tiempo en que la prueba fue administrada. Validez predictiva Es el grado de relación que existe entre las puntuaciones de la prueba y las medidas del criterio recopiladas en el futuro.

Validez de Criterio Es el coeficiente de correlación entre los resultados del instrumento y el criterio. El coeficiente de correlación debe ser igual o mayor a .75 para establecer una buena validez de criterio. Nivel de satisfacción Desempeño académico 6 82 2 63 1 57 5 88 68 3 75

La validez de constructo esta referida al grado en que cada instrumento refleja el constructo que dice medir, elaborándose operativamente cuando el usuario desea hacer inferencias acerca de conductas o atributos que pueden agruparse bajo la etiqueta de un constructo particular. Se refiere a qué tan exitosamente un instrumento representa y mide un concepto teórico (Bostwick y Kyte,2005). La organización de constructo requiere de la acumulación gradual de diversas fuentes de información.

Messick (1995) establece seis criterios a considerar al momento de establecer la validez de constructo de un instrumento. Contenido Relevancia y representatividad del instrumento Sustantivo Razones teóricas de la consistencia observada de las respuestas. Estructural Configuración interna del instrumento y dimensionalidad.

Messick (1995) establece seis criterios a considerar al momento de establecer la validez de constructo de un instrumento. Generalización Grado en que las inferencias hechas a partir del instrumento. Se puede generalizar a otras poblaciones, situaciones o tareas. Externo Relaciones del instrumento con otros instrumentos y constructos. Consecuencia Consecuencias éticas y sociales del instrumento.

Validez total La validez de un instrumento de medición se evalúa sobre la base de todos los tipos de evidencia. Cuanto mayor evidencia de validez de contenido, de criterio y de construcción tenga un instrumento, este se acercará más a representar las variables que pretende medir. Contenido Criterio Constructo Validez total

La relación entre la confiabilidad y la validez Un instrumento de medición puede ser confiable, pero no necesariamente válido. Un instrumento quizás sea consistente en los resultados que produce, pero no mida lo que pretende. Los instrumentos deben ser válidos y confiables para que los resultados de la investigación se tomen en serio. La validez y confiabilidad no se asumen, se prueban.

Situaciones que afectan la validez La improvisación Para construir un instrumento se requiere conocer muy bien la variable que se pretende medir, así como la teoría que la sustenta. Instrumentos desarrollados en el extranjero que no han sido validado para nuestro contexto. Instrumento inadecuado para las personas que se les administra. Lenguaje muy elevado, no tomar cuenta diferencias de género, edad, conocimientos, memoria, nivel ocupacional, educativo, motivación para contestar entre otras situaciones.

Situaciones que afectan la validez Estilos personales de los sujetos. Deseabilidad social, tendencia a asentir o contestar negativamente a todo lo que se le pregunta o dar respuestas inusuales. Condiciones en que se administra el instrumento. Ruidos, iluminación, frío, demasiado largo o tedioso, el momento, el día, la hora y el tiempo para responder. Falta de estandarización del proceso de administración. Instrucciones y orden de preguntas distintas, instrumentos no equivalentes.

Situaciones que afectan la validez Aspectos mecánicos No sea legible, faltan páginas, no haya espacio para contestar, no se comprende. Falta de validez de constructo Estrechez del contenido, exclusión de variables. Amplitud exagerada, excesiva introducción de otros constructos.

Confiabilidad Es la precisión con que el instrumento mide lo que mide, en una población determinada y en las condiciones normales de aplicación. La falta de confiabilidad de un instrumento esta en relación con la intervención del error. Se considera que el error es cualquier efecto irrelevante para los fines o resultados de la medición que influye sobre la falta de confiabilidad de tal medición. La confiabilidad se presenta por medio del coeficiente de confiabilidad y del error estándar de medida.

Prueba-reprueba Se aplica dos veces el mismo instrumento (el lapso entre las aplicaciones se determina previamente), a una misma muestra de individuos. Las dos series de puntajes resultantes se correlacionan con el coeficiente de correlación de Pearson.

División por mitades o "split half method" Se aplica el test una sola vez a una muestra. Luego, se califica por separado los ítemes pares (y los ítemes impares. Las dos series de puntajes resultantes se correlacionan con el coeficiente de Pearson. Esta corrección se efectúa con la fórmula de profecía de Spearman-Brown.

Consistencia interna La técnica considera que si un instrumento esta formado por un conjunto de ítemes estos pueden ser considerados como un conjunto de instrumentos paralelos (tantos como ítemes tenga el instrumento). Luego se deriva una ecuación para computar el coeficiente de confiabilidad.

Consistencia interna Kuder y Richardson derivaron varias fórmulas para el cálculo del coeficiente de confiabilidad, son las más conocidas la KR20 y la KR21. Se utiliza en instrumento en donde las contestaciones son correctas o incorrectas. Actualmente, un coeficiente más utilizado es el coeficiente alfa de Cronbach. Se puede utilizar en cualquier tipo de instrumento.

Coeficiente Alpha Cronbach La técnica considera a cada ítem como un subcuestionario separado del cuestionario total. Como esta propiedad de paralelismo es prácticamente imposible para los ítemes, por lo general el coeficiente alfa de Cronbach subestima el coeficiente de correlación.

Situaciones que afectan la confiabilidad Homogeneidad del grupo El coeficiente de confiabilidad se afecta por la variabilidad entre los sujetos. Mientras mayor es la dispersión de las puntuaciones, mayor es la confiabilidad. Por lo tanto es posible que un cuestionario que se haya construido con una población heterogénea muestre un coeficiente de confiabilidad mucho menor cuando se aplica a una población más homogénea.

Homogeneidad del grupo Es importante, cuando se adquiere un instrumento construido para otra población asegurarse de que: el coeficiente de confiabilidad se obtuvo con una población semejante a la que va a utilizar el instrumento.

Tiempo Si un cuestionario tiene un tiempo límite para completarse algunos sujetos van a terminar a tiempo y otros no. Por lo tanto nos encontramos ante otra variable que va a aumentar la dispersión de puntuaciones en el cuestionario. La varianza de esta variable "rapidez en responder" se añade a la varianza de las puntuaciones y aumenta la confiabilidad del instrumento.

Tiempo La mejor estrategia es dar suficiente tiempo para que todos o casi todos los sujetos puedan contestar todos los ítemes. La confiabilidad de los cuestionarios en los que la rapidez para contestar es una variable importante, debe ponerse en duda.

Situaciones que afectan la confiabilidad Tamaño del cuestionario Mientras más largo es el instrumento, mayor es la confiabilidad. Esto ocurre por dos razones principales: En un cuestionario más largo la muestra de ítemes es mayor y el universo del constructo está mejor representado. La varianza de un cuestionario aumenta cuando aumenta el número de ítemes. Por lo tanto mientras más ítemes, más varianza y por lo tanto más confiabilidad. Cuando hay varias partes en un cuestionario y se calcula la confiabilidad de cada subparte, estas por lo general son bajas, pues dependen de muy pocos ítemes.

Ejercicio 2: Halle el coeficiente Alpha Cronbach Sujetos Ítemes Total I II III IV V A 5 4 24 B 3 2 15 C 20 D 13 E 1 16 Varianza 1.2 2.7 1.7 2.3 19.3