INSTRUMENTOS DE MEDICIÓN,CONFIABILIDAD Y VALIDEZ UNIVERSIDAD CENTRAL DEL ECUADOR FACULTAD DE CIENCIAS AGRÍCOLAS CARRERA DE INGENIERIA AGRONÓMICA MÉTODOS DE INVESTIGACIÓN CIENTÍFICA INSTRUMENTOS DE MEDICIÓN,CONFIABILIDAD Y VALIDEZ Analuisa Josselyn Caza Nancy Cabrera Jonathan Guerrón Anderson Loachamín Lucía Samuisa Vanessa

MEDICIÓN Según Hernández, Fernández y Baptista (2010) definen que la medición significa “asignar números, símbolos o valores a las propiedades de objetos o eventos de acuerdo con reglas”. Proceso que relaciona conceptos abstractos con indicadores empíricos, lo cual involucra una clasificación y cuantificación de los datos.

Instrumento De Medición Recurso que utiliza el investigador para registrar información o datos sobre las variables que tiene en mente. Registra datos observables mediante la utilización de un formato para obtener y almacenar los aspectos relevantes del estudio.

Instrumentos de medición El instrumento construido se somete a una prueba piloto para calcular su confiabilidad y validez. Recolección de datos Instrumentos de medición Se realiza mediante Recurso para recolectar datos sobre las variables de la hipótesis Las respuestas obtenidas, previamente codifican, se transfieren a una matriz de datos y se preparan para su análisis mediante un paquete estadístico para PC. Observación Cuestionario Escala para medir actitudes Prueba estandarizada e inventarios Test sociométrico Test de Rorschach

OBSERVACIÓN La observación consiste en el registro sistemático, válido y confiable de comportamientos o conducta manifestada.

Observación Participante Registro anecdótico Permite recopilar hechos o situaciones de significación para la investigación

Cuaderno de protocolo Describen los aspectos mas relevantes de la observación efectuada.

Diario de campo Se refiere a un cuaderno en que se recogen observaciones sobre acontecimientos, hechos o situaciones día a día relativos a la investigación.

Lista de frecuencia ( no participativa) Provee información sobre el registro de las veces u ocasiones que se presenta una conducta, proceso, evento etc. Lista de Cotejo o Chequeo Indica o no la presencia de una aspecto, rasgo, conducta o situación observada

Escala de estimación Considera la ausencia o presencia de los aspectos a observar Incluye una escala que estima o valora, algún criterio Presenta gradaciones de jerarquización o clasificación

CUESTIONARIO

Preguntas abiertas Ventajas Son utilices cuando no tenemos información sobre posibles respuestas de las personas. Desventajas Son mas difíciles de codificar, clasificar y analizar

Preguntas cerradas Ventajas Son fáciles de codificar Facilidad de análisis Desventajas Limitan las respuestas de la muestra

Escala de Trurstone o escala de intervalos La escala debe presentar mas de cinco opciones (generalmente entre 7 y 11). Presentar diferentes grados de actitud en una respuesta

Escala de likert o de calificaciones Consiste en un conjunto de ítems, proposiciones, presentados de manera afirmativa o negativa. Calificar del 1 al 5 según su grado de acuerdo con la misma.

Escala de Guttman o acumulativa Medición de una misma variables, aun cuando la afirmaciones pueden variar de intensidad.

Escala Osgood o diferencial semántico Cuyas opciones de respuesta utilizan adjetivos extremos. Entre cada par de adjetivos se incluye varias opciones (mediante espacios)

Escalas de distancia social Tienen como objetivo establecer relaciones de distancia entre grupos Básicamente se trata de hacer preguntas indirectas sobre la distancia del sujeto a una minoría étnica o cultural, o una determinada nacionalidad, etc. EJEMPLO: Conteste si o no cada una de las siguientes preguntas. ¿ Se casaría con un gitano o una gitana? si/no ¿ Le importaría que su hija se casara con un gitano? si/no ¿ Le importaría que sus hijos pequeños fueran a una escuela con mayoría de gitanos? si/no ¿ Le gustaría tener un gitano como amigo? si/no ¿Le importaría tener una familia gitana como vecina de la puesta de enfrente? si/no

ENTREVISTA Se basa en el intercambio de opiniones, ideas o puntos de vista atreves del dialogo entre entrevistador y entrevistado.

No Estructura Estructurada Entrevista informal Focalizada o por pautas Focalizada estudios exploratorios. Por pautas evita hacer preguntas directas Generalmente tiene información sobre fecha, hora , lugar , lugar del entrevistado, tema central y las interrogantes

TEST SOCIO MÉTRICO Permite determinar las personas con quienes un sujeto prefiere asociarse y cuantas personas desean asociarse con él, en relación con un criterio definido. 

Objetivos del test socio métrico son: Conocer el grado de aceptación de cada individuo dentro de un grupo. Saber quiénes son los sujetos preferidos del grupo dentro de los criterios de selección. Conocer como está estructurado el grupo (divisiones, subgrupos, patrones de género, etc.)  Conocer los líderes del grupo y las características de porque lo son. Conocer los miembros rechazados del grupo y las características de porque lo son.

Pruebas e inventarios estandarizados Existe  una  amplia  diversidad  de  pruebas  e  inventarios  desarrollados  por  diversos  investigadores para medir un gran número de variables. Estas pruebas tienen su propio procedimiento de aplicación, codificación e interpretación, y se encuentran disponibles en diversas fuentes secundarias y terciarias, así como en centros de investigación y difusión del conocimiento Hay  pruebas para medir

 Es conveniente que se seleccione una prueba desarrollada o adaptada por algún investigador para el mismo contexto de nuestro estudio y que sea válida y confiable En el caso de que elijamos una prueba diseñada en otro contexto, es necesario adaptarla y aplicar pruebas piloto Un tipo de pruebas estandarizadas son : “Las pruebas proyectivas”, las cuales presentan estímulos a los sujetos para que respondan a ellos; después se pueden analizar las respuestas tanto cuantitativamente como cualitativamente y se interpretan. Estas pruebas miden proyecciones de los sujetos, como por ejemplo, la personalidad.

Test de Rorschach Presenta a los sujetos manchas de tinta en tarjetas o láminas blancas numeradas y éstos relatan sus asociaciones e interpretaciones en relación a las manchas.

Requisitos Que Debe Cumplir Un Instrumento De Medición Confiabilidad Validez

VALIDACIÓN

A qué se refiere la validez? ¿De qué disciplina proviene el concepto de validez?

La validez es, por tanto, la mejor aproximación posible a la “verdad” que puede tener una proposición, una inferencia o conclusión.

En metodología, se suele hablar de condiciones de validez de algunos componentes del proceso de investigación: Validez de los instrumentos, validez del diseño, validez de la muestra, etc. Esta forma de hablar no es del todo precisa. En verdad, lo que se quiere decir es si “un instrumento, un procedimiento, un muestreo, un diseño, son apropiados para ayudarnos a obtener conclusiones válidas.”

VALIDEZ – FORMAS - TIPO DE INVESTIGACIÓN Existen varios tipos de validez. Pero no todas ellas se dan en todos los tipos de investigación. Hay que mirar una investigación de tipo explicativo causal para poder ver todas las formas de validez.

TIPOS DE VALIDEZ

Validez de Contenido Se refiere al grado en que un instrumento refleja un dominio específico del contenido de lo que se quiere medir, se trata de determinar hasta dónde los ítems o reactivos de un instrumento son representativos del universo de contenido de la característica o rasgo que se quiere medir.

El análisis del instrumento se hace en gran parte en términos de su contenido. El problema de apreciar la validez de contenido está vinculado íntimamente con la planificación del cuestionario y después con la construcción de los ítems ajustados a esos planes y a los contenidos del marco teórico de la investigación. Un instrumento de medición debe tener representados a todos los ítems del dominio de contenido de las variables a medir.

Los investigadores deben elaborar una serie de ítems, acordes con las variables empleadas y sus respectivas dimensiones. Luego de la selección de los ítems, se elabora el instrumento, para ser validado por un grupo impar de expertos, de tres o cinco, que certifiquen, efectivamente, que las preguntas, reactivos o afirmaciones seleccionadas son claras y tienen coherencia con el trabajo desarrollado.

Hay que considerar que, la validez de contenido no puede expresarse cuantitativamente es más bien una cuestión de juicio, por lo que usualmente se utiliza , el denominado Juicio de Expertos. Mediante el juicio de expertos se pretende tener estimaciones razonablemente buenas, las mejores conjeturas. Los juicios de expertos se pueden obtener por métodos grupales o por métodos de experto único. Se pueden seguir, entre otros: Método de Agregados Individuales Técnica de Grupo Nominal Método de Consenso Grupal.

MÉTODO DE AGREGADOS INDIVIDUALES Se pide individualmente a cada experto que dé una estimación directa de los ítems del instrumento. Puede parecer un método limitado porque los expertos no pueden intercambiar sus opiniones, puntos de vista y experiencia, esta limitación puede ser precisamente lo que se busca para evitar los sesgos de los datos.

Se seleccionan al menos tres expertos o jueces, para juzgar de manera independiente la relevancia y congruencia de los reactivos con el contenido teórico.   Cada experto debe recibir la información escrita suficiente sobre: el propósito de la prueba , conceptualización del universo de contenido, tabla de especificaciones o de operacionalización de las variables del estudio.

Los ítems que tienen 100% de coincidencia favorable entre los jueces quedan incluidos en el instrumento   Los ítems que tengan 100% de coincidencia desfavorable entre los jueces quedan excluidos del instrumento Los ítems que tengan una coincidencia parcial entre los jueces deben ser revisados, reformulados o sustituidos, si es necesario, y nuevamente validados.

Formato para validar instrumentos a incluir en el instrumento de validación.

TÉCNICA DE GRUPO NOMINAL El primer paso es reunir a los expertos (entre ocho y diez personas) y pedirles que registren, individualmente sus propias puntuaciones y consideraciones respecto a las probabilidades de error para cada una de las preguntas. Cada experto expone a los demás las puntuaciones y principales consideraciones registradas y al acabar, se establecen las coincidencias del grupo. Se realiza un debate de cada uno de los apartados de ésta. Finalmente, cada experto, de manera individual y por escrito, puntúa y argumenta las probabilidades de error para cada tarea/pregunta considerada.

MÉTODO DEL CONSENSO GRUPAL Se reúne a los expertos en un lugar determinado, se indica al grupo que su tarea consiste en lograr una estimación de la pertinencia y otros aspectos relacionados con la elaboración de los ítems, que sea satisfactoria para todos los expertos. Con estas instrucciones se maximizan los intercambios de información y opiniones dentro del grupo de expertos. Si el grupo no logra un consenso, puede intentarse un consenso artificial recogiendo las estimaciones individuales y sintetizándolas estadísticamente.

La teoría sugiere los siguientes pasos: Validez de Constructo intenta responder la pregunta ¿hasta dónde el instrumento mide realmente un rasgo determinado y con cuánta eficiencia lo hace?. Para estudiar este tipo de validez es necesario que exista una conceptualización clara del rasgo estudiado basado en una teoría determinada. La teoría sugiere los siguientes pasos: Identificar las construcciones que pudieran explicar la ejecución en el instrumento   Formulación de hipótesis comprobables a partir de la teoría Recopilación de los datos para probar las hipótesis El término constructo se usa en psicología para referirse a algo que no es observable, pero que literalmente es construido por el investigador para resumir o explicar las regularidades o relaciones que él observa en la conducta.

Validez Predictiva o de Criterio Externo o Empírica Se asocia con la visión de futuro, determinar hasta dónde se puede anticipar el desempeño futuro de una persona en una actividad determinada. La validez predictiva se estudia comparando los puntajes de un instrumento con una o más variables externas denominadas variables de criterio. Se establece una correlación, la cual se interpreta como índice de validez. El procedimiento básico consiste en aplicar la prueba a un grupo de personas que ingresan a un trabajo o a un programa de entrenamiento y, posteriormente, seguirlas observando para obtener de cada una, una medida criterio de éxito específica y luego calcular la correlación entre la puntuación de prueba y la medida criterio de éxito. Cuanta más alta sea la correlación, mejor será el instrumento, es decir, la evaluación como predictor es principalmente una evaluación empírica y estadística.  

CUALIDADES DESEABLES EN UNA MEDIDA CRITERIO Existen cuatro cualidades deseables en una medida criterio, en orden de importancia son:   Atingencia – Se consideran que un criterio es atingente en la media en que esta medida criterio corresponde con o ejemplifica el éxito en el trabajo. Libre de sesgos – La medida debería ser aquella en la que cada persona tiene las mismas oportunidades de obtener una buena puntuación. Confiabilidad – Debe ser estable o reproducible si ha de ser predicha por algún tipo de prueba. Disponibilidad – Debe tener en cuenta límites prácticos como: ¿Qué tanto se debe esperar para obtener una puntuación?, ¿Cuánto dinero costarán las interrupciones de las actividades?

Factores que Afectan la Validez   Factores que Afectan la Validez Construcción del Instrumento. Algunos de los factores a evitar, para que el instrumento sea válido son:   Instrucciones imprecisas o vagas Estructura sintáctica de las oraciones muy difíciles Preguntas inadecuadas respecto a las especificaciones (sobre todo en pruebas escritas y orales) Preguntas que sugieren la respuesta Ambigüedad en la formulación de los reactivos, que lleven a diferentes interpretaciones Cuestionarios demasiado cortos (no incluyen una muestra adecuada de los indicadores a medir), con pocos reactivos Ítems incongruentes con el universo de contenido, sin relación con los rasgos o características a medir Ordenamiento inadecuado de los ítems Patrón identificable de respuestas (sobre todo en pruebas de selección)

Administración y Calificación del Instrumento. Entre estos factores están: tiempo insuficiente para responder, ayuda adicional de otros sujetos, en caso de pruebas: las chuletas o copias, la subjetividad en los puntajes de las preguntas Respuestas de los Sujetos Algunos factores: bloqueo de los sujetos al responder debido a situaciones emocionales y las respuestas al azar.   Naturaleza del Grupo y del Criterio. Debe ser aplicado el instrumento para el grupo al cual fue diseñado, puede ser inapropiado para otros grupos.

Cuando se habla de la validez de un instrumento, se quiere significar la propiedad por la cual un instrumento mide realmente aquello que pretende medir, y por tanto, es válido porque conduce a conclusiones válidas.

CONFIABILIDAD

Es la propiedad según la cual un instrumento aplicado a los mismos fenómenos, bajo las mismas condiciones, arroja resultados congruentes.. Es una condición necesaria, pero no suficiente para la validez de un instrumento. Confiabilidad

¿Qué mide la confiabilidad? La confiabilidad es una medida de determinación de la ESTABILIDAD y la CONSISTENCIA INTERNA DEL INSTRUMENTO. ¿Qué mide la confiabilidad?

Estabilidad Un instrumento es estable si, aplicado repetidas veces a los mismos fenómenos, bajo las mismas condiciones, arroja resultados consistentes (congruentes). Observadores diferentes aplican un mismo instrumento a la misma muestra (en momentos diferentes) y obtienen resultados consistentes. Un mismo observador aplica un instrumento a muestras equivalentes y obtiene resultados consistentes.

Consistencia interna Propiedad del instrumento según la cual, cada parte del mismo mide de la misma manera que las otras partes. Ejemplo: Cada mitad de una cinta métrica arroja las mismas mediciones que la cinta métrica completa. Cada mitad de la cinta métrica arroja los mismos valores que la otra mitad.

La confiabilidad responde a la pregunta ¿con cuánta exactitud los ítems, reactivos o tareas representan al universo de donde fueron seleccionados?. El término confiabilidad “…designa la exactitud con que un conjunto de puntajes de pruebas miden lo que tendrían que medir” Confiabilidad

Métodos para estimar la confiabilidad, Método Test-Retest Método común de división por mitades o Hemitest El método de división por mitades de Rulon Coeficiente Alfa de Cronbach Método de Kuder-Richarson 20 Método de Kuder-Richarson 21

Una forma de estimar la confiabilidad de un test o cuestionario es administrarlo dos veces al mismo grupo y correlacionar las puntuaciones obtenidas. Este procedimiento solo es aplicable para la medición de aptitudes físicas y atléticas, test de personalidad y motores. Para un desarrollo adecuado y sean confiables deben variar entre 0,80 y 0,95 Método Test-Retest

Correlación r de Pearson En donde: r xy: es el coeficiente de correlación N: número de sujetos X: valores de X (1ª aplicación) Y: valores de Y (2ª aplicación) XY: producto de cada valor X por su correspondiente valor en Y

Cuadro 2. Tabla de Datos para aplicar el Coeficiente de Correlación r de Pearson

Método común de división por mitades o Hemitest Se establece la correlación entre los dos puntajes de las dos mitades del test a través del método de los puntajes directos, Correlación r de Pearson Se estima a través del coeficiente de confiabilidad de Spearman Brown

Estimación del test completo (Spearman-Brown) con la fórmula: Se interpreta la prueba de hemitest como coeficiente de consistencia interna, ya que una sola prueba contiene las dos formas equivalentes y su énfasis lo pone en las puntuaciones de los sujetos, no en los ítemes.

El método de división por mitades de Rulon

Alfa de Cronbach Es usado para evaluar la confiabilidad o la homogeneidad de preguntas o ítems, este método es muy utilizado cuando se usan metodologías de valores entre 0 y 1, donde 0 significa confiabilidad nula y 1 confiabilidad total

Puede ser calculado mediante dos formas a) Mediante la varianza de los ítems y la varianza del puntaje total. Donde: Rtt: Coeficiente de confiabilidad de la prueba o cuestionario. K: Numero de ítems. St2: Varianza total. Ʃsi2: Sumatoria de las varianzas Mientras mayor sea la homogeneidad mayor será el Alfa de Cronbach

b) Mediante la matriz de correlación entre ítems. Donde: N: numero de ítems. P: Promedio de correlaciones entre cada ítem. Mientras mayor sea la correlación mayor será el Alfa de Cronbach

Características del Alfa de Cronbach Requiere hacerse una sola vez en cuanto a preguntas e ítems. Producen valores entre 0 y 1

Coeficiente KR-20 y KR-21 KR-20: Permite obtener la confiabilidad a partir de los datos obtenidos en una sola aplicación. Puede ser usada en cuestionarios con ítems dicotómicos. KR-21: Permite obtener la confiabilidad a partir de los datos obtenidos en una sola aplicación. Difiere del anterior en suponer que todos los ítems presentan igual varianza.

KR-20. Donde: N: Numero total de ítems. S2t: Varianza de puntuaciones totales. P: Proporción de sujetos que pasaron un ítem sobre el total de sujetos. Q: 1-p.

KR-21. Donde: N: Numero total de ítems. M: Media aritmética de las puntuaciones obtenidas. S2t: Varianza de las puntuaciones totales.

Características Permite calcula la confiabilidad en una solo aplicación del instrumento. Es aplicable en ítems dicotómicos que son codificados en 0 y 1

Bibliografías Corral, Y. (2009). Validez y confiabilidad de los instrumentos de investigación para la recolección de datos. CIENCIAS DE LA EDUCACIÓN. 19 (33),1-20.Recuperado de http://servicio.bc.uc.edu.ve/educacion/revista/n33/art12.pdf Omar, E, & Becerra, V. (2012). Elaboración de instrumentos de Investigación. Recuperado de https://nticsaplicadasalainvestigacion.wikispaces.com/file/view/guia+para+elaboracion+de+instrumentos.pdf Briones, G. (2003). Métodos y técnicas de investigación. Edición . México D.F. Triallas. Buendia, P. y Hernández, F. (1998). Métodos de investigación. España: McGraw-Interamericana de España.

POR LA ATENCIÓN PRESTADA