PROCESO DE CONFIABILIDAD ESCUELA DE POSTGRADO PROCESO DE CONFIABILIDAD Ps. WALTER IVÁN ABANTO VÉLEZ ÁREA DE INVESTIGACIÓN

1. Ingresar los datos obtenidos en la aplicación de la prueba

2. Para la columna PAR

3. En la columna IMPAR

4. Colocar el cursor en la celda libre

5. Click en Insertar

6. Seleccionar Función (fx)

7. Seleccionar Estadística

8. Opción Pearson

9. Ingresar datos en matrices

10. Matriz 1: Columna PAR

11. Matriz dos: Columna IMPAR

12. Clic para obtener resultado

13. Fórmula de Spearman-Brown r11 = 2r ½ ½ 1+ r ½ ½ Pearson r = -0. 1893885

14. Mayor a 0.80: Prueba confiable

CONFIABILIDAD

Es la cualidad, la que hace que una misma prueba aplicada dos veces a la misma persona en circunstancias idénticas, proporcione similares resultados. Se refiere al grado en que su aplicación repetida al mismo sujeto u objeto produce iguales resultados. Una técnica de muestreo es confiable cuando varias muestras de una misma población arrojan datos similares. en otras palabras, la confiabilidad indica si la prueba es constante en las mediciones que obtiene de una misma persona, registrando únicamente fluctuaciones de menor importancia ocasionadas por la adquisición de nuevos conocimientos u olvidos durante los intervalos que transcurren entre una y otra aplicación de las pruebas. 20

Es la característica de precisión de los instrumentos de medición, independiente de lo que quiera medir. Es un indicador de calidad global de una prueba. Indica si los resultados que se obtienen con los instrumentos de medición son consistentes en el tiempo y entre formas de la prueba. El concepto surge del hecho que las variables que se miden en Psicología conllevan una importante carga de error.

El puntaje que se obtiene para una persona a partir de la aplicación de una prueba está compuesto por el verdadero nivel de la variable y por un componente error. Se define para la prueba global a partir del concepto de varianza de puntajes, como la proporción de varianza total de los resultados de una prueba que se debe o que es varianza verdadera.

1. Obtención de la Confiabilidad. Puede computarse por medio de métodos correlacionales, aunque también por métodos no correlacionales. Los resultados de los cálculos constituyen el valor numérico de la confiabilidad, y se denominan Coeficientes de confiabilidad. El cálculo de un Coeficiente de confiabilidad (simbolizado con la sigla rtt) es la manera precisa de evaluar la confiabilidad del instrumento (lo que implica determinar que nivel de error se está cometiendo al estimar los puntajes).

Este coeficiente entrega valores que fluctúan entre 0 y 1. Un coeficiente igual a 1 indicará confiabilidad perfecta, por el contrario, un coeficiente igual a 0 señalará una total falta de confiabilidad. Los errores condicionan distintos tipos de estimaciones de la confiabilidad.

Existen diversos factores que afectan el cálculo de un coeficiente de confiabilidad; por ello, se han determinado tres procedimientos diferentes para calcularlo: Test–retest Formas paralelas Consistencia Interna.

1.1.- Coeficiente Test–retest: Se basa en la aplicación del mismo instrumento, a un único grupo de personas, en 2 momentos distintos, y sirve para determinar si un instrumento mide de forma consistente en distintas ocasiones. Este procedimiento opera con la creencia de que las características medidas son estables en el tiempo. Es decir, el supuesto es que si efectivamente la característica es estable en el tiempo, la variación entre un momento y otro NO va a ser estadísticamente significativa.

Desde ésta perspectiva, la falta de confiabilidad se podría entender como el resultado de los errores que se producen por “Estados internos temporales” de las personas que contestan o por “Condiciones externas”. De esta manera, al calcular la confiabilidad Test-retest es importante que las condiciones de aplicación sean equivalentes en ambos momentos (misma hora, mismo lugar, mismo examinadores).

En casos como las pruebas de rendimiento o educacionales, No se utiliza el procedimiento test-retest, ya que puede existir aprendizaje entre los momentos de rendición del test. La modalidad para establecer si han existido modificaciones en los puntajes entre un momento y otro es un coeficiente de correlación, que en éste caso se denomina Coeficiente de Estabilidad.

El tiempo mínimo de aplicación para un Test – Retest son 15 días, ya que dicho período de tiempo sería el necesario para que las personas olviden la mayor parte de las respuestas que entregaron la primera vez. De hecho, la magnitud de un coeficiente de estabilidad tiende a ser mayor cuando el intervalo entre la prueba inicial y la segunda es breve, en lugar de prolongado.

1.2.- Pruebas Paralelas: Cuando el intervalo de tiempo entre la prueba inicial y la segunda es breve, los sujetos pueden responder a la segunda evaluación en función de lo que recuerdan hicieron previamente (y no según el nivel de la variable es ese momento). Para superar este defecto se generó una segunda forma de calcular confiabilidad: se puede administrar una Prueba Paralela, es decir, una prueba que posee reactivos equivalentes a la prueba original pero no iguales.

Dos pruebas pueden ser consideradas paralelas cuando miden las mismas variables, bajo los mismos principios y de la misma forma. En la práctica, esto se determina cuando: El promedio y las varianzas de ambos tests no difieren significativamente Los ítems presentan un similar grado de dificultad y están distribuidos de manera similar. Las correlaciones ítem – test son equivalentes.

Es importante destacar que en psicología casi no existen pruebas que posean una versión paralela, por la dificultad que implica cumplir cada uno de los criterios estadísticos recién descritos. El supuesto que opera a la base de este procedimiento es el siguiente: Al aplicar una forma paralela después de un tiempo, puede calcularse un Coeficiente de Equivalencia, que refleja los errores de medición debidos a distintos reactivos y ocasiones diferentes de aplicación.

Para obtener dicho coeficiente simplemente se ocupa algún procedimiento correlacional. En algunos casos es posible combinar las modalidades test–retest y formas paralelas, a lo que se llama: Formas paralelas con intervalo de tiempo. El coeficiente que se obtiene pasa a denominarse “de estabilidad y equivalencia”.

3.3.- Consistencia (Homogeneidad) Interna Como ya se señaló, la creación de pruebas paralelas es costosa y difícil (especialmente en pruebas de capacidad). Por ello se desarrolla un método menos directo que tome en cuenta los diversos fenómenos que afectan a la confiabilidad Este método se denomina Consistencia Interna. Permite conocer si los resultados son consistentes entre dos mitades que comparo (de la misma prueba) 34

Existen diversas formas de calcularlo (y no todas son correlaciones): En otras palabras, responde a la pregunta :¿Son consistentes los resultados en el tiempo entre dos mitades del mismo instrumento? Existen diversas formas de calcularlo (y no todas son correlaciones): Método de Equivalencia Racional o bipartición del test.   Método Kuder – Richardson (Fórmulas 20 y 21). Alfa de Cronbach. Los errores de medición provocados por los diferentes momentos de aplicación no se reflejan en un coeficiente de consistencia interna 35

1) Método de Equivalencia racional de un test 1) Método de Equivalencia racional de un test. (Bipartición o Split – half) Consiste en un método para estimar directamente un coeficiente de confiabilidad sin tener que calcular antes una correlación, a partir de la varianza de los puntajes de las mitades de prueba. Es un método fácil y expedito de cálculo. Puede ser conveniente conceptualizar una sola prueba como si consistiera en dos partes (“paralelas”), cada una de las cuales mide lo mismo.

En otras palabras, se aplica el instrumento y se califican a cada sujeto con dos puntuaciones separadas, pero provenientes de aquella única evaluación. Se puede realizar la bipartición de diversas maneras: Si el test evalúa sólo una variable, se puede dividir el test en reactivos pares e impares. Por el número de variables que posee la prueba (Según Tabla de especificaciones)

El primer método fue desarrollado por Rulon (1939). Posteriormente, Guttman (quien fue colaborador de Rulon) desarrolla una nueva fórmula para determinar la confiabilidad. Una única prueba aplicada en una oportunidad se puede dividir en sus resultados, en al menos dos partes. Lo usual es usar bipartición par – impar, aunque pueden hacerse otros tipos de partición. La fórmula se basa en el establecimiento de la varianza de cada una de las dos mitades del test, relacionándolas con la varianza total del test. 38

Spearman – Brown trabajan con el método de bipartición par – impar. Se supone que ambas mitades son equivalentes, con medias y varianzas iguales. Es decir, los autores exigen que las dos mitades resulten estrictamente paralelas (lo cual no es enunciado por ninguno de los autores revisados hasta aquí).

2) Método derivado de los datos del análisis de 2) Método derivado de los datos del análisis de ítems: Fórmulas de Kuder – Richardson. Se aprovechan los resultados del análisis de ítems, en que se intentaba calcular el grado de consistencia interna de cada reactivo, uniendo estos resultados para calcular el grado de homogeneidad de todo el instrumento. Los métodos más usados son las de Kuder – Richardson 20 y 21. Suele aplicarse cuando los resultados a un ítem sólo pueden ser calificados con valores 0 y 1.

3) Alfa de Cronbach Cronbach adapta la fórmula propuesta por Guttman para establecer la confiabilidad en test que tuvieran más de dos “partes”. Ejemplo: Instrumentos que evalúan dos o más variables simultáneamente. También es posible de obtener mediante el uso de una Matriz de correlaciones.

Consistencia u obtención de los mismos resultados Confiabilidad Consistencia u obtención de los mismos resultados

Confiabilidad de la medición Reducir el error de medición Escribir claramente los reactivos Plantear la instrucción facilmente Condiciones de administración Explicitar reglas de calificación Entrenamiento del evaluador

Medidas de confiabilidad y validez Confiabilidad de un Utilizar el sistema de sistema de evaluación  2 o más evaluadores Correlación Alta = sistema confiable “Si una prueba es confiable, un sujeto recibirá aproximadamente la misma puntuación cada vez que resuelva dicha prueba o una equivalente de ésta” Puntuación alcanzada Correlaciona con medidas posteriores de conducta

Efectos de la dispersión sobre la confiabilidad Coeficiente de correlación Mayor con respecto al rasgo Coeficiente de confiabilidad Desviación estándar de los puntajes obtenidos Tamaño relacionado con Independiente de la desviación estándar Varianza de los errores de medición

Confiabilidad Varía según dispersión de los puntajes No altera el significado directo del coeficiente de Confiabilidad Proporción entre la varianza de los puntajes verdaderos y puntajes obtenidos Proporción pequeña Atenuará la correlación con otras variables