Confiabilidad y validez en psicología Silva, A. (1992) Confiabilidad y validez en psicología Silva, A. (1992). Métodos Cuantitativos en Psicología. Un enfoque metodológico. México: Trillas. Representación Cuantitativa de Datos Psicológicos Dr. Daniel González Lomelí

Introducción Los métodos de la evaluación conductual consisten en la identificación de unidades de respuesta significativas y las variables que la controlan (organísmicas o ambientales) con el propósito de entender y modificar la conducta (Nelson y Hayes, 1981). Técnicas de evaluación conductual: Entrevista. Observación directa. Autoinforme. Automonitoreo. Aparatos mecánicos y electrónicos. Respuestas: Cognoscitivas Fisiológicas Motoras

Introducción En la evaluación conductual (EC): La confiabilidad de sus instrumentos es una condición necesaria para la validación de los mismos. Informar sobre la validez de los tratamientos, puesto que “la probabilidad de detectar una diferencia en la ejecución entre condiciones de tratamiento está en función directa de la confiabilidad de la medida usada”. La utilización de técnicas de observación directa se debe a que son congruentes con los supuestos teóricos de la EC, tales como: Que sea conductual Que sea empírica Nota: se cuestiona la confiabilidad y validez de las otras técnicas de EC (autoinforme, entrevista, etcétera).

La observación directa: métodos de registro La observación conductual directa se lleva a cabo en medios naturales, en situaciones análogas o en ambientes estructurados, con la finalidad de identificar y cuantificar el segmento conductual de interés, encontrar los determinantes de los cuales la conducta es función, así como también en la evaluación de los resultados de la intervención.

La observación directa: métodos de registro En la EC no sólo interesa identificar las características relevantes del segmento conductual que permita describirlo sino, entre otras cosas, la forma de medir esas características.

La observación directa: métodos de registro Cuando deseamos medir alguna propiedad de la conducta mediante una técnica de observación directa se debe tener en cuenta que la conducta ocurre de forma continua, y que necesariamente debe ser segmentada a partir del establecimiento de un límite espaciotemporal determinado.

La observación directa: métodos de registro Sin embargo, puesto que la conducta no sólo ocurre en un espacio temporal sino que también se presenta de una manera particular, es preciso además, especificar la topografía de la respuesta. Estas propiedades de la conducta, la geografía y la topografía, son dos aspectos muy importantes cuando se va a llevar a cabo la evaluación de una conducta mediante un instrumento de medición observacional directo.

La observación directa: métodos de registro Una vez que el segmento conductual se ha identificado por medio de la determinación del límite espaciotemporal en donde se va a llevar a cabo la observación y se especifica la topografía, debe seleccionarse una estrategia para medir el parámetro o los parámetros de interés.

La observación directa: métodos de registro La cuantificación debe efectuarse sobre el parámetro más relevante para la conducta particular, y puede ser la frecuencia, la duración, distancia de recorrido, ocurrencia por oportunidades, productos permanentes, etcétera.

Confiabilidad Después de que se mide un evento conductual cabe preguntarse: ¿Realmente se está midiendo lo que se quiere medir? ¿Reflejan las medidas obtenidas las variaciones de la dimensión del evento conductual medido? La confiabilidad ha de responder: ¿Los datos obtenidos mediante un instrumento son estables y relativamente predecibles? ¿Las mediciones obtenidas por medio de un instrumento corresponden a las verdaderas medidas de la propiedad en cuestión? validez confiabilidad

Confiabilidad Instrumento de medición: cualquier tipo de aparato (contador, relojes, galvanómetro, entre otros) o procedimiento (entrevista, encuesta, registro conductual, etcétera) que proporcione datos acerca de la conducta o evento de interés (Nava, 1984). Índices de confiabilidad: Por ensayo o punto por punto. Porcentaje de acuerdo y coeficientes de correlación: Ji cuadrada, Coeficiente de contingencia C, el coeficiente phi, el coeficiente kappa, pi, coeficiente de correlación intraclase. Por sesión. Coeficiente de correlación de Pearson, confiabilidad para datos secuenciales.

Confiabilidad La Ji cuadrada: probar la “Bondad de ajuste” de los datos de un observador con un conjunto de valores estándar esperados. Fórmula X2=Σt Σk (foij – feij)2 i=1 j=1 ------------- feij foij es la frecuencia observada de la casilla ubicada en el renglón i de la columna j, y feij es la frecuencia esperada de la casilla ubicada en el renglón i de la columna j. Se obtiene al multiplicar el total marginal del renglón i por el total marginal de la columna j, y dividiendo el producto por el total general (N).

Confiabilidad Tabla 3.3 datos hipotéticos de la conducta de un niño de levantarse de su asiento en el salón de clase. 30 O1 1 O2 60 1

Matriz resultante al codificar los registros de ambos observadores 1 Observador 1 4 10 a 11 5 b 15 12 6 c 33 39 d 45 16 44 60

El cálculo de la 2 está dado por la fórmula: 2=Σt Σk (foij – feij)2 i=1 j=1 feij  2= (10 - 4)2 + (5 – 11 )2 + (6 – 12)2 + (39 - 33)2 = 16.36 4 11 12 33 Nota: Una de las desventajas de este estimador es que sólo brinda un índice global de asociación para la totalidad de la distribución del código de observación, ya que aun cuando se realiza la contrastación no es posible tener un estimador puntual de la confiabilidad de dichos datos. El coeficiente de contingencia C brinda una medida de asociación o relación entre los registros de los dos observadores C = [  2 ]  N +  2 C = [ 16.36 ]  = 0.46 60 + 16.36 Conclusión: el acuerdo entre observadores es de 0.46

Fórmula del coeficiente phi: El coeficiente phi (  ): mide la asociación entre los registros de los dos observadores Fórmula del coeficiente phi:  = ad – bc  (a + c) (b + d) (a + b) (c + d)  = (10) (39) – (5) (6)  (10 + 6) (5 + 39) (10 + 5) (6 + 39)  = 390 – 30 = 0.52  475200

El coeficiente kappa (  ): calcula el acuerdo entre dos observadores al registrar una categoría conductual La fórmula de  es:  = Po – Pc 1 - Pc Donde: Po es la proporción de acuerdos entre observadores, y Pc es la proporción de acuerdos por azar. Po = (10 + 39) = 0.817 60 Pc = [ (16 x 15) + (44 x 45) ] / 60 = 0.617 60  = 0.817 – 0.617 = 0.52 1 - 0.617 S = [ Po (1 – Po) ]  N (1 – Pc)2 Z =  S Z = 0.52 = 4 0.13 S = [ 0.817 (1 – 0.817) ]  = 0.13 60 (1 – 0.617)2 El valor de probabilidad asociado para este valor de Z conforme a la Tabla A del apéndice II, es p (Z = 4) = 0.00003, el cual es significativo con  igual a .01, ya que p < .001 por lo tanto, se puede concluir que el acuerdo entre observadores es mucho mayor que el que podría esperarse ocurriera por azar.

Coeficientes de confiabilidad cuando se registran más de dos categorías conductuales Tabla 3.4. Datos hipotéticos obtenidos por dos registradores al medir las conductas de agresión (A), acercamiento afectivo (B) y aislamiento (C). 30 A B C 60 A B C Observador 2 Observador 1 A B C 15 6 11 7 4 26 21 13 60 9 8 25 18 17

Coeficientes de confiabilidad cuando se registran más de dos categorías conductuales Scott propuso un índice que llamó pi ( π ) para estimar el acuerdo entre los observadores, y se calcula por la ecuación π = Po – Pe 1 - Pe Donde: Po es la proporción de veces en que ambos observadores están de acuerdo en la aparición de una categoría conductual (diagonal de la matriz). Po = 15 + 7 + 9 = 0.517 60 Pe es el acuerdo probable o esperado: Categoría A observador 1: 26/60 = 0.433 Categoría A observador 2: 25/60 = 0.417 Promedio P1 = 0.425 Pe = (0.425)2 + (0.325)2 + (0.25)2 = 0.349 π = 0.517 – 0.349 = 0.26 1 – 0.349

Coeficientes de confiabilidad cuando se registran más de dos categorías conductuales El coeficiente Kappa también puede emplearse para calcular la confiabilidad en este tipo de registros. Calcular Kappa (κ) es más conveniente, puesto que puede contrastarse la significancia del valor obtenido. Po = 15 + 7 + 9 = 0.517 60 Pc = [(25)(26) + (18)(21) + (17)(13)]/60 = 0.347 60 κ = 0.517 – 0.347 = 0.26 1 – 0.347 S = [ Po (1 – Po) ]  N (1 – Pc)2 S = [ 0.517 (1 – 0.517) ]  = 0.099 N (1 – 0.347)2 Z =  = 0.26 = 2.62 S 0.099 Conforme a la Tabla de valores de Z, este valor de Z tiene una probabilidad asociada de p (2.62) = 0.0044, que es menor de α = 0.01, por lo que puede concluirse que la confiabilidad obtenida por los observadores al registrar las tres categorías conductuales es significativa.

Cuando se utilizan más de dos observadores y se registra una sola categoría conductual Coeficiente de Correlación Intraclase (CCI) CCI = 1 – (N)(R) [ (T)(R) – Σ Si 2] (T) [ (N)(R) –T] (R - 1) R es el número de observadores N es el número de intervalos o sujetos de observación T es el total de intervalos en los que se presentó la conducta Si es el total de apariciones de la conducta a través de los observadores en el intervalo o sujeto (i). Ejemplo: Seis observadores entrenados registran la conducta de un niño de conversar en el salón de clase, durante 20 intervalos de observación de dos minutos cada uno. Al final de cada intervalo, si el niño estaba platicando los observadores anotaban un 1 en la hoja de registro, y en caso de que no fuera así, un 0. En la Tabla 3.5 se muestra los datos hipotéticos.

Tabla 3.5. Datos hipotéticos obtenidos por seis observadores al examinar la conducta de un niño, cuando platica en el salón de clase. Intervalos de observación Observadores   1 2 3 4 5 6 Si 7 8 9 10 11 12 13 14 15 16 17 18 19 20 57

CCI = 1 – (N)(R) [ (T)(R) – Σ Si 2] (T) [ (N)(R) –T] (R - 1) CCI = 1 – (20)(6) [(57)(6) – (25 + 9 + 4 + 36 + 16 + 1 + 36 + 36 + 16 + 9 + 25 + 1 + 25 + 36) ] = 57 [ (20) (6) – 57] (6 – 1) CCI = 1 – 8040 = 0.55 17955 En conclusión, se puede afirmar que la confiabilidad con la que estuvieron registrando los seis observadores la conducta de un niño de conversar en el salón de clase fue de 0.55