6. Importancia de la confiabilidad Nazira Calleja

Importancia de la confiabilidad I. Importancia de la confiabilidad en la investigación conductual II. Importancia de la confiabilidad en la práctica conductual aplicada III. Construcción y refinamiento del instrumento

I. Importancia de la confiabilidad en la investigación conductal Confiabilidad, correlaciones verdaderas y correlaciones observadas La atenuación de la correlación entre las medidas por los errores de medición (baja confiabilidad) Confiabilidad y atenuación: Implicaciones para la investigación

Importancia de la confiabilidad en la investigación de la conducta Confiabilidad, correlaciones verdaderas y correlaciones observadas La atenuación de la correlación entre las medidas por los errores de medición (baja confiabilidad) Confiabilidad y atenuación: Implicaciones para la investigación

La interpretación de los resultados de la investigación psicológica depende de la calidad de la medición depende de la confiabilidad

La falta de confiabilidad debilita o atenúa los resultados de los análisis estadísticos, conduciendo a posibles interpretaciones erróneas de los hallazgos.

Investigación conductual ¿Existe relación entre el atributos X y el atributo Y? Ejemplo: ¿La autoestima el logro académico? está relacionada con X Y r verdadera = .40

Cfb, rv y ro rxoyo = rxvyv √Rxx Ryy la rv entre los dos constructos psicológicos La r entre los po de dos variables (x/y) está deter-minada por: las cfbs de los dos instrumentos y rxoyo = rxvyv √Rxx Ryy

La discrepancia entre rxvyv y rxoyo se debe el error de medición. Cfb, rv y ro rxoyo = rxvyv √Rxx Ryy rxvyv .40 Ejemplo: Autoestima Rxx = .80 Logro académico Ryy = .86 rxoyo = .40 √(.80) (.86) rxoyo = .33 La discrepancia entre rxvyv y rxoyo se debe el error de medición.

Importancia de la confiabilidad en la investigación de la conducta Confiabilidad, correlaciones verdaderas y correlaciones observadas La atenuación de la correlación entre las medidas por los errores de medición (baja confiabilidad) Confiabilidad y atenuación: Implicaciones para la investigación

El error de medición (baja cfb) atenúa las rs entre las medidas Consecuencias de la discrepancia entre rxo y rxv 1º Las rxo serán siempre más bajas que las rxv porque: La medición nunca es perfecta. La medidas imperfectas debilitan o atenúan las rxo. rxoyo = .40 √(.98) (.98) rxoyo = .39 Aunque las dos sean muy altas r disminuida o atenuada

El error de medición (baja cfb) atenúa las rs entre las medidas 2º El grado de atenuación está determinado por las Rxxs de las medidas. Pobreza de la medición Atenuación rxoyo = .40 √(.60) (.50) rxoyo = .22 rxoyo = .40 √(.80) (.30) rxoyo = .20 Aunque sólo una sea pobre

El error de medición (baja cfb) atenúa las rs entre las medidas 3º El error limita la r máxima que puede encontrarse entre las dos medidas. Ejemplo: Motivación Logro académica académico Rxx = .40 Ryy = .86 rxoyo = 1.00 √(.86) (.40) rxoyo = .59 Aun cuando la asociación fuera perfecta La baja cfb limita la correlación Correlación máxima que puede esperarse

El error de medición (baja cfb) atenúa las rs entre las medidas 4º Es posible estimar la rv entre dos constructos (corrección por atenuación). Despejando la fórmula: Se obtiene: rxvyv = rxoyo √Rxx Ryy Ejemplo: Con medidas de cfd perfecta: rxo = rxv rxoyo = rxvyv √Rxx Ryy rxvyv = .26 √(.86) (.40) rxvyv = .44 Existe una clara conexión entre cfb, error de medición, rxo y rxv

Importancia de la confiabilidad en la investigación de la conducta Confiabilidad, correlaciones verdaderas y correlaciones observadas La atenuación de la correlación entre las medidas por los errores de medición (baja confiabilidad) Confiabilidad y atenuación: Implicaciones para la investigación

Cfb y atenuación: Implicaciones para la investigación 1ª Implicación de que el error de medición (baja cfb) atenúe las rxo Siempre deben interpretarse los resultados de un estudio en el contexto de la cfb.

Cfb y atenuación: Implicaciones para la investigación Hay dos tipos básicos de resultados: a) Tamaño del efecto y b) Significancia estadística a) Tamaño del efecto Todos los tamaños del efecto reflejan: el grado de asociación entre variables y/o el tamaño de la diferencia entre grupos . Los tamaños del efecto incluyen: coeficientes de correlación, coeficientes de regresión, valores de R cuadrada, valores de “eta cuadrada” (de análisis de varianza), y la d de Cohen (de pruebas t). cfb tamaño del efecto probabilidad de que el resultado sea significativo.

Cfb y atenuación: Implicaciones para la investigación b) Significancia estadística La confianza en el resultado: Si son significativos, son “reales”. La significancia está fuertemente afectada por el tamaño de la correlación observada. rxo probabilidad de que el resultado sea significativo

Implicaciones de la cfb sobre el tamaño del efecto y la significancia Ejemplo: Queremos implementar un programa para incrementar el aprovechamiento académico: ¿será mejor trabajar con autoestima o con motivación académica? Autoestima y Logro académico: r = .33 Motivación y Logro académico: r = .26

Implicaciones de la cfb sobre el tamaño del efecto y la significancia Confiabilidad de los instrumentos: Autoestima: Rxx = .80 Motivación: Rxx = .40 Logro: Rxx = .86

Implicaciones de la cfb sobre el tamaño del efecto y la significancia Principios: La cfb de los instrumentos incrementa la ro, y La ro siempre será mayor que la rv.

Implicaciones de la cfb sobre el tamaño del efecto y la significancia Puesto que: a) La cfb de la medida de Motivación (.40) es mucho menor que la la cfb de la medida de Autoestima (.80), y b) la ro Motivación – Logro (.26) es sólo un poco más pequeña que la ro Autoestima – Logro (.33),

Implicaciones de la cfb sobre el tamaño del efecto y la significancia entonces, la rv Motivación – Logro se encuentra mucho más atenuada que la rv Autoestima – Logro, así que: la rv Motivación – Logro tendrá que ser mayor que la rv Autoestima – Logro.

Implicaciones de la cfb sobre el tamaño del efecto y la significancia Estimación de las rv (corrección por atenuación): rxvyv= xoyo √Rxx Ryy Para Motivación–Logro: Para Autoestima–Logro: rxvyv = rxvyv = rxvyv = .44 rxvyv = .40 .26 √(.86) (.40) .33 √(.86) (.80) Esta correlación estaba subestimada (atenuada) debido a la baja cfb del instrumento. Es necesario interpretar los resultados en el contexto de la cfb.

Implicaciones de la cfb sobre el tamaño del efecto y la significancia 2ª implicación de que el error de medición (baja cfb) atenúe las rxo Deben usarse medidas altamente confiables. Con ellas se minimiza el problema de la atenuación y se puede confiar en que la asociación observada entre sus medidas se aproxima cercanamente a las rv entre los constructos.

Implicaciones de la cfb sobre el tamaño del efecto y la significancia Razones por las que podrían usarse medidas con pobre cfb. 1) Puede ser que no se hayan encontrado instrumentos altamente confiables para el constructo de interés. Disyuntiva: emplear la existente o construir otra. 2) Puede ser que la búsqueda no haya sido exitosa, porque: hay muchas, pero son poco accesibles tienen copyright y hay que pagar no están publicadas completas no hay alguna que encaje completamente en los requerimientos. Se necesita tiempo, dinero, esfuerzo… y paciencia.

Implicaciones de la cfb sobre el tamaño del efecto y la significancia 3ª implicación de que el error de medición (baja cfb) atenúe las rxo Los investigadores deberían reportar las estimaciones de confiabilidad de su medidas. Con ello podrían interpretarse los resultados de la investigación en el contexto de la cfb. Y si no está reportada, habrá que pedírsela al autor.

Implicaciones de la cfb sobre el tamaño del efecto y la significancia En suma: La falta de confiabilidad debilita o atenúa los resultados de los análisis estadísticos, conduciendo a posibles interpretaciones erróneas de los hallazgos.

Importancia de la confiabilidad I. Importancia de la confiabilidad en la investigación conductual II. Importancia de la confiabilidad en la práctica conductual aplicada III. Construcción y refinamiento del instrumento

Práctica conductual aplicada: Evaluación de puntaje de un individuo La cfb afecta la confianza, la exactitud o la precisión con la que se estima el pv de un individuo.

II. Importancia de la confiabilidad en la práctica conductual aplicada Evaluación de los puntajes individuales Estimaciones puntuales de los puntajes verdaderos Intervalos de confianza de los puntajes verdaderos

Práctica conductual aplicada: Evaluación del puntaje de un individuo Los puntajes de los instrumentos se usan para tomar decisiones importantes para la vida de las personas.

Práctica conductual aplicada Ejemplos: Inteligencia Sentencia de cárcel Logro académico Grupos de educación especial Examen de admisión Ingreso a la universidad Exámenes de clase Futuro de los estudiantes

Práctica conductual aplicada: Evaluación del puntaje de un individuo La cfb de un instrumento tiene implicaciones cruciales para la calidad de las decisiones tomadas. El puntaje de un individuo en un instrumento es sólo una estimación de su nivel real de esa característica. Por tanto, debe evaluarse no sólo la calidad del instrumento sino también la del puntaje individual.

Práctica conductual aplicada: Evaluación de puntaje de un individuo Fuentes de información que ayudan a evaluar el puntaje de un individuo: 1) Estimación puntual 2) Intervalo de confianza

II. Importancia de la confiabilidad en la práctica conductual aplicada Evaluación de los puntajes individuales Estimaciones puntuales de los puntajes verdaderos Intervalos de confianza de los puntajes verdaderos

Práctica conductual aplicada: Evaluación de puntaje de un individuo A. Estimación puntual de los puntajes verdaderos Valor específico que se interpreta como: la “mejor estimación” del individuo en un atributo particular.

Práctica conductual aplicada: Evaluación de puntaje de un individuo Se pueden derivar dos estimaciones puntuales de los pv: 1º Puntaje observado (Xo) 2º Puntaje ajustado o estimado (Xest) 1º Estimaciones basadas únicamente en el po del individuo. Es la mejor estimación de la cantidad de atributo que posee el individuo.

Práctica conductual aplicada: Evaluación de puntaje de un individuo 2º Puntajes ajustados o estimados del pv. Toman en cuenta el error de medición. Si se aplica el mismo instrumento en dos ocasiones, el individuo obtendrá pos ligeramente diferentes (por fatiga, distracción, etc.) Ambos pos se consideran estimaciones puntuales del pv, y puede usarse uno para estimar el segundo.

Práctica conductual aplicada: Evaluación de puntaje de un individuo 2º Estimaciones ajustadas del pv. Se produce una estimación ajustada del pv que refleja un efecto llamado: Regresión a la media Se basa en la Teoría Clásica de los Tests y en el error de medición (error aleatorio: “infla” o “desinfla” los puntajes).

Práctica conductual aplicada: Evaluación de puntaje de un individuo Regresión a la media Probabilidad de que, en una segunda medición, el puntaje de un individuo probablemente será más cercano a la media del grupo de lo que fue su primer puntaje. Primera medición Segunda medición

Práctica conductual aplicada: Evaluación de puntaje de un individuo Puntaje ajustado o estimado del pv Puntaje estimado que se obtendría en una segunda aplicación del instrumento Xest = X + Rxx (X0 – X)

Práctica conductual aplicada: Evaluación de puntaje de un individuo Ejemplo: Una persona obtuvo un puntaje de 38. ¿Qué puntaje obtendría en una segunda aplicación de ese instrumento?: Xest = X + Rxx (X0 – X) Xest = 30 + .90 (38 – 30) Xest = 37.2 Estimación ajustada del pv Más cercano a la media (30) que el 38.

Práctica conductual aplicada: Evaluación de puntaje de un individuo El tamaño y la dirección de las discrepancias entre dos mediciones de un individuo estarán en función de tres factores: La cfb del instrumento El tamaño de la diferencia entre el puntaje original y la media de los puntajes del instrumento La dirección de la diferencia entre el puntaje original y la media de los puntajes del instrumento.

Práctica conductual aplicada: Evaluación de puntaje de un individuo Puntos importantes: a) La cfb del instrumento influye en la diferencia entre el pv est y el po. Al la cfb la diferencia. Es más probable que ocurra la regresión a la media (o que sea más grande) cuando los puntajes de un instrumento son afectados profundamente por el error de medición (cfb). Ejemplo: Xest = 30 + .50 (38 – 30) Xest = 34 Xest = X + Rxx (X0 – X) Se reduce 4 puntos por la baja cfb.

Práctica conductual aplicada: Evaluación del puntaje de un individuo b) Lo extremoso de po influye en la diferencia entre el pv estimado y el po. La diferencia será mayor (el ajuste será mayor) para po relativamente extremos (altos o bajos) que para puntajes moderados. Ejemplos: Xest = 30 + .90 (22 – 30) Xest = 22.8 Más cercano a la media Más extremo Xest = 30 + .90 (27 – 30) Xest = 27.3 Diferencia de .3 Diferencia de .8

Práctica conductual aplicada: Evaluación de puntaje de un individuo ¿Cuál es la mejor estimación del pv: X0 o Xest? El po es una estimación no sesgada de un atributo psicológico, por lo que representa su mejor estimación, excepto cuando se intenta predecir el puntaje de una persona en una medición posterior.

Práctica conductual aplicada: Evaluación de puntaje de un individuo Por ejemplo: Si alguien no salió muy bien en un examen, muy probablemente la mejor predicción de su siguiente examen será el puntaje “regresado”. Aunque la regresión a la media no se da en todas las circunstancias, es una práctica común convertir los Xo a Xest

II. Importancia de la confiabilidad en la práctica conductual aplicada Evaluación de los puntajes individuales Estimaciones puntuales de los puntajes verdaderos Intervalos de confianza de los puntajes verdaderos

Práctica conductual aplicada: Evaluación de puntaje de un individuo C. Intervalos de confianza (IC) de los puntajes verdaderos Por el error de medición, el po puede no ser exactamente igual al pv. El IC refleja un rango de valores en el que es más probable que caiga el pv. El intervalo de confianza da una idea de la precisión o exactitud de la estimación del pv.

Práctica conductual aplicada: Evaluación del puntaje de un individuo Los IC reflejan la exactitud o precisión de la estimación del po de un individuo. “Con una confianza del 95%, el puntaje observado de esta persona en el WISC cae en el rango de 100 a 112”. La precisión está muy relacionada con la cfb. cfb precisión en la estimación

Práctica conductual aplicada: Evaluación del puntaje de un individuo eem: Error estándar de medición. Tamaño promedio de los puntajes de error que afectan a los po. eem diferencia promedio entre po y pv

Práctica conductual aplicada: Evaluación del puntaje de un individuo eem =so 1−Rxx eem: Error estándar de medición so: Desviación estándar de po Ejemplo: Cfb alta Cfb baja eem = 6 1−.90 eem = 1.90 eem = eem = 4.24 6 1−.50 Error bajo Error alto

Práctica conductual aplicada: Evaluación del puntaje de un individuo Intervalo de confianza del 95% = X0 ± (1.96) (eem) Puntaje Z IC 95% = 32 ± (1.96) (1.90) IC 95% = 32 ± 3.7 IC 95% = 28.3 a 35.7 “Con una confianza del 95%, el po de esta persona cae en el rango de 28.3 a 35.7”.

Práctica conductual aplicada: Evaluación del puntaje de un individuo Error bajo Error alto IC 95% = 32 ± (1.96) (4.24) IC 95% = 32 ± 8.3 IC 95% = 23.7 a 40.3 Intervalo pequeño 7.4 puntos Intervalo grande 16.6 puntos

Práctica conductual aplicada: Evaluación de puntaje de un individuo Los IC pueden ser calculados: Para varios grados de confianza (99%, 95%, 90%) Usando el eem o el error estándar de estimación Los IC pueden ser aplicados a: Xo Xest

Práctica conductual aplicada: Evaluación de puntaje de un individuo En suma: La confiabilidad afecta: la confianza, la exactitud o la precisión con la que se estima el pv de un individuo.

Práctica conductual aplicada: Evaluación del puntaje de un individuo Tanto la estimación puntual de los pv como los IC tienen consecuencias importantes en los ambientes aplicados en los cuales se usan los puntajes de tests para tomar decisiones acerca dela vida de los individuos. Ejemplo: Un niño clasificado con retardo con un IQ de 69. En una segunda aplicación su puntaje tendría regresión a la media.

Práctica conductual aplicada: Evaluación del puntaje de un individuo ¡¡¡Importante!!! Que los tomadores de decisiones reconozcan los problemas asociados con la interpretación de los puntajes de los instrumentos.

III. Construcción y refinamiento del instrumento Consistencia interna: discriminación de reactivos Varianza del reactivo Dificultad del reactivo (media)

Construcción y refinamiento del instrumento Propósito: Identificar los reactivos que deben eliminarse o revisarse para aumentar su contribución a la calidad psicométrica del instrumento.

Construcción y refinamiento del test Consistencia interna: Grado en el que… … las diferencias entre las respuestas de las personas a un reactivo las diferencias entre sus respuestas a los otros reactivos del instrumento. son consistentes con

Construcción y refinamiento del test Consistencia interna Si un reactivo está fuertemente correlacionado con los demás, ese reactivo es consistente con los demás y ese reactivo aumenta la consistencia interna del test.

Construcción y refinamiento del instrumento 1er. paso: Análisis de las correlaciones inter-reactivo A. Correlación reactivo-puntaje total B. Índice de discriminación (D) C. α de Cronbach si el reactivo se eliminara 2o. paso: Análisis de la varianza del reactivo 3er. paso: Análisis de la media del reactivo

Construcción y refinamiento del test 1er. Paso Análisis de las correlaciones inter-reactivo

Construcción y refinamiento del instrumento Ejemplo: (no es práctico con muchos reactivos) Alpha de Cronbach Alpha de Cronbach basado en reactivos estandarizados N de reac-tivos .590 .594 5 Reactivo 1 Reactivo 2 Reactivo 3 Reactivo 4 Reactivo 5 1.000 .000 .200 .250 .408 -.408 .500 Reactivo 1 no es consistente: eliminarlo o rehacerlo Reactivo 2 a 5 son consistentes entre sí

Construcción y refinamiento del instrumento Procedimiento A. Correlación reactivo-puntaje total Media de la escala si se elimina el reactivo Varianza de la escala si se elimina el reac. Correlación reactivo - total corregido Correlación múltiple cuadrada Alpha de Cronbach si se elimina el reac. Reactivo 1 2.20 2.178 -.029 .410 .721 Reactivo 2 2.30 1.567 .421 .337 .492 Reactivo 3 Reactivo 4 2.40 1.378 .623 .366 Reactivo 5 2.00 1.778 .395 .627 .517 Grado en el que las diferencias entre las respuestas de las personas al reactivo son diferencias consistentes con sus puntajes totales.

Construcción y refinamiento del instrumento Las correlaciones reactivo-puntaje total “corregido” Se obtienen sumando todos los reactivos excepto el correspondiente. Los puntajes totales son diferentes para cada reactivo. Reactivo con valor alto: el reactivo es consistente con el instrumento como un todo (ya que es una función de todos los reactivos dentro del instrumento). Reactivo con un valor bajo: considerar eliminarlo.

Construcción y refinamiento del instrumento Procedimiento B. Índice de discriminación (D) Compara: la proporción de respondientes con puntajes altos que contestaron el reactivo correctamente la proporción de respondientes con puntajes altos que contestaron el reactivo correctamente contra Preferir reactivos con valores D altos.

Construcción y refinamiento del instrumento Discriminación de los reactivos Grado en el que un reactivo diferencia a las personas que puntúan alto de aquellas que puntúan bajo en el instrumento total. Evalúa el grado en el que un reactivo podría afectar la consistencia interna del instrumento. Preferir reactivos con altos valores de discriminación.

Construcción y refinamiento del instrumento Respon-diente Reactivos Total 1 2 3 4 5 María Daniel Jaime Roberto Antonio Esteban Zoraya Emilio Fernando Claudia 1º. Identificar un % de personas con los puntajes más altos (por ejemplo, 25% superior -es arbitrario-), y el mismo % de personas con los puntajes más bajos. + + +: 25% superior + - +: 25% inferior - -

Construcción y refinamiento del instrumento 2º. Dentro de cada grupo, calcular el % de personas que contestaron el reactivo correctamente. %alto: 3 / 3 = 1.00 %bajo: 2 / 3 = .66 3º. Calcular el índice de discriminación. D = %alto - %bajo D = 1.0 - .66 D = .33 Reac-tivo 1 Total María 1 5 Daniel Jaime 4 Roberto 3 Antonio 2 Esteban Zoraya Emilio Fernando Claudia

Construcción y refinamiento del instrumento Procedimiento C Alpha de Cronbach si el reactivo se eliminara Si se eliminara el reactivo 1, la consistencia interna se elevaría de .59 a .72. La confiabilidad disminuiría si cualquiera de los otros reactivos fuera eliminado. Alpha de Cronbach .590 Alpha de Cronbach si se elimina el reactivo Reactivo 1 .721 Reactivo 2 .492 Reactivo 3 Reactivo 4 .366 Reactivo 5 .517

Construcción y refinamiento del instrumento 2o. paso Análisis de la varianza del reactivo La varianza y la media del reactivo afectan la calidad psicométrica del instrumento. Están relacionadas con el grado en el que el reactivo es consistente con los demás reactivos.

Construcción y refinamiento del instrumento Varianza La r refleja el grado en el que la variabilidad dentro de una variable es consistente con la variabilidad dentro de la otra variable

Construcción y refinamiento del instrumento La correlación entre dos variables es una transformación de la covarianza entre las dos variables. Si una variable no tiene variabilidad, no estará correlacionada con otra variable (si no hay variabilidad, no habrá r).

Construcción y refinamiento del instrumento La varianza de un reactivo tienen implicaciones para: sus correlaciones inter-reactivo su correlación reactivo-total su valor “alfa si el reactivo se elimina”. Es menos probable que los reactivos con variabilidad limitada tengan buenas características correlacionales.

Construcción y refinamiento del instrumento 3er. paso Análisis de la media del reactivo Media La media de un reactivo también da información sobre su variabilidad.

Construcción y refinamiento del instrumento El puntaje máximo (techo) y el puntaje mínimo (piso) de un instrumento constriñen los puntajes totales y tienen implicaciones para: la media del reactivo la varianza del reactivo los valores de las covarianzas los valores de las correlaciones

Construcción y refinamiento del instrumento Un reactivo tendría una media de 1 sólo si todos los respondientes hubiesen contestado con 1, es decir, no tendría variabilidad, por tanto, sería un reactivo pobre. Por tanto, reactivos con medias extremas tendrán variabilidad limitada y pobre calidad psicométrica.

Construcción y refinamiento del instrumento La media puede interpretarse como la “dificultad” del reactivo. Para reactivos binarios, la Teoría Clásica de los Tests sugiere dificultades aproximadas de .50, para asegurar una máxima variabilidad. Media Desv. estándar N Reactivo 1 .60 .516 10 Reactivo 2 .50 .527 Reactivo 3 Reactivo 4 .40 Reactivo 5 .80 .422 Reactivo más fácil Reactivo más difícil