Estudios de las pruebas diagnósticas Epidemiología y demografía sanitaria Bloque de epidemiología Tema 13 Estudios de las pruebas diagnósticas Dr. Esteve Fernández

¿Qué queremos aprender? El concepto de variación en la medición y reproducibilidad. Los conceptos y manera de calcular la sensibilidad y especificidad. Los conceptos y manera de calcular los valores predictivos. La utilidad de las curvas ROC y de las razones de verosimilitud. Uso de pruebas diagnósticas en serie y en paralelo. Los diseños para valorar la utilidad de las pruebas diagnósticas

Estructura de la sesión Variación en la medición. Reproducibilidad o concordancia de medidas. Validez de una prueba diagnóstica. Uso de pruebas diagnósticas en serie y en paralelo. Diseños para valorar una prueba diagnóstica.

Materiales para el aprendizaje 0. (Diapositivas de la lección) Lectura recomendada Capítulo 14 libro Piédrola Gil y Capítulo 3 libro Fletcher y cols. Lecturas complementarias Artículos Aula Global Seminario de resolución de problemas nº 9

Variación en la medición

Las apariencias a la mente son de cuatro clases. Cosas hay que son lo que parecen ser; o no lo son y no parecen serlo; o lo son y no parecen serlo; o no son y sí parecen serlo. Es tarea del hombre sabio el decidir correctamente en todos esos casos Epícteto (siglo II dC) Discursos (libro I, cap. 27)

La práctica de la medicina clínica consiste en interpretar signos, síntomas y “pruebas diagnósticas” para tomar decisiones: diagnosticar, tratar, o no tratar…

Valores hipotéticos de TA sistólica en un individuo 200 - 180 - 160 - 140 - 120 - 100 - 80 - Tensión arterial sistólica (mm Hg) tiempo

Fuentes de variabilidad Reproducibilidad o concordancia Grado en que concuerdan dos o más mediciones sobre la misma muestra Validez Grado en que una medición coincide con la verdad

Validez y reproducibilidad…...

Reproducibilidad o concordancia de medidas

Repetibilidad / Concordancia / Reproducibilidad Repetibilidad / Concordancia / Acuerdo / Fiabilidad Grado en en que una variable tiene el mismo valor cuando se mide varias veces en la misma muestra La reproducibilidad es previa a la validez El consenso (alta reproducibilidad) es útil en ausencia de referente

Reproducibilidad o concordancia interobservador grado de coincidencia de un observador consigo mismo entre observadores grado de concordancia entre dos o más observadores

Reproducibilidad de variables categóricas Acuerdo total Po = (a+d) / (a+b+c+d) – + a b c d Observador B Observador A Acuerdo específico en lo positivo Po+ = 2a / (2a+b+c) Acuerdo específico en lo negativo Po- = 2d / (2d+b+c) Problemas Depende de los pares discordantes Puede haber concordancia al azar

Índice Kappa (test de Cohen) Resume la concordancia entre dos medidas de una variable en escala cualitativa, tras eliminar la concordancia debida al azar. – + a b c d Observador B Observador A

Concordancia entre dos radiólogos al leer una mamografía (imagen patológica sí/no) Acuerdo total Po = (a+d) / (a+b+c+d) Po = 0,8637 = 86,4% Observador B Observador A Sí No Sí 71 41 112 Acuerdo específico en lo positivo Po+ = 2a / (2a+b+c) Po+ = 0,6311 = 63,1% Acuerdo específico en lo negativo Po- = 2d / (2d+b+c) Po- = 0,9164 = 91,6% No 42 455 497 113 496 609

Pasamos a probabilidades… Observador B Sí No Sí Observador A No

Clasificaciones propuestas para la interpretación del índice kappa Landis and Koch (1977) Altman (1991) Fleiss (1981) Byrt (1996) Excellent Almost perfect Very good Excellent Very good Substantial Good Good Fair to good Moderate Moderate Fair Slight Fair Fair Slight Poor Poor Poor Poor No agreement -1.0

+ +/– – + +/– – ¿Y si tuvieramos tres opciones de respuesta? Observador B + +/– – + +/– – Observador A

Problemas con el uso de kappa Depende de la prevalencia de “verdaderos positivos” (o del desequilibrio entre resultados negativos y positivos) dar el valor de  , Po+ y Po- Puede estar sesgado por la asimetría de las discordancias plantear diferentes escenarios de acuerdo

Reproducibilidad de variables continuas Ej.: Concordancia entre dos balanzas en la medida del peso Pueden categorizarse  pérdida de información No usar coeficiente de correlación (regresión a la media) Trabajar con la “diferencia entre variables” y sus medias:  coeficiente de correlación intraclase  t de Student para datos apareados

Validez de una prueba diagnóstica

Validez Grado en el que los resultados de una medición corresponden al fenómeno real (“la verdad”)

ENFERMEDAD PRUEBA Sí + No – Verdaderos positivos Falsos negativos a b c d

Cosas hay que son lo que parecen ser; o no son y sí parecen serlo. ENFERMEDAD Sí No Verdaderos positivos Falsos positivos + a b PRUEBA o lo son y no parecen serlo; c o no lo son y no parecen serlo; d – Falsos negativos Verdaderos negativos

Validez Grado en que los resultados de una prueba corresponden realmente a aquello que se está midiendo. Capacidad de la prueba para medir el fenómeno que se está estudiando. Capacidad de una prueba diagnóstica de clasificar correctamente a enfermos y no enfermos. Parámetros de validez interna: Sensibilidad (S) de la prueba Especificidad (E) de la prueba

Parámetros de validez interna: sensibilidad Probabilidad de que la prueba sea positiva si la enfermedad está presente. ENFERMEDAD Sí No Sensibilidad: S = a a + c Verdaderos positivos Falsos positivos + a b Ejemplo: S=0,75 u 75% La prueba es positiva en el 75% de los que tienen la enfermedad PRUEBA c d – Falsos negativos Verdaderos negativos

Parámetros de validez interna: especificidad ENFERMEDAD Sí No Especificidad: E = d b + d Verdaderos positivos Falsos positivos + a b PRUEBA Ejemplo: E=0,90 u 90% La prueba es negativa en el 90% de los que no tienen la enfermedad c d – Falsos negativos Verdaderos negativos Especificidad Probabilidad de que la prueba sea negativa en los individuos sanos.

Ejemplo: Validez del diagnóstico clínico de la faringitis en 152 pacientes (patrón de oro: cultivo) Cultivo faríngeo + – Sensibilidad: S = a a + c + 27 35 S = 27 / 37 = 73% Diagnóstico clínico – 10 77 Especificidad: E = d b + d E = 77 / 112 = 69% IC95%: p  1,96  (p (1-p) / N) S= 0,73 (0,66 - 0,80) E= 0,69 (0,61 - 0,76)

Interés de pruebas sensibles Cuando el precio de omitir un diagnóstico sea elevado o cuando existe riesgo de extensión de la enfermedad Objetivo: detectar que se tiene la enfermedad (para tratarla o prevenir su extensión) Ej.: linfoma, Sida En las primeras etapas diagnósticas, cuando hay numerosas posibilidades diagnósticas, con la intención de disminuir éstas. Objetivo: descartar procesos. Ej.: sospecha de neoplasia Una prueba sensible sobre todo es útil cuando su resultado es negativo.

Interés de pruebas específicas Útiles para confirmar un diagnóstico que ha sido sugerido por otros datos  una prueba específica da pocos resultados “falsos positivos”. Objetivo: confirmar que no se tiene el proceso Cuando los falsos positivos pueden causar perjuicio importante al paciente (físico, emocional o económico). Una prueba específica sobre todo es útil cuando su resultado es positivo.

¿Relación entre S y E? VN FP Aparentemente no están relacionadas: la S se mide entre los que tienen la enfermedad y la E entre los que están sanos... VN Angina IAM FP [CPK]

¿Relación entre S y E? VP FN Aparentemente no están relacionadas: la S se mide entre los que tienen la enfermedad y la E entre los que están sanos... Angina IAM VP [CPK] FN

¿Relación entre S y E? FP  Especificidad VN VP  Sensibilidad FN Aparentemente no están relacionadas: la S se mide entre los que tienen la enfermedad y la E entre los que están sanos... Angina IAM [CPK] FP  Especificidad VN VP  Sensibilidad FN

¿Relación entre S y E? FP  Especificidad VN Relación inversa VP  Sensibilidad FN Cuanto más exigente sea el criterio, menor será la sensibilidad y mayor la especificidad

Relación inversa entre S y E Puntos de corte CPK Valor S E 1 70 100.0 17.7 2 120 94.0 40.3 3 140 92.5 59.7 4 160 85.1 82.3 5 180 82.6 83.9 6 200 73.1 87.1 7 220 70.1 90.3 8 260 67.2 9 300 61.2 10 340 68.2 11 400 32.8 96.8 12 500 16.8

sensibilidad 1 – especificidad La relación inversa entre S y E suele representarse mediante la curva ROC “receiver operating characteristic” sensibilidad vs. 1 – especificidad sensibilidad 1 – especificidad

FP+FN sensibilidad VN+VP Diagnósticos correctos 1 – especificidad Curva ROC Permite el cálculo del área bajo la curva Impresión gráfica de la relación entre S y E Facilita elección puntos de corte Permite valorar todo el espectro de valores Permite comparar pruebas diagnósticas (gráfica y estadísticamente) FP+FN sensibilidad VN+VP Diagnósticos correctos 1 – especificidad

Valores predictivos En clínica normalmente deseamos saber si el resultado (positivo o negativo) de la prueba es correcto o no, es decir, la probabilidad de la enfermedad tras saber el resultado de la prueba

Valor predictivo positivo Probabilidad que tiene una prueba de detectar enfermos cuando da un resultado positivo ENFERMEDAD Sí No a VPP = a + b Verdaderos positivos Falsos positivos + a b Ejemplo: VPP=0,99 0 99% El 99% de los pacientes con la prueba positiva tiene realmente la enfermedad PRUEBA c d – Falsos negativos Verdaderos negativos

Valor predictivo positivo Probabilidad que tiene una prueba de detectar enfermos cuando da un resultado positivo a VPP = a + b El VPP depende de la prevalencia o probabilidad a priori de la enfermedad Cuando la muestra no es representativa se calcula a partir del Teorema de Bayes P * S VPP = P * S + (1 – P) (1 – E) P: prevalencia S: sensibilidad E: especificidad

Valor predictivo negativo Probabilidad que tiene una prueba de detectar sanos cuando da un resultado negativo ENFERMEDAD Sí No c VPN = c + d Verdaderos positivos Falsos positivos + a b Ejemplo: VPN=0,10 0 10% El 10% de los pacientes con la prueba negativa tiene realmente la enfermedad PRUEBA c d – Falsos negativos Verdaderos negativos

Valor predictivo negativo Probabilidad que tiene una prueba de detectar sanos cuando da un resultado negativo c VPN = c + d El VPN depende de la prevalencia o probabilidad a priori de la enfermedad Cuando la muestra no es representativa se calcula a partir del Teorema de Bayes (1 – P) * E VPP = (1 – P) E + P (1 – S) P: prevalencia S: sensibilidad E: especificidad

Valores predicitivos --implicaciones Dado que dependen de la prevalencia: Las pruebas diagnósticas funcionan mejor cuando la prevalencia de la enfermedad es mayor El uso de pruebas diagnósticas debe tener en cuenta las características de la enfermedad en el contexto en que se usan La prevalencia de enfermedad depende del nivel asistencial

Razones de verosimilitud (razones de probabilidad diagnóstica) (likelihood ratios) Parámetros independientes de la prevalencia de la enfermedad que aglutinan la información sobre sensibilidad y especificidad

Razón de verosimilitud positiva (RVP) La RVP relaciona… … la ventaja preprueba de diagnosticar la enfermedad (odds de prevalencia, P / 1 – P) … con la ventaja posprueba de un resultado positivo (odds del VPP, VPP / 1 – VPP) VPP 1 – VPP P 1 – P S 1 – E = X

Razón de verosimilitud positiva (RVP) Cuanto mayor es la RVP (sobre 1) más importante es la contribución de un resultado positivo de la prueba en el diagnóstico de la enfermedad. Ejemplo RVP=8 indica que el resultado es proporcionalmente 8 veces más frecuente en los enfermos que en los no enfermos RVP >10 -- prueba excelente RVP 5-10 -- prueba buena RVP 2-5 -- prueba regular RVP 1-2 -- deficiente

Razón de verosimilitud negativa (RVN) La RVN relaciona… … la ventaja preprueba de diagnosticar la enfermedad (odds de prevalencia, P / 1 – P) … con el inverso de la ventaja posprueba de un resultado negativo (odds del VPN, VPN / 1 – VPN) 1 – VPN VPN P 1 – P 1 – S E = X

Razón de verosimilitud negativa (RVN) La RVN valora la contribución de un resultado negativo en la “no confirmación” de la enfermedad más importante cuanto más cerca de 0 Se puede definir RVN al revés. Informa de la relación entre la ventaja preprueba de no enfermedad y la ventaja posprueba del resultado negativo, y su escala es similar a la de la RVP E 1 – S

Uso de pruebas diagnósticas múltiples

Pruebas diagnósticas múltiples Tipos: pruebas en paralelo (a la vez): un resultado positivo de cualquiera de ellas se considera diagnóstico de la enfermedad pruebas en serie (consecutivas): sólo se considera el diagnóstico de enfermedad cuando todas las pruebas dan positivas.

Pruebas en paralelo A B C + – Cuando se necesita un diagnóstico rápido (Ej.: pacientes hospitalizados o en urgencias) Prueba A o prueba B o prueba C positivas A B C + aumentan la sensibilidad y el VP negativo disminuyen la especificidad y el VP positivo –

Pruebas en paralelo Especialmente útiles cuando se requiere una prueba muy sensible pero sólo se dispone de pruebas relativamente insensibles que miden diferentes fenómenos clínicos. Es menos probable que la enfermedad se pase por alto, pero también hay más falsos positivos. Perjuicio: el tratamiento de algunos pacientes sin la enfermedad.

Pruebas en serie A + B + C + – – – Cuando no se precisa una evaluación rápida Cuando alguna de las pruebas tiene un coste o un riesgo elevado -- aumentan la especificidad y el VP positivo -- disminuyen la sensibilidad y el VP negativo Prueba A y prueba B y prueba C positivas A + B + C + – – –

Diseños para valorar pruebas diagnósticas

Diseños para valorar pruebas diagnósticas Aspectos clave Seleccionar una muestra que represente a los pacientes o a la población en la que se aplicará la prueba Se debe estudiar la prueba diagnóstica bajo condiciones reales de aplicación (sin que el estudio influya en cómo se realizan) Independencia de las observaciones: en los estudios de concordancia es crucial que los observadores no se influyan

Diseños para valorar pruebas diagnósticas Estudio transversal Único que se utiliza en los estudios de reproducibilidad Segundo más usado en el estudio de la validez La prueba se aplica a una muestra representativa de los sujetos en los que luego se utilizará y todos los resultados se confirman mediante una prueba de referencia Permite calcular S y E; VPP y VPN; RVP y RVN  punto clave: selección de la muestra

Diseños para valorar pruebas diagnósticas Estudio de casos y controles Diseño más usado en estudios de validez, y al mismo tiempo el que más problemas plantea Se seleccionan casos con la enfermedad y controles con diagnósticos diferenciales de la enfermedad (y con confirmación del diagnóstico mediante la prueba de referencia) Permite calcular la S en los casos y la E en los controles Si enfermos y no enfermos no guardan la debida proporción no se pueden calcular los VPP y VPN

Diseños para valorar pruebas diagnósticas Estudio de cohortes Se utilizan menos para valorar pruebas diagnósticas A partir de una muestra representativa de la población de referencia se forman dos cohortes, una con la prueba positiva y otra con la prueba negativa. En la cohorte con la prueba positiva se aplica la prueba de referencia y la cohorte con prueba negativa se sigue para descartar el diagnóstico

La declaración STARD Standards for Reporting of Diagnostic Accuracy Es una guía de 25 puntos (y un diagrama de flujo), que pueden utilizar autores, editores, revisores y lectores para la redacción de artículos sobre pruebas diagnósticas y para su evaluación Disponible en Aula Global

Variación en la medición Recapitulación Variación en la medición Reproducibilidad o concordancia Grado en que concuerdan dos o más mediciones sobre la misma muestra Validez Grado en que una medición coincide con la verdad

2. Reproducibilidad o concordancia Recapitulación 2. Reproducibilidad o concordancia Acuerdo total Acuerdo específico en lo positivo Acuerdo específico en lo negativo Índice Kappa Índice Kappa ponderado – + a b c d Observador B Observador A

3. Validez de una prueba diagnóstica Recapitulación 3. Validez de una prueba diagnóstica ENFERMEDAD PRUEBA Sí + No – Verdaderos positivos Falsos negativos a b c d Grado en el que los resultados de una medición corresponden al fenómeno real (“la verdad”) Sensibilidad (S) y Especificidad (E) Curva ROC Valores predictivos (VPP y VPN) Razones de verosimilitud (RVP y RVN)

4. Pruebas diagnósticas múltiples Recapitulación 4. Pruebas diagnósticas múltiples Pruebas en paralelo aumentan la sensibilidad y el VPN disminuyen la especificidad y el VPP Pruebas en serie aumentan la especificidad y el VPP disminuyen la sensibilidad y el VPN A B C + – A + B + C + – – –

5. Diseños para valorar pruebas diagnósticas Recapitulación 5. Diseños para valorar pruebas diagnósticas estudios transversales estudios de casos y controles estudios de cohortes La declaración STARD

Estudios de las pruebas diagnósticas Epidemiología y demografía sanitaria Bloque de epidemiología Tema 13 Estudios de las pruebas diagnósticas Dr. Esteve Fernández