Interpretación de test de precisión diagnóstica: PET amiloide Gabriel Martínez Geriatra

Una pregunta… Si a ustedes o a un familiar se les informa que tienen un MCI y le cuentan que hay un examen o test para determinar si es o no una Enfermedad de Alzheimer ¿Aceptan el examen?

Qué dicen los expertos:

Hoja de ruta ¿Qué significa precisión del test diagnóstico? Sensibilidad-especificidad Valores predictivos Likelihood ratio (LR) ¿Cuándo los test diagnósticos pueden estar sesgados? Tipos de sesgo en pruebas diagnósticas Y PET amiloide…

¿Qué significa precisión del test diagnóstico? Grado en que los resultados de una prueba corresponden realmente a aquello que se está midiendo. Capacidad de la prueba para medir el fenómeno que se está estudiando. Capacidad de una prueba diagnóstica de clasificar correctamente a enfermos y no enfermos.

Grado en el que los resultados de una medición corresponden al fenómeno real (“la verdad”)

Tabla 2x2 ENFERMEDAD (+) (-) TEST (+) TEST (-) VERDADEROS POSITIVOS VP (+) (-) VERDADEROS POSITIVOS VP a FALSOS POSITIVOS FP b c FALSOS NEGATIVOS FN d VERDADEROS NEGATIVOS VN TEST (+) TEST (-)

Tabla 2x2 ENFERMEDAD (+) (-) TEST (+) TEST (-) VERDADEROS POSITIVOS VP (+) (-) VERDADEROS POSITIVOS VP a FALSOS POSITIVOS FP b c FALSOS NEGATIVOS FN d VERDADEROS NEGATIVOS VN TEST (+) TEST (-)

¿Cómo evalúo el test diagnóstico? Sensibilidad Especificidad Valor predictivo positivo Valor predictivo negativo Likelihood ratio (cociente de probabilidad o razón de verosimilitud)

Sensibilidad Sensibilidad: Probabilidad de que el test diagnóstico sea positivo si la enfermedad está presente. ENFERMEDAD (+) (-) VERDADEROS POSITIVOS VP a FALSOS POSITIVOS FP b c FALSOS NEGATIVOS FN d VERDADEROS NEGATIVOS VN TEST (+) TEST (-) UNA PRUEBA MUY SENSIBLE ES SOBRE TODO ÚTIL CUANDO SU RESULTADO ES NEGATIVO

Especificidad Especificidad: Probabilidad de que el test diagnóstico sea negativo en los sanos. ENFERMEDAD (+) (-) VERDADEROS POSITIVOS VP a FALSOS POSITIVOS FP b c FALSOS NEGATIVOS FN d VERDADEROS NEGATIVOS VN TEST (+) TEST (-) Especificidad: E = d b + d UNA PRUEBA MUY ESPECÍFICA ES SOBRE TODO ÚTIL CUANDO ES POSITIVA

¿Relación entre S y E? VN FP Aparentemente no están relacionadas: la S se mide entre los que tienen la enfermedad y la E entre los que están sanos... Sin Deterioro VN Demencia FP [PET]

Ejemplo: Validez de PET Florbetapir para diagnóstico de Enfermedad de Alzheimer (Estudio caso y control) ALZHEIMER Sensibilidad = a a + c + – + 34 11 S = 34 / 45 = 0.76 (IC 60-87) PET FLORBETAPIR – 11 67 Especificidad = d b + d Total 45 78 E = 67 / 78 = 0.86 (IC 76-93) Johnson KA, 2013 Prevalencia: 45/ 123 = 36.6%

ALZHEIMER (+) (-) TEST (+) TEST (-) Nos equivocamos en: 177 pacientes Ejemplo: Validez de PET Florbetapir para diagnóstico de Enfermedad de Alzheimer (Estudio caso y control): Si solicitamos 1000 PET… ALZHEIMER (+) (-) VERDADEROS POSITIVOS VP: 281 a FALSOS POSITIVOS FP: 88 b c FALSOS NEGATIVOS FN: 89 d VERDADEROS NEGATIVOS VN: 542 TEST (+) TEST (-) Nos equivocamos en: 177 pacientes

Valores predictivos En clínica normalmente deseamos saber si el resultado (positivo o negativo) del test diagnóstico es correcto o no, es decir, la probabilidad de presentar la enfermedad tras saber el resultado del test.

Valor predictivo positivo Porcentaje de personas con resultado positivo al test que realmente tienen la enfermedad. Es la probabilidad de tener la enfermedad si el resultado ha sido positivo ENFERMEDAD (+) (-) a VPP = VERDADEROS POSITIVOS VP a FALSOS POSITIVOS FP b c FALSOS NEGATIVOS FN d VERDADEROS NEGATIVOS VN a + b TEST (+) TEST (-) Ejemplo: VPP=0,99 ó 99% El 99% de los pacientes con la prueba positiva tiene realmente la enfermedad

Valor predictivo negativo Porcentaje de personas con resultado negativo al test que no tienen la enfermedad. Es la probabilidad de no tener la enfermedad si el resultado ha sido negativo. ENFERMEDAD (+) (-) d VPN = VERDADEROS POSITIVOS VP a FALSOS POSITIVOS FP b c FALSOS NEGATIVOS FN d VERDADEROS NEGATIVOS VN c + d TEST (+) TEST (-) Ejemplo: VPN=0,99 ó 99% El 99% de los pacientes con la prueba negativa, NO tiene realmente la enfermedad

+ – + 34 11 – 11 67 a VPP = a + b = 34 / 45 = 0.76 (IC 60-87) Ejemplo: Valores predictivos de PET Florbetapir en Enfermedad de Alzheimer (Estudio caso y control) ALZHEIMER VPP = a a + b + – = 34 / 45 = 0.76 (IC 60-87) + 34 11 VPN = d c + d PET FLORBETAPIR – 11 67 = 67 / 78 = 0.86 (IC 76-93) Prevalencia de Alzheimer: 45/total= 45/123 = 37% Johnson KA, 2013

Gran inconveniente de Valores Predictivos Cambian según la prevalencia Ejemplo: Alzheimer + - Alzheimer + - VP 34 FP 11 FN VN 67 VP 76 FP 80 FN 24 VN 510 PET - + PET - + Sensibilidad 76% Especificidad 86% VVP VVN Sensibilidad 76% Especificidad 86% VVP 49% VVN 96% Prevalencia: 37% Prevalencia 14% Johnson KA, 2013

Valores predictivos Los valores predictivos funcionan mejor cuando la prevalencia de la enfermedad es mayor La prevalencia de enfermedad depende del nivel asistencial

Likelihood ratio

Likelihood Ratio Son parámetros independientes de la prevalencia y son una combinación de la información proporcionada por la sensibilidad y especificidad. Muy útil cuando se saben interpretar (no es fácil) Son indispensables para interpretar cuando hay varios estratos diagnósticos.

Likelihood Ratio (LR) Alzheimer (+) Alzheimer (-) Total PET (+) VP 34 RVP 34/45 0.76 FP 11 RFP 11/78 0.14 45 PET (-) FN 11 RFN 11/45 0.24 VN 67 RVN 67/78 0.86 78 RVP: razón de verdaderos positivos RFP: razón de falsos positivos RFN: razón de falsos negativos RVN: razón de verdaderos negativos

Likelihood Ratio (LR) 0.76 (RVP) 0.14 (RFP) 0.24 (RFN) 0.86 (RVN) RVP Alzheimer (+) Alzheimer (-) LR PET (+) 0.76 (RVP) 0.14 (RFP) LR (+) RVP RFP PET (-) 0.24 (RFN) 0.86 (RVN) LR (-) RFN RVN RVP: razón de verdaderos positivos RFP: razón de falsos positivos RFN: razón de falsos negativos RVN: razón de verdaderos negativos

Likelihood Ratio (LR) 5.4 0.3 0.76 (RVP) 0.14 (RFP) RVP 0.76 RFP 0.14 Alzheimer (+) Alzheimer (-) LR PET (+) 0.76 (RVP) 0.14 (RFP) LR (+) RVP 0.76 RFP 0.14 PET (-) 0.24 (RFN) 0.86 (RVN) LR (-) RFN 0.24 RVN 0.86 5.4 0.3 RVP: razón de verdaderos positivos RFP: razón de falsos positivos RFN: razón de falsos negativos RVN: razón de verdaderos negativos

Likelihood Ratio (LR) 5.4 0.3 0.76 (RVP) a 0.14 (RFP) b RVP sens Alzheimer (+) Alzheimer (-) LR PET (+) 0.76 (RVP) a 0.14 (RFP) b LR (+) RVP sens RFP 1-esp PET (-) 0.24 (RFN) c 0.86 (RVN) d LR (-) RFN 1-sens RVN esp 5.4 0.3 RVP: razón de verdaderos positivos RFP: razón de falsos positivos RFN: razón de falsos negativos RVN: razón de verdaderos negativos

Pero… La interpretación de un test con LR dependerá de… ¿cuál es la probabilidad de diagnóstico que le da la persona quien solicita o realiza el test? la experiencia En esta parte nos ayuda el: Nomograma de Fagan

LR (+): 5.4 Indica que el resultado es proporcionalmente 5.4 veces más frecuente en los pacientes con Alzheimer que en los sanos ( estudio casos y controles). Annals of Emergency Medicine 1999, 33:5

Lancet 2005; 365: 1500–05

Hoja de ruta Qué significa precisión diagnóstica Sensibilidad-especificidad Valores predictivos LR Cuando los test diagnósticos pueden estar sesgados Tipos de sesgo en pruebas diagnósticas Y PET amiloide…

Sesgos en test diagnósticos ¿Le creo a los valores que encontré? Sensibilidad: 76% Especificidad: 87% VPP: 76% VPN: 87% LR (+): 5.4 LR (-) : 0.3 Johnson KA, 2013

QUADAS Quality Assessment of Diagnostic Accuracy Studies Se debe evaluar 4 dominios: Selección de pacientes Index test ( test diagnóstico evaluado) Reference Standard Flow and timing Ann Intern Med. 2011;155(8):529-536.

From: QUADAS-2: A Revised Tool for the Quality Assessment of Diagnostic Accuracy Studies Table Title: Risk of Bias and Applicability Judgments in QUADAS-2 Copyright © American College of Physicians. All rights reserved. Ann Intern Med. 2011;155(8):529-536.

Selección de pacientes ¿Podría la selección de pacientes introducir riesgo de sesgo? Debes preguntarte: ¿Fueron los pacientes enrolados en forma consecutiva o al azar? ¿Se evitó un diseño caso-control? ¿El estudio evitó exclusiones inapropiadas? Conocer la enfermedad antes de enrolar + grupo de control exagera los resultados: OR 3.0 -4.3 de sobreestimar resultados. JAMA. 1999;282(11):1061-1066 CMJA 2006; 174(4): online 1-14 Ann Intern Med. 2004;140:189-202

Index test ¿Podría la interpretación o la realización del index test (PET) introducir riesgo de sesgo? Debes preguntarte: ¿Fueron los resultados del index test (PET) interpretados sin conocer los resultados del reference standard? OR 1.3 para sobreestimar JAMA 1999;282:1061-6

Index test (PET) Si se usó un punto de corte ¿se preespecificó? Sobreestima sensibilidad y es dependiente del número de personas con la enfermedad Clinical Chemistry 54:4 (2008)

Reference Standard ¿Podría a interpretación o la realización del reference standard introducir riesgo de sesgo? Debes preguntarte: ¿El reference standard clasifica o diagnostica correctamente la enfermedad? Claramente afectará si no es un standard aceptado o difiere demasiado del gold standard. Clinical Chemistry 2007:53;1725-1729 ¿Se interpretó sin conocer el resultado del Index test? OR 1.3 para sobreestimar JAMA 1999;282:1061-6

Flow and Timing ¿Hubo un intervalo apropiado entre el index test y el reference standard? En este caso cuánto tiempo de seguimiento se necesita para ver conversión BMJ.2006;332:875-84 ¿Fue aplicada en todos los individuos el mismo reference standard? Con distintos reference standards, las sensibilidades entre ellos pueden ser distintas respecto del gold standard JAMA 1999;282:1061-6 ¿Fueron incluidos todos los pacientes en el análisis? Todos deberían ser incluídos “intención diagnóstica” Cochrane Handbook for DTA 2010

Hoja de ruta Qué significa precisión diagnóstica Sensibilidad-especificidad Valores predictivos LR Cuando los test diagnósticos pueden estar sesgados Tipos de sesgo en pruebas diagnósticas Y PET amiloide…

52 MCI 5 NO ANALIZADOS (2 PET(+) Y 3 PET (-)) PET (+)= 17 PET (-)= 30 6 ADD 3 ADD 27 (22 MCI, 5 REVIRTIERON) 11 (10 MCI, 1 REVIRTIÓ) Molecular Psychiatry, 2014;19:1044-1051

Tabla 2x2 ENFERMEDAD (+) (-) TEST (+) TEST (-) (+) (-) VP 6 a FP 11 b FN c 3 d VN 27 TEST (+) TEST (-) Prevalencia: 9 / 47 = 19.1%

Sensibilidad: a/a+c = 6/9 = 0.67 Especificidad: d/b+d= 27/38= 0.71 Valor predicitivo (+): a/a+b= 6/11= 0.55 Valor predictivo (-): d/c+d= 27/30= 0.9 LR (+): sens/1-esp = 0.67/1- 0.71= 2.3 LR (-): 1-sens/esp= 0.33/0.71= 0.46

Tabla 2x2: Si Solicitamos 1000 PET Florbetapir en pacientes con MCI… ENFERMEDAD (+) (-) VP 128 a FP 235 b FN c 63 d VN 574 TEST (+) TEST (-) Nos equivocamos en 298 pacientes

¿Riesgo de sesgo?

Selección de pacientes: Doraiswamy2014 ¿Podría la selección de pacientes introducir riesgo de sesgo? ¿Fueron los pacientes enrolados en forma consecutiva o al azar? No es claro ¿Se evitó un diseño caso-control? Sí ¿El estudio evitó exclusiones inapropiadas? No es claro

Index test ¿Fueron los resultados del index test (PET) interpretados sin conocer los resultados del reference standard (NINCDS-ADRDA)? Sí Si se usó un punto de corte ¿se preespecificó?: Sí

Reference Standard ¿El reference standard (NINCDS-ADRDA) clasifica o diagnostica correctamente la enfermedad? Sí ¿Se interpretó sin conocer el resultado del Index test (PET)? Sí

Flow and Timing ¿Hubo un intervalo apropiado entre el index test (PET) y el reference standard (NINCDS-ADRDA)? Sí ¿Fue aplicada en todos los individuos el mismo reference standard (NINCDS-ADRDA)? ¿Fueron incluidos todos los pacientes en el análisis? No

Otro ejemplo…

Otro ejemplo…

45 MCI 2 años de seguimiento PET (+)= 24 PET (-)= 21 18 ADD 2 ADD J Neurol Neurosurg Psychiatry. 2015;86(4):431-6

Tabla 2x2 ENFERMEDAD (+) (-) TEST (+) TEST (-) (+) (-) VP 18 a FP 6 b FN c 2 d VN 19 TEST (+) TEST (-) Prevalencia: 20 / 45 = 44.4%

Si solicitamos 1000 PET Florbetaben en pacientes con MCI… ALZHEIMER (+) (-) VP 400 a FP 133 b FN c 44 d VN 423 TEST (+) TEST (-) Nos equivocamos en 177 pacientes de 1000 pacientes evaluados con Florbetaben

Sensibilidad: a/a+c = 18/20 = 0.9 Especificidad: d/b+d= 19/25 = 0.76 Valor predicitivo (+): a/a+b= 18/24 = 0.75 Valor predictivo (-): d/c+d= 19/21 = 0.9 LR (+): sens/1-esp = 0.9/1- 0.75 = 3.75 LR (-): 1-sens/esp= 0.10/0.75 = 0.13

45 MCI 4 años de seguimiento PET (+)= 24 PET (-)= 21 21 ADD 1 ADD 20 (15 MCI, 5 Demencias no alzheimer) 3 MCI

Tabla 2x2 ENFERMEDAD (+) (-) TEST (+) TEST (-) VP 21 a FP 3 b FN c 1 (+) (-) VP 21 a FP 3 b FN c 1 d VN 20 TEST (+) TEST (-)

Sensibilidad: a/a+c = 21/22 = 0.95 Especificidad: d/b+d= 20/23 = 0.87 Valor predicitivo (+): a/a+b= 18/24 = 0.88 Valor predictivo (-): d/c+d= 20/21 = 0.95 LR (+): sens/1-esp = 0.95/1- 0.87 = 7.3 LR (-): 1-sens/esp= 0.05/0.87 = 0.06

Selección de pacientes: Ong2014 ¿Podría la selección de pacientes introducir riesgo de sesgo? ¿Fueron los pacientes enrolados en forma consecutiva o al azar? No es claro ¿Se evitó un diseño caso-control? Sí ¿El estudio evitó exclusiones inapropiadas? No es claro

Index test ¿Fueron los resultados del index test (PET) interpretados sin conocer los resultados del reference standard (NINCDS-ADRDA)? Sí (2 años) y No ( 4 años) Si se usó un punto de corte ¿se preespecificó?: Sí

Reference Standard ¿El reference standard (NINCDS-ADRDA) clasifica o diagnostica correctamente la enfermedad? Sí ( interpretable) ¿Se interpretó sin conocer el resultado del Index test (PET)? Sí (2 años) y No (4 años)

Flow and Timing ¿Hubo un intervalo apropiado entre el index test (PET) y el reference standard (NINCDS-ADRDA)? Sí ¿Fue aplicada en todos los individuos el mismo reference standard (NINCDS-ADRDA)? ¿Fueron incluidos todos los pacientes en el análisis?

Conclusiones Los estudios de precisión diagnóstica deben interpretarse adecuadamente, lo que no es fácil. Los estudios tienen habitualmente problemas metodológicos que provocan sesgos. En Biomarcadores con Beta amiloide, su precisión está por demostrarse, especialmente en estudios longitudinales, ya que es en este grupo donde más interés existe para implementar terapias preventivas contra la placa amiloidea. ¿Flutemetamol?

En caso de realizar estudios diagnósticos, es necesario seguir directrices para que sean metodológicamente adecuados. Existe una guía para el desarrollo de estudios de diagnósticos: STARD y recientemente una específica para estudios en demencia: STARDdem.

Gracias