Interpretación de test de precisión diagnóstica: PET amiloide

Presentación del tema: "Interpretación de test de precisión diagnóstica: PET amiloide"— Transcripción de la presentación:

1 Interpretación de test de precisión diagnóstica: PET amiloide
Gabriel Martínez Geriatra

2 Una pregunta… Si a ustedes o a un familiar se les informa que tienen un MCI y le cuentan que hay un examen o test para determinar si es o no una Enfermedad de Alzheimer ¿Aceptan el examen?

3 Qué dicen los expertos:

4 Hoja de ruta ¿Qué significa precisión del test diagnóstico?
Sensibilidad-especificidad Valores predictivos Likelihood ratio (LR) ¿Cuándo los test diagnósticos pueden estar sesgados? Tipos de sesgo en pruebas diagnósticas Y PET amiloide…

5 ¿Qué significa precisión del test diagnóstico?
Grado en que los resultados de una prueba corresponden realmente a aquello que se está midiendo. Capacidad de la prueba para medir el fenómeno que se está estudiando. Capacidad de una prueba diagnóstica de clasificar correctamente a enfermos y no enfermos.

6 Grado en el que los resultados de una medición corresponden
al fenómeno real (“la verdad”)

7 Tabla 2x2 ENFERMEDAD (+) (-) TEST (+) TEST (-) VERDADEROS POSITIVOS VP
(+) (-) VERDADEROS POSITIVOS VP a FALSOS POSITIVOS FP b c FALSOS NEGATIVOS FN d VERDADEROS NEGATIVOS VN TEST (+) TEST (-)

8 Tabla 2x2 ENFERMEDAD (+) (-) TEST (+) TEST (-) VERDADEROS POSITIVOS VP
(+) (-) VERDADEROS POSITIVOS VP a FALSOS POSITIVOS FP b c FALSOS NEGATIVOS FN d VERDADEROS NEGATIVOS VN TEST (+) TEST (-)

9 ¿Cómo evalúo el test diagnóstico?
Sensibilidad Especificidad Valor predictivo positivo Valor predictivo negativo Likelihood ratio (cociente de probabilidad o razón de verosimilitud)

10 Sensibilidad Sensibilidad: Probabilidad de que el test diagnóstico sea positivo si la enfermedad está presente. ENFERMEDAD (+) (-) VERDADEROS POSITIVOS VP a FALSOS POSITIVOS FP b c FALSOS NEGATIVOS FN d VERDADEROS NEGATIVOS VN TEST (+) TEST (-) UNA PRUEBA MUY SENSIBLE ES SOBRE TODO ÚTIL CUANDO SU RESULTADO ES NEGATIVO

11 Especificidad Especificidad: Probabilidad de que el test diagnóstico sea negativo en los sanos. ENFERMEDAD (+) (-) VERDADEROS POSITIVOS VP a FALSOS POSITIVOS FP b c FALSOS NEGATIVOS FN d VERDADEROS NEGATIVOS VN TEST (+) TEST (-) Especificidad: E = d b + d UNA PRUEBA MUY ESPECÍFICA ES SOBRE TODO ÚTIL CUANDO ES POSITIVA

12 ¿Relación entre S y E? VN FP
Aparentemente no están relacionadas: la S se mide entre los que tienen la enfermedad y la E entre los que están sanos... Sin Deterioro VN Demencia FP [PET]

13 Ejemplo: Validez de PET Florbetapir para diagnóstico de Enfermedad de Alzheimer (Estudio caso y control) ALZHEIMER Sensibilidad = a a + c + – + 34 11 S = 34 / 45 = 0.76 (IC 60-87) PET FLORBETAPIR – 11 67 Especificidad = d b + d Total E = 67 / 78 = 0.86 (IC 76-93) Johnson KA, 2013 Prevalencia: 45/ 123 = 36.6%

14 ALZHEIMER (+) (-) TEST (+) TEST (-) Nos equivocamos en: 177 pacientes
Ejemplo: Validez de PET Florbetapir para diagnóstico de Enfermedad de Alzheimer (Estudio caso y control): Si solicitamos 1000 PET… ALZHEIMER (+) (-) VERDADEROS POSITIVOS VP: 281 a FALSOS POSITIVOS FP: 88 b c FALSOS NEGATIVOS FN: 89 d VERDADEROS NEGATIVOS VN: 542 TEST (+) TEST (-) Nos equivocamos en: 177 pacientes

15 Valores predictivos En clínica normalmente deseamos saber si el resultado (positivo o negativo) del test diagnóstico es correcto o no, es decir, la probabilidad de presentar la enfermedad tras saber el resultado del test.

16 Valor predictivo positivo
Porcentaje de personas con resultado positivo al test que realmente tienen la enfermedad. Es la probabilidad de tener la enfermedad si el resultado ha sido positivo ENFERMEDAD (+) (-) a VPP = VERDADEROS POSITIVOS VP a FALSOS POSITIVOS FP b c FALSOS NEGATIVOS FN d VERDADEROS NEGATIVOS VN a + b TEST (+) TEST (-) Ejemplo: VPP=0,99 ó 99% El 99% de los pacientes con la prueba positiva tiene realmente la enfermedad

17 Valor predictivo negativo
Porcentaje de personas con resultado negativo al test que no tienen la enfermedad. Es la probabilidad de no tener la enfermedad si el resultado ha sido negativo. ENFERMEDAD (+) (-) d VPN = VERDADEROS POSITIVOS VP a FALSOS POSITIVOS FP b c FALSOS NEGATIVOS FN d VERDADEROS NEGATIVOS VN c + d TEST (+) TEST (-) Ejemplo: VPN=0,99 ó 99% El 99% de los pacientes con la prueba negativa, NO tiene realmente la enfermedad

18 + – + 34 11 – 11 67 a VPP = a + b = 34 / 45 = 0.76 (IC 60-87)
Ejemplo: Valores predictivos de PET Florbetapir en Enfermedad de Alzheimer (Estudio caso y control) ALZHEIMER VPP = a a + b + – = 34 / 45 = 0.76 (IC 60-87) + 34 11 VPN = d c + d PET FLORBETAPIR – 11 67 = 67 / 78 = 0.86 (IC 76-93) Prevalencia de Alzheimer: 45/total= 45/123 = 37% Johnson KA, 2013

19 Gran inconveniente de Valores Predictivos
Cambian según la prevalencia Ejemplo: Alzheimer Alzheimer VP 34 FP 11 FN VN 67 VP 76 FP 80 FN 24 VN 510 PET PET Sensibilidad 76% Especificidad 86% VVP VVN Sensibilidad 76% Especificidad 86% VVP 49% VVN 96% Prevalencia: 37% Prevalencia 14% Johnson KA, 2013

20 Valores predictivos Los valores predictivos funcionan mejor cuando la prevalencia de la enfermedad es mayor La prevalencia de enfermedad depende del nivel asistencial

21 Likelihood ratio

22 Likelihood Ratio Son parámetros independientes de la prevalencia y son una combinación de la información proporcionada por la sensibilidad y especificidad. Muy útil cuando se saben interpretar (no es fácil) Son indispensables para interpretar cuando hay varios estratos diagnósticos.

23 Likelihood Ratio (LR) Alzheimer (+) Alzheimer (-) Total PET (+)
VP RVP 34/45 0.76 FP RFP /78 0.14 45 PET (-) FN RFN 11/45 0.24 VN RVN 67/78 0.86 78 RVP: razón de verdaderos positivos RFP: razón de falsos positivos RFN: razón de falsos negativos RVN: razón de verdaderos negativos

24 Likelihood Ratio (LR) 0.76 (RVP) 0.14 (RFP) 0.24 (RFN) 0.86 (RVN) RVP
Alzheimer (+) Alzheimer (-) LR PET (+) 0.76 (RVP) 0.14 (RFP) LR (+) RVP RFP PET (-) 0.24 (RFN) 0.86 (RVN) LR (-) RFN RVN RVP: razón de verdaderos positivos RFP: razón de falsos positivos RFN: razón de falsos negativos RVN: razón de verdaderos negativos

25 Likelihood Ratio (LR) 5.4 0.3 0.76 (RVP) 0.14 (RFP) RVP 0.76 RFP 0.14
Alzheimer (+) Alzheimer (-) LR PET (+) 0.76 (RVP) 0.14 (RFP) LR (+) RVP RFP PET (-) 0.24 (RFN) 0.86 (RVN) LR (-) RFN RVN 5.4 0.3 RVP: razón de verdaderos positivos RFP: razón de falsos positivos RFN: razón de falsos negativos RVN: razón de verdaderos negativos

26 Likelihood Ratio (LR) 5.4 0.3 0.76 (RVP) a 0.14 (RFP) b RVP sens
Alzheimer (+) Alzheimer (-) LR PET (+) 0.76 (RVP) a 0.14 (RFP) b LR (+) RVP sens RFP 1-esp PET (-) 0.24 (RFN) c 0.86 (RVN) d LR (-) RFN 1-sens RVN esp 5.4 0.3 RVP: razón de verdaderos positivos RFP: razón de falsos positivos RFN: razón de falsos negativos RVN: razón de verdaderos negativos

27 Pero… La interpretación de un test con LR dependerá de…
¿cuál es la probabilidad de diagnóstico que le da la persona quien solicita o realiza el test? la experiencia En esta parte nos ayuda el: Nomograma de Fagan

28 LR (+): 5.4 Indica que el resultado es proporcionalmente 5.4 veces más frecuente en los pacientes con Alzheimer que en los sanos ( estudio casos y controles). Annals of Emergency Medicine 1999, 33:5

29 Lancet 2005; 365: 1500–05

30

31 Hoja de ruta Qué significa precisión diagnóstica
Sensibilidad-especificidad Valores predictivos LR Cuando los test diagnósticos pueden estar sesgados Tipos de sesgo en pruebas diagnósticas Y PET amiloide…

32 Sesgos en test diagnósticos
¿Le creo a los valores que encontré? Sensibilidad: 76% Especificidad: 87% VPP: 76% VPN: 87% LR (+): 5.4 LR (-) : 0.3 Johnson KA, 2013

33 QUADAS Quality Assessment of Diagnostic Accuracy Studies
Se debe evaluar 4 dominios: Selección de pacientes Index test ( test diagnóstico evaluado) Reference Standard Flow and timing Ann Intern Med. 2011;155(8):

34 From: QUADAS-2: A Revised Tool for the Quality Assessment of Diagnostic Accuracy Studies
Table Title: Risk of Bias and Applicability Judgments in QUADAS-2 Copyright © American College of Physicians. All rights reserved. Ann Intern Med. 2011;155(8):

35 Selección de pacientes
¿Podría la selección de pacientes introducir riesgo de sesgo? Debes preguntarte: ¿Fueron los pacientes enrolados en forma consecutiva o al azar? ¿Se evitó un diseño caso-control? ¿El estudio evitó exclusiones inapropiadas? Conocer la enfermedad antes de enrolar + grupo de control exagera los resultados: OR de sobreestimar resultados. JAMA. 1999;282(11): CMJA 2006; 174(4): online 1-14 Ann Intern Med. 2004;140:

36 Index test ¿Podría la interpretación o la realización del index test (PET) introducir riesgo de sesgo? Debes preguntarte: ¿Fueron los resultados del index test (PET) interpretados sin conocer los resultados del reference standard? OR 1.3 para sobreestimar JAMA 1999;282:1061-6

37 Index test (PET) Si se usó un punto de corte ¿se preespecificó?
Sobreestima sensibilidad y es dependiente del número de personas con la enfermedad Clinical Chemistry 54:4 (2008)

38 Reference Standard ¿Podría a interpretación o la realización del reference standard introducir riesgo de sesgo? Debes preguntarte: ¿El reference standard clasifica o diagnostica correctamente la enfermedad? Claramente afectará si no es un standard aceptado o difiere demasiado del gold standard. Clinical Chemistry 2007:53; ¿Se interpretó sin conocer el resultado del Index test? OR 1.3 para sobreestimar JAMA 1999;282:1061-6

39 Flow and Timing ¿Hubo un intervalo apropiado entre el index test y el reference standard? En este caso cuánto tiempo de seguimiento se necesita para ver conversión BMJ.2006;332:875-84 ¿Fue aplicada en todos los individuos el mismo reference standard? Con distintos reference standards, las sensibilidades entre ellos pueden ser distintas respecto del gold standard JAMA 1999;282:1061-6 ¿Fueron incluidos todos los pacientes en el análisis? Todos deberían ser incluídos “intención diagnóstica” Cochrane Handbook for DTA 2010

40 Hoja de ruta Qué significa precisión diagnóstica
Sensibilidad-especificidad Valores predictivos LR Cuando los test diagnósticos pueden estar sesgados Tipos de sesgo en pruebas diagnósticas Y PET amiloide…

41

42 52 MCI 5 NO ANALIZADOS (2 PET(+) Y 3 PET (-)) PET (+)= 17 PET (-)= 30
6 ADD 3 ADD 27 (22 MCI, 5 REVIRTIERON) 11 (10 MCI, 1 REVIRTIÓ) Molecular Psychiatry, 2014;19:

43 Tabla 2x2 ENFERMEDAD (+) (-) TEST (+) TEST (-)
(+) (-) VP 6 a FP 11 b FN c 3 d VN 27 TEST (+) TEST (-) Prevalencia: 9 / 47 = 19.1%

44 Sensibilidad: a/a+c = 6/9 = 0.67
Especificidad: d/b+d= /38= 0.71 Valor predicitivo (+): a/a+b= /11= 0.55 Valor predictivo (-): d/c+d= /30= 0.9 LR (+): sens/1-esp = / = 2.3 LR (-): 1-sens/esp= /0.71= 0.46

45 Tabla 2x2: Si Solicitamos 1000 PET Florbetapir en pacientes con MCI…
ENFERMEDAD (+) (-) VP 128 a FP 235 b FN c 63 d VN 574 TEST (+) TEST (-) Nos equivocamos en 298 pacientes

46 ¿Riesgo de sesgo?

47 Selección de pacientes: Doraiswamy2014
¿Podría la selección de pacientes introducir riesgo de sesgo? ¿Fueron los pacientes enrolados en forma consecutiva o al azar? No es claro ¿Se evitó un diseño caso-control? Sí ¿El estudio evitó exclusiones inapropiadas? No es claro

48 Index test ¿Fueron los resultados del index test (PET) interpretados sin conocer los resultados del reference standard (NINCDS-ADRDA)? Sí Si se usó un punto de corte ¿se preespecificó?: Sí

49 Reference Standard ¿El reference standard (NINCDS-ADRDA) clasifica o diagnostica correctamente la enfermedad? Sí ¿Se interpretó sin conocer el resultado del Index test (PET)? Sí

50 Flow and Timing ¿Hubo un intervalo apropiado entre el index test (PET) y el reference standard (NINCDS-ADRDA)? Sí ¿Fue aplicada en todos los individuos el mismo reference standard (NINCDS-ADRDA)? ¿Fueron incluidos todos los pacientes en el análisis? No

51 Otro ejemplo…

52 Otro ejemplo…

53 45 MCI 2 años de seguimiento PET (+)= 24 PET (-)= 21 18 ADD 2 ADD
J Neurol Neurosurg Psychiatry. 2015;86(4):431-6

54 Tabla 2x2 ENFERMEDAD (+) (-) TEST (+) TEST (-)
(+) (-) VP 18 a FP 6 b FN c 2 d VN 19 TEST (+) TEST (-) Prevalencia: 20 / 45 = 44.4%

55 Si solicitamos 1000 PET Florbetaben en pacientes con MCI…
ALZHEIMER (+) (-) VP 400 a FP 133 b FN c 44 d VN 423 TEST (+) TEST (-) Nos equivocamos en 177 pacientes de 1000 pacientes evaluados con Florbetaben

56 Sensibilidad: a/a+c = 18/20 = 0.9
Especificidad: d/b+d= /25 = 0.76 Valor predicitivo (+): a/a+b= 18/24 = 0.75 Valor predictivo (-): d/c+d= /21 = 0.9 LR (+): sens/1-esp = / = 3.75 LR (-): 1-sens/esp= /0.75 = 0.13

57 45 MCI 4 años de seguimiento PET (+)= 24 PET (-)= 21 21 ADD 1 ADD
20 (15 MCI, 5 Demencias no alzheimer) 3 MCI

58 Tabla 2x2 ENFERMEDAD (+) (-) TEST (+) TEST (-) VP 21 a FP 3 b FN c 1
(+) (-) VP 21 a FP 3 b FN c 1 d VN 20 TEST (+) TEST (-)

59 Sensibilidad: a/a+c = 21/22 = 0.95
Especificidad: d/b+d= /23 = 0.87 Valor predicitivo (+): a/a+b= /24 = 0.88 Valor predictivo (-): d/c+d= /21 = 0.95 LR (+): sens/1-esp = / = 7.3 LR (-): 1-sens/esp= /0.87 = 0.06

60 Selección de pacientes: Ong2014
¿Podría la selección de pacientes introducir riesgo de sesgo? ¿Fueron los pacientes enrolados en forma consecutiva o al azar? No es claro ¿Se evitó un diseño caso-control? Sí ¿El estudio evitó exclusiones inapropiadas? No es claro

61 Index test ¿Fueron los resultados del index test (PET) interpretados sin conocer los resultados del reference standard (NINCDS-ADRDA)? Sí (2 años) y No ( 4 años) Si se usó un punto de corte ¿se preespecificó?: Sí

62 Reference Standard ¿El reference standard (NINCDS-ADRDA) clasifica o diagnostica correctamente la enfermedad? Sí ( interpretable) ¿Se interpretó sin conocer el resultado del Index test (PET)? Sí (2 años) y No (4 años)

63 Flow and Timing ¿Hubo un intervalo apropiado entre el index test (PET) y el reference standard (NINCDS-ADRDA)? Sí ¿Fue aplicada en todos los individuos el mismo reference standard (NINCDS-ADRDA)? ¿Fueron incluidos todos los pacientes en el análisis?

64 Conclusiones Los estudios de precisión diagnóstica deben interpretarse adecuadamente, lo que no es fácil. Los estudios tienen habitualmente problemas metodológicos que provocan sesgos. En Biomarcadores con Beta amiloide, su precisión está por demostrarse, especialmente en estudios longitudinales, ya que es en este grupo donde más interés existe para implementar terapias preventivas contra la placa amiloidea. ¿Flutemetamol?

65 En caso de realizar estudios diagnósticos, es necesario seguir directrices para que sean metodológicamente adecuados. Existe una guía para el desarrollo de estudios de diagnósticos: STARD y recientemente una específica para estudios en demencia: STARDdem.

66

67 Gracias