Curs d'Estadística Bàsica per a la Recerca Biomèdica UEB - VHIR Ricardo Gonzalo Sanz 10/02/2015 TEST DIAGNÒSTICS. SENSIBILITAT,

Presentación del tema: "Curs d'Estadística Bàsica per a la Recerca Biomèdica UEB - VHIR Ricardo Gonzalo Sanz 10/02/2015 TEST DIAGNÒSTICS. SENSIBILITAT,"— Transcripción de la presentación:

1 Curs d'Estadística Bàsica per a la Recerca Biomèdica UEB - VHIR Ricardo Gonzalo Sanz ricardo.gonzalo@vhir.org 10/02/2015 TEST DIAGNÒSTICS. SENSIBILITAT, ESPECIFICITAT I CORBES ROC

2 1.Diagnóstico. Pruebas diagnósticas. 2.Sensibilidad, especificidad. 3.Valores predictivos. Prevalencia. 4.Razones de verosimilitud 5.Curva ROC. 1.Construcción 2.Interpretación 3.Comparación ¿QUÉ VEREMOS?

3 1.Diagnóstico. Pruebas diagnósticas. 2.Sensibilidad, especificidad. 3.Valores predictivos. Prevalencia. 4.Razones de verosimilitud 5.Curva ROC. 1.Construcción 2.Interpretación 3.Comparación ¿QUÉ VEREMOS?

4 1.Diagnóstico. Pruebas diagnósticas. Diagnóstico. Foto: FOX ¿qué me pasa doctor? Mmm …déjeme que le haga unas pruebas y valore

5 1.Diagnóstico. Pruebas diagnósticas. Diagnóstico. más importante resultado de la práctica médica clave que conduce al tratamiento y al pronóstico Otras definiciones válidas: proceso de determinar la naturaleza de la condición mórbida mediante el examen. cuidadoso examen de los hechos para determinar la naturaleza de algo decisión u opinión resultante de tal examen o investigación. Clasificación de los individuos en sanos o enfermos.

6 1.Diagnóstico. Pruebas diagnósticas. Proceso que da lugar al diagnóstico. 1.Establecer una presunción sospecha o hipótesis de existencia de enfermedad 2.Seguimiento de la suposición clínica y verificar si esta corresponde a la verdad. Incertidumbre Síntomas de un paciente pueden ser compatibles con más de una enfermedad Variaciones biológicas de un individuo a otro Instrumentos son imprecisos Pacientes son inexactos para recordar sucesos pasados.

7 1.Diagnóstico. Pruebas diagnósticas. Proceso que da lugar al diagnóstico. Se utilizan diferentes fuentes de información: anamnesis del paciente examen físico información epidemiológica resultados de las pruebas diagnósticas PRUEBA DIAGNÓSTICA Procedimiento mediante el cual se confirma o se descarta un diagnóstico.

8 1.Diagnóstico. Pruebas diagnósticas. Prueba diagnóstica Tenga resultados positivos en enfermos y negativos en sanos Condiciones a exigir a una prueba diagnóstica: Validez: grado en que una prueba mide lo que se supone que debe medir (sensibilidad y especificidad) Reproductividad: capacidad de la prueba de ofrecer los mismos resultados cuando se repite su aplicación en circunstancias similares (variabilidad biológica, instrumental y técnica)

9 1.Diagnóstico. Pruebas diagnósticas. Prueba diagnóstica Condiciones a exigir a una prueba diagnóstica: Seguridad: ante un resultado positivo ¿qué probabilidad existe de que este resultado indique presencia de la enfermedad? (valores predictivos) Que sea sencilla de aplicar Aceptado por los pacientes o la población en general Mínimos efectos adversos Económicamente soportable

10 1.Diagnóstico. Pruebas diagnósticas. Relación entre los resultados de la prueba y el auténtico diagnóstico Auténtico diagnóstico MÉTODO DE REFERENCIA Ej. Biopsias, cultivos microbianos,… MÉTODO DE REFERENCIA ¿caro? ¿traumático para el paciente? ¿lento de realizarse? Se necesita un método (prueba diagnóstica) más accesible. hemos de estar seguros de que funciona bien

11 1.Diagnóstico. Pruebas diagnósticas. Relación entre los resultados de la prueba y el auténtico diagnóstico En un prueba diagnóstica con posible resultados: Positivo o Negativo :Tabla de diagnóstico (tabla de contingencia) Valores numéricos (variable continua): curva ROC Gold Standard EnfermoSanoTOTAL PruebaPositivoaba+b DiagnósticaNegativ0cdc+d TOTALa+cb+da+b+c+d

12 1.Diagnóstico. Pruebas diagnósticas. Relación entre los resultados de la prueba y el auténtico diagnóstico Gold Standard EnfermoSanoTOTAL PruebaPositivoaba+b DiagnósticaNegativocdc+d TOTALa+cb+da+b+c+d a = Verdaderos positivos (VP) b = Falsos positivos (FP) c = Falsos negativos (FN) d = Verdaderos negativos (VN)

13 1.Diagnóstico. Pruebas diagnósticas. 2.Sensibilidad, especificidad. 3.Valores predictivos. Prevalencia. 4.Razones de verosimilitud 5.Curva ROC. 1.Construcción 2.Interpretación 3.Comparación ¿QUÉ VEREMOS?

14 2.Sensibilidad y especificidad Especificidad (E): Probabilidad clasificar como sanos (no enfermos) a los que efectivamente lo son. E = P(T-/no Enf) Sensibilidad (S): Probabilidad de obtener un resultado positivo cuando el individuo tiene la enfermedad. S = P(T+/Enf) Una prueba sensible detectará a todos los pacientes que sufren la enfermedad Una prueba específica no clasificará como enfermas a personas que no lo están.

15 2.Sensibilidad y especificidad Gold Standard EnfermoSanoTOTAL PruebaPositivoaba+b DiagnósticaNegativocdc+d TOTALa+cb+da+b+c+d Estimación de la sensibilidad y la especificidad

16 2.Sensibilidad y especificidad Gold Standard EnfermoSanoTOTAL PruebaPositivoaba+b DiagnósticaNegativocdc+d TOTALa+cb+da+b+c+d Estimación de la sensibilidad y la especificidad

17 2.Sensibilidad y especificidad Ejemplo. Resultado de la biopsia CáncerPatología benignaTOTAL Resultado Anormal634269903 tacto rectal Normal48712511738 TOTAL112115202641 Estudio n= 2.641 pacientes con sospecha de cáncer prostático Prueba inicial : tacto rectal Prueba posterior: biopsia prostática (método de referencia) Sensibilidad = 634 / (634+487) = 0.5656 = 56.6%43.4% con cáncer tenian tacto normal Especificidad = 1251 / (269+1251) = 0.8230 = 82.3% Hacen falta otras pruebas para refinar el diagnóstico (Ej. PSA)

18 2.Sensibilidad y especificidad Ejemplo con R Commander. Plug-in “EZR”

19 2.Sensibilidad y especificidad Ejemplo con R Commander. Plug-in “EZR” Disease positive Disease negative Total Test positive 634 269 903 Test negative 487 1251 1738 Total 1121 1520 2641 Point estimates and 95 % CIs: --------------------------------------------------------- Estimation Lower CI Upper CI Apparent prevalence 0.342 0.324 0.360 True prevalence 0.424 0.406 0.444 Sensitivity 0.566 0.536 0.595 Specificity 0.823 0.803 0.842 Positive predictive value 0.702 0.671 0.732 Negative predictive value 0.720 0.698 0.741 Diagnstic accuracy 0.714 0.696 0.731 Likelihood ratio of a positive test 3.196 2.835 3.603 Likelihood ratio of a negative test 0.528 0.492 0.567 ---------------------------------------------------------

20 2.Sensibilidad y especificidad Valores idóneos de sensibilidad y la especificidad 0 ≥ S y E ≤ 1 Sensibilidad Sensibilidad cercana a 1 cuando: Enfermedad grave pero tratable (SIDA, tuberculosis,…) Screening (interesa captar a todos los enfermos) Como primera prueba (si se necesitan muchas para diagnóstico) Especificidad Especificidad cercana a 1 cuando: Enfermedad grave sin cura. Confirmación de diagnóstico sugerido por otros datos (no dará FP) Evitar FP en tratamientos caros, con efectos secundarios …

21 2.Sensibilidad y especificidad Establecer la sensibilidad y la especificidad Espectro de pacientes Espectro de pacientes: pacientes utilizados para validar la prueba son diferentes a los que se aplicará en la realidad. “Los sanos son muy sanos y los enfermos muy enfermos”. No hay estadíos. Sesgo Sesgo: En la evaluación de S y E, el resultado de la prueba no debe formar parte de la información utilizada para el establecer el diagnóstico. Azar Azar: Normalmente S y E evaluados en muestras pequeñas (más imprecisas), los datos reales (población) requieren de un intervalo de confianza. Selección del grupo de pacientes

22 2.Sensibilidad y especificidad Establecer la sensibilidad y la especificidad

23 1.Diagnóstico. Pruebas diagnósticas. 2.Sensibilidad, especificidad. 3.Valores predictivos. Prevalencia. 4.Razones de verosimilitud 5.Curva ROC. 1.Construcción 2.Interpretación 3.Comparación ¿QUÉ VEREMOS?

24 3.Valores predictivos. Prevalencia ¿pero…el paciente sufre la enfermedad o no? S y E ayudan a decidir si se utiliza una prueba o no, pero una vez se conoce el resultado no aportan información se basan en el conocimiento previo (enfermo/sano) del individuo

25 3.Valores predictivos. Prevalencia ¿el paciente sufre la enfermedad o no? Valor predictivo positivo Valor predictivo negativo Probabilidad de sufrir la enfermedad en un paciente con un resultado positivo en la prueba Probabilidad de no sufrir la enfermedad en un paciente con un resultado negativo en la prueba si mi paciente ha tenido un resultado positivo/negativo en la prueba, ¿qué probabilidad hay de que sufra/no sufra la enfermedad? VP+ = P(Enf/T+) VP- = P(no Enf/T-)

26 3.Valores predictivos. Prevalencia Valores predictivos Gold Standard EnfermoSanoTOTAL PruebaPositivoaba+b DiagnósticaNegativocdc+d TOTALa+cb+da+b+c+d

27 Ejemplo. Resultado de la biopsia CáncerPatología benignaTOTAL Resultado Anormal634269903 tacto rectal Normal48712511738 TOTAL112115202641 Estudio n= 2.641 pacientes con sospecha de cáncer prostático Prueba inicial : tacto rectal Prueba posterior: biopsia prostática (método de referencia) Valor predictivo positivo = 634 / (269+634) = 70.21%70.21% de los pacientes con tacto anormal fueron correctamente diagnosticados Valor predictivo negativo = 1251 / (487+1251) = 71.98% 71.98% con tacto rectal normal estaban sanos 3.Valores predictivos. Prevalencia

28 Ejemplo con R Commander. Plug-in “EZR” Disease positive Disease negative Total Test positive 634 269 903 Test negative 487 1251 1738 Total 1121 1520 2641 Point estimates and 95 % CIs: --------------------------------------------------------- Estimation Lower CI Upper CI Apparent prevalence 0.342 0.324 0.360 True prevalence 0.424 0.406 0.444 Sensitivity 0.566 0.536 0.595 Specificity 0.823 0.803 0.842 Positive predictive value 0.702 0.671 0.732 Negative predictive value 0.720 0.698 0.741 Diagnstic accuracy 0.714 0.696 0.731 Likelihood ratio of a positive test 3.196 2.835 3.603 Likelihood ratio of a negative test 0.528 0.492 0.567 --------------------------------------------------------- 3.Valores predictivos. Prevalencia

29 Prevalencia Proporción de personas en una población definida que sufren la enfermedad en un momento concreto. Probabilidad de tener la enfermedad antes de conocer el resultado de la prueba prevalencia de la enfermedad de Aujeszky 2008

30 3.Valores predictivos. Prevalencia Prevalencia Prevalencia = 1121/2641 = 42.45% Resultado de la biopsia CáncerPatología benignaTOTAL Resultado Anormal634269903 tacto rectal Normal48712511738 TOTAL112115202641 Proporción de pacientes que tiene la enfermedad en la población Probabilidad de tener la enfermedad por el solo hecho de pertenecer a dicha población.

31 Ejemplo con R Commander. Plug-in “EZR” Disease positive Disease negative Total Test positive 634 269 903 Test negative 487 1251 1738 Total 1121 1520 2641 Point estimates and 95 % CIs: --------------------------------------------------------- Estimation Lower CI Upper CI Apparent prevalence 0.342 0.324 0.360 True prevalence 0.424 0.406 0.444 Sensitivity 0.566 0.536 0.595 Specificity 0.823 0.803 0.842 Positive predictive value 0.702 0.671 0.732 Negative predictive value 0.720 0.698 0.741 Diagnstic accuracy 0.714 0.696 0.731 Likelihood ratio of a positive test 3.196 2.835 3.603 Likelihood ratio of a negative test 0.528 0.492 0.567 --------------------------------------------------------- 3.Valores predictivos. Prevalencia

32 Influencia de la prevalencia 3.Valores predictivos. Prevalencia Del cálculo de los VP: VP+ = VP- = Individuos con enfermedad y sin Cambios en la composición de la población alterarán sus valores prevalenciabaja Si prevalencia es baja: resultado negativo permitirá descartar la enfermedad con mayor seguridad (VP negativo alto). El resultado positivo, no permitirá confirmar el diagnóstico (VP positivo bajo) Sensibilidad y especificidad son específicos de la prueba y no dependen de la población de estudio

33 Influencia de la prevalencia 3.Valores predictivos. Prevalencia Ejemplo: Diagnóstico VIH. Población Gallega 1. Diagnóstico correcto VIH+VIH-TOTAL ResultadoPositivo5.97013.97019.940 PruebaNegativo302.780.0302.780.060 TOTAL6.0002.794.0002.800.000

34 Influencia de la prevalencia 3.Valores predictivos. Prevalencia Ejemplo: Diagnóstico VIH. Población Gallega 1. Diagnóstico correcto VIH+VIH-TOTAL ResultadoPositivo5.97013.97019.940 PruebaNegativo302.780.0302.780.060 TOTAL6.0002.794.0002.800.000 Prevalencia = 6.000 / 2.800.000 = 0.21% Sensibilidad = 5970 / 6000 = 99.5% Especificidad = 2.780.030 /2.794.000 = 99.5% VPP = 5970 / 19940 = 29.9% VPN = 2.780.030 / 2.780.60 = 99.9% Solo un 29.9% de los individuos que diesen positivo en la prueba, estarían enfermos

35 Influencia de la prevalencia 3.Valores predictivos. Prevalencia Ejemplo: Diagnóstico VIH. Población Gallega 2. Diagnóstico correcte VIH+VIH-TOTAL ResultadoPositivo796.00010.000806.000 PruebaNegativo4.0001.990.0001.994.000 TOTAL800.0002.000.0002.800.000

36 Influencia de la prevalencia 3.Valores predictivos. Prevalencia Ejemplo: Diagnóstico VIH. Población Gallega 2. Diagnóstico correcte VIH+VIH-TOTAL ResultadoPositivo796.00010.000806.000 PruebaNegativo4.0001.990.0001.994.000 TOTAL800.0002.000.0002.800.000 Prevalencia = 800.000 / 2.800.000 = 28.6% Sensibilidad = 796.000 / 800.000 = 99.5% Especificidad = 1.990.000 /2.000.000 = 99.5% VPP = 796.000 / 806.000 = 98.7% VPN = 1.990.000 / 2.000.000 = 99.8% Si la prevalencia es alta, un resultado positivo tiende a confirmar la presencia de la enfermedad

37 Influencia de la prevalencia 3.Valores predictivos. Prevalencia Ejemplo: Diagnóstico VIH. Población Gallega. Con RCommander

38 1.Diagnóstico. Pruebas diagnósticas. 2.Sensibilidad, especificidad. 3.Valores predictivos. Prevalencia. 4.Razones de verosimilitud 5.Curva ROC. 1.Construcción 2.Interpretación 3.Comparación ¿QUÉ VEREMOS?

39 Razones de verosimilitud 4.Razones de verosimilitud Índice para comparar dos métodos (pruebas diagnósticas) que no dependa de la prevalencia en la población. Cuánto más probable es un resultado concreto según la presencia o ausencia de la enfermedad RP+ = P (test positivo en enfermos) / P (test positivo en sanos) = = VP / FP = = sensibilidad / (1-especificidad) RP- = P (test negativo en enfermos) / P (test negativo en sanos) = = FN / VN = = (1-sensibilidad) / especificidad

40 4.Razones de verosimilitud Ejemplo: Estudio amb n= 2.641 pacientes con sospecha de cáncer prostático Prueba inicial : tacto rectal Prueba referencia: biopsia prostática Resultado de la biopsia prostática CáncerPatología benignaTOTAL Resultado Anormal634269903 tacto rectal Normal48712511738 TOTAL112115202641 Sensibilidad = 634 / (634+487) = 0.5656 = 56.6% Especificidad = 1251 / (269+1251) = 0.8230 = 82.3% Prevalencia = 1121/2641 = 42.45% Valor predictivo positivo = 634 / (269+634) = 70.21% Valor predictivo negativo = 1251 / (487+1251) = 71.98% RP+ = 0.566 / (1-0.823) = 3.19 RP- = (1-0.566) / 0.823 = 0.53 Hay x3 veces más probabilidades de observar un tacto anormal en enfermos que en sanos

41 4.Razones de verosimilitud Ejemplo: Estudio amb n= 2.641 pacientes con sospecha de cáncer prostático Prueba inicial : tacto rectal Prueba referencia: biopsia prostática Disease positive Disease negative Total Test positive 634 269 903 Test negative 487 1251 1738 Total 1121 1520 2641 Point estimates and 95 % CIs: --------------------------------------------------------- Estimation Lower CI Upper CI Apparent prevalence 0.342 0.324 0.360 True prevalence 0.424 0.406 0.444 Sensitivity 0.566 0.536 0.595 Specificity 0.823 0.803 0.842 Positive predictive value 0.702 0.671 0.732 Negative predictive value 0.720 0.698 0.741 Diagnstic accuracy 0.714 0.696 0.731 Likelihood ratio of a positive test 3.196 2.835 3.603 Likelihood ratio of a negative test 0.528 0.492 0.567 ---------------------------------------------------------

42 1.Diagnóstico. Pruebas diagnósticas. 2.Sensibilidad, especificidad. 3.Valores predictivos. Prevalencia. 4.Razones de verosimilitud 5.Curva ROC. 1.Construcción 2.Interpretación 3.Comparación ¿QUÉ VEREMOS?

43 5.Curvas ROC Hasta ahora teníamos pruebas con resultados dicotómicos genera un valor de sensibilidad y un valor de especificidad Construcción de curvas ROC Positivo Negativo Pruebas con resultados continuos Elección de diferentes puntos de corte que permitan hacer una clasificación dicotómica. Muchos valores de sensibilidad y especificidad que van variando según el punto de corte escogido Representación gráfica

44 5.Curvas ROC Construcción de curvas ROC

45 5.Curvas ROC Construcción de curvas ROC Receiver Operator Characteristic Tasa de VP (sensibilidad) Tasa de FP (1-especificidad)

46 5.Curvas ROC Interpretación de curvas ROC Curva ROC permite comparar entre dos pruebas diagnósticas diferentes

47 5.Curvas ROC Ejemplo con Rcommander

48 5.Curvas ROC Ejemplo con Rcommander ¿cuál es el mejor punto de corte para la variable SDI? Dataset: SDI2 Estudio sobre fertilidad. Se estudian dos variables: SDI (sperm deformity index Número de mitocondrias

49 5.Curvas ROC Ejercicio con Rcommander ¿cuál es el mejor punto de corte para la variable NIVEL DE MITOCONDRIAS? Dataset: SDI2

50 5.Curvas ROC Ejercicio con Rcommander ¿cuál es el mejor punto de corte para la variable NIVEL DE MITOCONDRIAS? Dataset: SDI2

51 5.Curvas ROC Comparación de curvas ROC ¿cuál de los cuestionarios es mejor? AREA BAJO LA CURVA 0<AUC<1

52 5.Curvas ROC Comparación de curvas ROC AREA BAJO LA CURVA

53 5.Curvas ROC Comparación de curvas ROC. En RCommander

54 5.Curvas ROC Comparación de curvas ROC. En RCommander

55 Más software libre.

56 5.Curvas ROC Ejercicio. En RCommander Dataset: Osteoporosis. Para predecir la variable clasific, ¿qué prueba diagnóstica crees que es mejor? * índice de masa corporal * densidad ósea

57 5.Curvas ROC Ejercicio. En RCommander Indice de masa corporal es mejor prueba para predecir la variable clasific