Curs d'Estadística Bàsica per a la Recerca Biomèdica UEB - VHIR Ricardo Gonzalo Sanz 10/02/2015 TEST DIAGNÒSTICS. SENSIBILITAT, ESPECIFICITAT I CORBES ROC

1.Diagnóstico. Pruebas diagnósticas. 2.Sensibilidad, especificidad. 3.Valores predictivos. Prevalencia. 4.Razones de verosimilitud 5.Curva ROC. 1.Construcción 2.Interpretación 3.Comparación ¿QUÉ VEREMOS?

1.Diagnóstico. Pruebas diagnósticas. 2.Sensibilidad, especificidad. 3.Valores predictivos. Prevalencia. 4.Razones de verosimilitud 5.Curva ROC. 1.Construcción 2.Interpretación 3.Comparación ¿QUÉ VEREMOS?

1.Diagnóstico. Pruebas diagnósticas. Diagnóstico. Foto: FOX ¿qué me pasa doctor? Mmm …déjeme que le haga unas pruebas y valore

1.Diagnóstico. Pruebas diagnósticas. Diagnóstico. más importante resultado de la práctica médica clave que conduce al tratamiento y al pronóstico Otras definiciones válidas: proceso de determinar la naturaleza de la condición mórbida mediante el examen. cuidadoso examen de los hechos para determinar la naturaleza de algo decisión u opinión resultante de tal examen o investigación. Clasificación de los individuos en sanos o enfermos.

1.Diagnóstico. Pruebas diagnósticas. Proceso que da lugar al diagnóstico. 1.Establecer una presunción sospecha o hipótesis de existencia de enfermedad 2.Seguimiento de la suposición clínica y verificar si esta corresponde a la verdad. Incertidumbre Síntomas de un paciente pueden ser compatibles con más de una enfermedad Variaciones biológicas de un individuo a otro Instrumentos son imprecisos Pacientes son inexactos para recordar sucesos pasados.

1.Diagnóstico. Pruebas diagnósticas. Proceso que da lugar al diagnóstico. Se utilizan diferentes fuentes de información: anamnesis del paciente examen físico información epidemiológica resultados de las pruebas diagnósticas PRUEBA DIAGNÓSTICA Procedimiento mediante el cual se confirma o se descarta un diagnóstico.

1.Diagnóstico. Pruebas diagnósticas. Prueba diagnóstica Tenga resultados positivos en enfermos y negativos en sanos Condiciones a exigir a una prueba diagnóstica: Validez: grado en que una prueba mide lo que se supone que debe medir (sensibilidad y especificidad) Reproductividad: capacidad de la prueba de ofrecer los mismos resultados cuando se repite su aplicación en circunstancias similares (variabilidad biológica, instrumental y técnica)

1.Diagnóstico. Pruebas diagnósticas. Prueba diagnóstica Condiciones a exigir a una prueba diagnóstica: Seguridad: ante un resultado positivo ¿qué probabilidad existe de que este resultado indique presencia de la enfermedad? (valores predictivos) Que sea sencilla de aplicar Aceptado por los pacientes o la población en general Mínimos efectos adversos Económicamente soportable

1.Diagnóstico. Pruebas diagnósticas. Relación entre los resultados de la prueba y el auténtico diagnóstico Auténtico diagnóstico MÉTODO DE REFERENCIA Ej. Biopsias, cultivos microbianos,… MÉTODO DE REFERENCIA ¿caro? ¿traumático para el paciente? ¿lento de realizarse? Se necesita un método (prueba diagnóstica) más accesible. hemos de estar seguros de que funciona bien

1.Diagnóstico. Pruebas diagnósticas. Relación entre los resultados de la prueba y el auténtico diagnóstico En un prueba diagnóstica con posible resultados: Positivo o Negativo :Tabla de diagnóstico (tabla de contingencia) Valores numéricos (variable continua): curva ROC Gold Standard EnfermoSanoTOTAL PruebaPositivoaba+b DiagnósticaNegativ0cdc+d TOTALa+cb+da+b+c+d

1.Diagnóstico. Pruebas diagnósticas. Relación entre los resultados de la prueba y el auténtico diagnóstico Gold Standard EnfermoSanoTOTAL PruebaPositivoaba+b DiagnósticaNegativocdc+d TOTALa+cb+da+b+c+d a = Verdaderos positivos (VP) b = Falsos positivos (FP) c = Falsos negativos (FN) d = Verdaderos negativos (VN)

1.Diagnóstico. Pruebas diagnósticas. 2.Sensibilidad, especificidad. 3.Valores predictivos. Prevalencia. 4.Razones de verosimilitud 5.Curva ROC. 1.Construcción 2.Interpretación 3.Comparación ¿QUÉ VEREMOS?

2.Sensibilidad y especificidad Especificidad (E): Probabilidad clasificar como sanos (no enfermos) a los que efectivamente lo son. E = P(T-/no Enf) Sensibilidad (S): Probabilidad de obtener un resultado positivo cuando el individuo tiene la enfermedad. S = P(T+/Enf) Una prueba sensible detectará a todos los pacientes que sufren la enfermedad Una prueba específica no clasificará como enfermas a personas que no lo están.

2.Sensibilidad y especificidad Gold Standard EnfermoSanoTOTAL PruebaPositivoaba+b DiagnósticaNegativocdc+d TOTALa+cb+da+b+c+d Estimación de la sensibilidad y la especificidad

2.Sensibilidad y especificidad Gold Standard EnfermoSanoTOTAL PruebaPositivoaba+b DiagnósticaNegativocdc+d TOTALa+cb+da+b+c+d Estimación de la sensibilidad y la especificidad

2.Sensibilidad y especificidad Ejemplo. Resultado de la biopsia CáncerPatología benignaTOTAL Resultado Anormal tacto rectal Normal TOTAL Estudio n= pacientes con sospecha de cáncer prostático Prueba inicial : tacto rectal Prueba posterior: biopsia prostática (método de referencia) Sensibilidad = 634 / ( ) = = 56.6%43.4% con cáncer tenian tacto normal Especificidad = 1251 / ( ) = = 82.3% Hacen falta otras pruebas para refinar el diagnóstico (Ej. PSA)

2.Sensibilidad y especificidad Ejemplo con R Commander. Plug-in “EZR”

2.Sensibilidad y especificidad Ejemplo con R Commander. Plug-in “EZR” Disease positive Disease negative Total Test positive Test negative Total Point estimates and 95 % CIs: Estimation Lower CI Upper CI Apparent prevalence True prevalence Sensitivity Specificity Positive predictive value Negative predictive value Diagnstic accuracy Likelihood ratio of a positive test Likelihood ratio of a negative test

2.Sensibilidad y especificidad Valores idóneos de sensibilidad y la especificidad 0 ≥ S y E ≤ 1 Sensibilidad Sensibilidad cercana a 1 cuando: Enfermedad grave pero tratable (SIDA, tuberculosis,…) Screening (interesa captar a todos los enfermos) Como primera prueba (si se necesitan muchas para diagnóstico) Especificidad Especificidad cercana a 1 cuando: Enfermedad grave sin cura. Confirmación de diagnóstico sugerido por otros datos (no dará FP) Evitar FP en tratamientos caros, con efectos secundarios …

2.Sensibilidad y especificidad Establecer la sensibilidad y la especificidad Espectro de pacientes Espectro de pacientes: pacientes utilizados para validar la prueba son diferentes a los que se aplicará en la realidad. “Los sanos son muy sanos y los enfermos muy enfermos”. No hay estadíos. Sesgo Sesgo: En la evaluación de S y E, el resultado de la prueba no debe formar parte de la información utilizada para el establecer el diagnóstico. Azar Azar: Normalmente S y E evaluados en muestras pequeñas (más imprecisas), los datos reales (población) requieren de un intervalo de confianza. Selección del grupo de pacientes

2.Sensibilidad y especificidad Establecer la sensibilidad y la especificidad

1.Diagnóstico. Pruebas diagnósticas. 2.Sensibilidad, especificidad. 3.Valores predictivos. Prevalencia. 4.Razones de verosimilitud 5.Curva ROC. 1.Construcción 2.Interpretación 3.Comparación ¿QUÉ VEREMOS?

3.Valores predictivos. Prevalencia ¿pero…el paciente sufre la enfermedad o no? S y E ayudan a decidir si se utiliza una prueba o no, pero una vez se conoce el resultado no aportan información se basan en el conocimiento previo (enfermo/sano) del individuo

3.Valores predictivos. Prevalencia ¿el paciente sufre la enfermedad o no? Valor predictivo positivo Valor predictivo negativo Probabilidad de sufrir la enfermedad en un paciente con un resultado positivo en la prueba Probabilidad de no sufrir la enfermedad en un paciente con un resultado negativo en la prueba si mi paciente ha tenido un resultado positivo/negativo en la prueba, ¿qué probabilidad hay de que sufra/no sufra la enfermedad? VP+ = P(Enf/T+) VP- = P(no Enf/T-)

3.Valores predictivos. Prevalencia Valores predictivos Gold Standard EnfermoSanoTOTAL PruebaPositivoaba+b DiagnósticaNegativocdc+d TOTALa+cb+da+b+c+d

Ejemplo. Resultado de la biopsia CáncerPatología benignaTOTAL Resultado Anormal tacto rectal Normal TOTAL Estudio n= pacientes con sospecha de cáncer prostático Prueba inicial : tacto rectal Prueba posterior: biopsia prostática (método de referencia) Valor predictivo positivo = 634 / ( ) = 70.21%70.21% de los pacientes con tacto anormal fueron correctamente diagnosticados Valor predictivo negativo = 1251 / ( ) = 71.98% 71.98% con tacto rectal normal estaban sanos 3.Valores predictivos. Prevalencia

Ejemplo con R Commander. Plug-in “EZR” Disease positive Disease negative Total Test positive Test negative Total Point estimates and 95 % CIs: Estimation Lower CI Upper CI Apparent prevalence True prevalence Sensitivity Specificity Positive predictive value Negative predictive value Diagnstic accuracy Likelihood ratio of a positive test Likelihood ratio of a negative test Valores predictivos. Prevalencia

Prevalencia Proporción de personas en una población definida que sufren la enfermedad en un momento concreto. Probabilidad de tener la enfermedad antes de conocer el resultado de la prueba prevalencia de la enfermedad de Aujeszky 2008

3.Valores predictivos. Prevalencia Prevalencia Prevalencia = 1121/2641 = 42.45% Resultado de la biopsia CáncerPatología benignaTOTAL Resultado Anormal tacto rectal Normal TOTAL Proporción de pacientes que tiene la enfermedad en la población Probabilidad de tener la enfermedad por el solo hecho de pertenecer a dicha población.

Ejemplo con R Commander. Plug-in “EZR” Disease positive Disease negative Total Test positive Test negative Total Point estimates and 95 % CIs: Estimation Lower CI Upper CI Apparent prevalence True prevalence Sensitivity Specificity Positive predictive value Negative predictive value Diagnstic accuracy Likelihood ratio of a positive test Likelihood ratio of a negative test Valores predictivos. Prevalencia

Influencia de la prevalencia 3.Valores predictivos. Prevalencia Del cálculo de los VP: VP+ = VP- = Individuos con enfermedad y sin Cambios en la composición de la población alterarán sus valores prevalenciabaja Si prevalencia es baja: resultado negativo permitirá descartar la enfermedad con mayor seguridad (VP negativo alto). El resultado positivo, no permitirá confirmar el diagnóstico (VP positivo bajo) Sensibilidad y especificidad son específicos de la prueba y no dependen de la población de estudio

Influencia de la prevalencia 3.Valores predictivos. Prevalencia Ejemplo: Diagnóstico VIH. Población Gallega 1. Diagnóstico correcto VIH+VIH-TOTAL ResultadoPositivo PruebaNegativo TOTAL

Influencia de la prevalencia 3.Valores predictivos. Prevalencia Ejemplo: Diagnóstico VIH. Población Gallega 1. Diagnóstico correcto VIH+VIH-TOTAL ResultadoPositivo PruebaNegativo TOTAL Prevalencia = / = 0.21% Sensibilidad = 5970 / 6000 = 99.5% Especificidad = / = 99.5% VPP = 5970 / = 29.9% VPN = / = 99.9% Solo un 29.9% de los individuos que diesen positivo en la prueba, estarían enfermos

Influencia de la prevalencia 3.Valores predictivos. Prevalencia Ejemplo: Diagnóstico VIH. Población Gallega 2. Diagnóstico correcte VIH+VIH-TOTAL ResultadoPositivo PruebaNegativo TOTAL

Influencia de la prevalencia 3.Valores predictivos. Prevalencia Ejemplo: Diagnóstico VIH. Población Gallega 2. Diagnóstico correcte VIH+VIH-TOTAL ResultadoPositivo PruebaNegativo TOTAL Prevalencia = / = 28.6% Sensibilidad = / = 99.5% Especificidad = / = 99.5% VPP = / = 98.7% VPN = / = 99.8% Si la prevalencia es alta, un resultado positivo tiende a confirmar la presencia de la enfermedad

Influencia de la prevalencia 3.Valores predictivos. Prevalencia Ejemplo: Diagnóstico VIH. Población Gallega. Con RCommander

1.Diagnóstico. Pruebas diagnósticas. 2.Sensibilidad, especificidad. 3.Valores predictivos. Prevalencia. 4.Razones de verosimilitud 5.Curva ROC. 1.Construcción 2.Interpretación 3.Comparación ¿QUÉ VEREMOS?

Razones de verosimilitud 4.Razones de verosimilitud Índice para comparar dos métodos (pruebas diagnósticas) que no dependa de la prevalencia en la población. Cuánto más probable es un resultado concreto según la presencia o ausencia de la enfermedad RP+ = P (test positivo en enfermos) / P (test positivo en sanos) = = VP / FP = = sensibilidad / (1-especificidad) RP- = P (test negativo en enfermos) / P (test negativo en sanos) = = FN / VN = = (1-sensibilidad) / especificidad

4.Razones de verosimilitud Ejemplo: Estudio amb n= pacientes con sospecha de cáncer prostático Prueba inicial : tacto rectal Prueba referencia: biopsia prostática Resultado de la biopsia prostática CáncerPatología benignaTOTAL Resultado Anormal tacto rectal Normal TOTAL Sensibilidad = 634 / ( ) = = 56.6% Especificidad = 1251 / ( ) = = 82.3% Prevalencia = 1121/2641 = 42.45% Valor predictivo positivo = 634 / ( ) = 70.21% Valor predictivo negativo = 1251 / ( ) = 71.98% RP+ = / ( ) = 3.19 RP- = ( ) / = 0.53 Hay x3 veces más probabilidades de observar un tacto anormal en enfermos que en sanos

4.Razones de verosimilitud Ejemplo: Estudio amb n= pacientes con sospecha de cáncer prostático Prueba inicial : tacto rectal Prueba referencia: biopsia prostática Disease positive Disease negative Total Test positive Test negative Total Point estimates and 95 % CIs: Estimation Lower CI Upper CI Apparent prevalence True prevalence Sensitivity Specificity Positive predictive value Negative predictive value Diagnstic accuracy Likelihood ratio of a positive test Likelihood ratio of a negative test

1.Diagnóstico. Pruebas diagnósticas. 2.Sensibilidad, especificidad. 3.Valores predictivos. Prevalencia. 4.Razones de verosimilitud 5.Curva ROC. 1.Construcción 2.Interpretación 3.Comparación ¿QUÉ VEREMOS?

5.Curvas ROC Hasta ahora teníamos pruebas con resultados dicotómicos genera un valor de sensibilidad y un valor de especificidad Construcción de curvas ROC Positivo Negativo Pruebas con resultados continuos Elección de diferentes puntos de corte que permitan hacer una clasificación dicotómica. Muchos valores de sensibilidad y especificidad que van variando según el punto de corte escogido Representación gráfica

5.Curvas ROC Construcción de curvas ROC

5.Curvas ROC Construcción de curvas ROC Receiver Operator Characteristic Tasa de VP (sensibilidad) Tasa de FP (1-especificidad)

5.Curvas ROC Interpretación de curvas ROC Curva ROC permite comparar entre dos pruebas diagnósticas diferentes

5.Curvas ROC Ejemplo con Rcommander

5.Curvas ROC Ejemplo con Rcommander ¿cuál es el mejor punto de corte para la variable SDI? Dataset: SDI2 Estudio sobre fertilidad. Se estudian dos variables: SDI (sperm deformity index Número de mitocondrias

5.Curvas ROC Ejercicio con Rcommander ¿cuál es el mejor punto de corte para la variable NIVEL DE MITOCONDRIAS? Dataset: SDI2

5.Curvas ROC Ejercicio con Rcommander ¿cuál es el mejor punto de corte para la variable NIVEL DE MITOCONDRIAS? Dataset: SDI2

5.Curvas ROC Comparación de curvas ROC ¿cuál de los cuestionarios es mejor? AREA BAJO LA CURVA 0<AUC<1

5.Curvas ROC Comparación de curvas ROC AREA BAJO LA CURVA

5.Curvas ROC Comparación de curvas ROC. En RCommander

5.Curvas ROC Comparación de curvas ROC. En RCommander

Más software libre.

5.Curvas ROC Ejercicio. En RCommander Dataset: Osteoporosis. Para predecir la variable clasific, ¿qué prueba diagnóstica crees que es mejor? * índice de masa corporal * densidad ósea

5.Curvas ROC Ejercicio. En RCommander Indice de masa corporal es mejor prueba para predecir la variable clasific