CURSO DE EPIDEMIOLOGÍA BÁSICA 8b. Propiedades de las pruebas de diagnóstico Cómo determinar los valores umbrales Juan José Romero Zúñiga, DMV, PhD Programa de Investigación en Medicina Poblacional Escuela de Medicina Veterinaria Universidad Nacional Centro de Capacitación – Alto de Ochomogo Lunes, 3 de mayo 2010

Valor umbral (cut off) de una prueba diagnótica Es un valor límite para la positividad y negatividad de la prueba. En función de éstos se determinará la sensibilidad (Se), la especificidad (Sp) y los valores predictivos (VP) de dicha prueba. Se puede hacer mediante (al menos) dos métodos: Usando la distribución de las muestras controles (positivos y negativos). Mediante curvas de ROC (Receiver Operating Characteristic) Cambiar el punto de corte modifica la sensibilidad, especificidad y valores predictivos de un estudio, y por ende, la forma en que este se utiliza.

Método de “desviaciones estándar” Se requiere de al menos 100 muestras de controles positivos y 300 muestras de controles negativos (Se debe esperar una distribución normal !!!) Se debe aplicar la prueba y medir el resultado. Posteriormente se describen los datos para obtener la desviación estándar de cada grupo de muestras control (positivas y negativas). Se selecciona el número de desviaciones estándar en que los resultados de las muestras incógnita serán clasificadas como positivos o negativos.

Método de “desviaciones estándar” Controles negativos Controles positivos 1 2 3 3 2 1 Zona de problema

Método de curvas ROC Método desarrollado en la década de los 50 para discriminar entre las señales de radar y el ruido. Fue empleado por primera vez en medicina para la valoración radiológica Hanley J.A., McNeil B.J. (1982) The meaning and use of the area under a receiver operating characteristic (ROC) curve. Radiology. 143: 29-36 Hanley J.A., McNeil B.J. (1983) A method of comparing the areas under receiver operating characteristic curves derived from the same cases. Radiology. 148: 839-43

Método de curvas ROC Gráfica que representa la sensibilidad (Y) versus el complementario de la especificidad (1-espec) para todos los valores de corte posibles. Permite obtener una valoración gráfica sobre la utilidad de una prueba diagnóstica, independientemente de la incidencia de la enfermedad en la población.

Método de curvas ROC Las áreas a la derecha del valor de corte x corresponden a la sensibilidad (áreas clara y oscura) y 1-especificidad (área oscura), equivalente a los falsos positivos x

Método de curvas ROC Una prueba diagnóstica perfecta se ubicaria en la esquina superior izquierda Una prueba que no discrimina haría una curva de 45º, desde el 0 hasta la esquina superior derecha

Método de curvas ROC Valor T4 Hipotiroideo Eutiroideo <5 18 1 5.1-7 7 17 7.1-9 4 36 >9 3 39 total 32 93 Se cuantificaron los valores de T4 de 125 pacientes, 32 de los cuales eran conocidos hipotiroideos (mediante gamma)

Método de curvas ROC T4 Hipotiroideo Eutiroideo < 5 18 1 > 5 14 92 Total: 32 93 Se calcula la sensibilidad y especificidad para cada valor, mediante tablas de 2x2. Nuestro punto de corte definira quién se tomará como “positivo” y “negativo” Sensibilidad: 0.56 Especificidad: 0.99 T4 Hipotiroideo Eutiroideo < 7 25 18 > 7 7 75 Total: 32 93 Sensibilidad: 0.78 Especificidad: 0.81

Método de curvas ROC Conociendo estos valores, se puede elaborar la gráfica Punto corte Sensibilidad Especificidad 5 0.56 0.99 7 0.78 0.81 9 0.91 0.42

Método de curvas ROC Área bajo la curva El área bajo la curva se puede emplear para conocer en forma simple la exactitud global se una prueba Area total hacia la izq= 1 (prueba perfecta) Area de la diagonal= 0.5 Entre más cercana a 1, la prueba es mejor Permite hacer comparaciones entre pruebas

Método de curvas ROC 0.90-1 = excelente 0.80-0.90 = bueno 0.70-0.80 = regular 0.60-0.70 = pobre 0.50-0.60 = fallida

Método de curvas ROC Ventajas Representación gráfica simple y de fácil comprensión. Incluye todos los rangos de valores posibles, facilita toma de decisiones con respecto al valor más adecuado. Es independiente de la prevalencia Facilita la comparación visual entre varias pruebas Aplicable a pruebas con resultados tanto ordinales, como escalonados o continuos

Método de curvas ROC Aspectos operativos Toma en cuenta los resultados de muestras diagnosticadas con una prueba de oro, la cual mide el resultado de muestras controles positivas y negativas. Se debe correr las muestras incógnitas tanto en la prueba de oro como en la alternativa. Luego se debe hacer una tabla comparativa para determinar, por clases (rangos de valores para la prueba alternativa), cuántas muestras fueron clasificadas como positivas o negativas.

Método de curvas ROC

Método de curvas ROC

Propiedades de las pruebas de diagnóstico Propiedades de las pruebas de diagnóstico Medidas de concordancia entre pruebas

Prueba de concordancia entre pruebas diagnósticas (valor kappa). En esta prueba se analiza, mediante una tabla de contingencia, la concordancia entre dos pruebas diagnósticas, o entre el diagnóstico de dos clínicos. Se utiliza cuando no se conoce la sensibilidad o especificidad de una nueva prueba, o cuando se quiere probar si se puede utilizar una prueba más barata o rápida. En este caso se corren las dos pruebas y los resultados se comparan tomando como buenos los del “golden standard test”.

Prueba de concordancia entre pruebas diagnósticas (valor kappa). Kappa expresa la proporción de concordancia más allá del azar. La concordancia entre dos pruebas diagnósticas no indica que ambas posean la misma sensibilidad y especificidad ni sirve como medida de las mismas. Kappa no indica cual es el método que da los mejores resultados en términos del número correcto de individuos sanos o enfermos diagnosticados.

Tabla de contingencia para determinar el valor kappa. Golden standard test (ó clínico 1) + - Prueba + a b a+b alternativa - c d c+d (ó clínico 2) a+c b+d N

Fórmula de cálculo para kappa a + d Ea + Ed N N Ea + Ed N - 1 Donde: Ea es igual a : [(a + b) * (a + c)] / N Ed es igual a : [(c + d) * (b + d)] / N Ea+Ed/N : proporción esperada o de resultados iguales debidos al azar

Interpretación de kappa Comparando los diagnósticos de dos experimentadores clínicos debería obtenerse un valor de kappa alrededor de 0.6. La concordancia de los diagnósticos clínicos realizados sobre los mismos sujetos en diferentes ocasiones por un mismo experimentador debería dar un valor de kappa entre 0.6 y 0.8 Valores de kappa: 0.0 - 0.4 malo 0.4 - 0.5 moderado 0.5 - 0.6 aceptable 0.6 - 0.8 bueno 0.8 - 1.0 perfecto

El cálculo usando WinEpiscope

Propiedades de las pruebas de diagnóstico Uso de múltiples pruebas

Pruebas diagnósticas múltiples Algunas veces se necesario el uso de dos pruebas diagnósticas o más para aumentar la fiabilidad de un diagnóstico realizado. Se pueden realizar pruebas múltiples de dos formas En serie En paralelo

Pruebas en paralelo Se considera que dos pruebas se realizan en paralelo cuando ambas se hacen simultáneamente. Se consideran negativas aquellas muestras que obtienen resultados negativos para ambas pruebas, y positivas a todas las demás (con cualquiera de las dos pruebas positivas). El resultado es un aumento de la Sensibilidad.

Pruebas en serie Se realizan aplicando una prueba en primer lugar y a continuación se aplica una segunda prueba a aquellas muestras positivas a la primera. Se consideran positivas las muestras que dan positivo a ambas pruebas, y negativas todas las demás. El resultado es un aumento de la Especificidad.

Se y Sp usando múltiples pruebas Característica Paralelo Serie Sensibilidad 1-[(1-Se1) x (1-Se2)] Se1 x Se2 Especificidad Sp1 x Sp2 1-[(1-Sp1) x (1-Sp2)]

El cálculo usando WinEpiscope

Links recomendados http://www.stat.uiuc.edu/~jeffdoug/medstats/medov5.pdf http://www.emedicine.com/emerg/TOPIC779.HTM#section~Bayes'TheoremandLikelihoodRatios http://www.aepap.org/EvidPediatr/numeros/vol3/2007_numero_1/2007_vol3_numero1.24.htm http://books.google.co.cr/books?id=HhxhlETYsfgC&pg=PT204&lpg=PT204&dq=caracter%C3%ADsticas+de+las+pruebas+diagn%C3%B3sticas&source=web&ots=Jkbh2YIOG7&sig=P6uBr5nj8h47oGVmb1v9EFMHuSM&hl=es&sa=X&oi=book_result&resnum=3&ct=result#PPT6,M1

Consideraciones finales, discusión y consultas.