Sesgo de publicación en ciencias médicas Borja Santos Zorrozúa 1,2,3, Eduardo González Fraile 4,, Javier Ballesteros Rodríguez 2,4 1 Universidad del País.

Presentación del tema: "Sesgo de publicación en ciencias médicas Borja Santos Zorrozúa 1,2,3, Eduardo González Fraile 4,, Javier Ballesteros Rodríguez 2,4 1 Universidad del País."— Transcripción de la presentación:

1 Sesgo de publicación en ciencias médicas Borja Santos Zorrozúa 1,2,3, Eduardo González Fraile 4,, Javier Ballesteros Rodríguez 2,4 1 Universidad del País Vasco (UPV/EHU), 2 Cibersam (G16), 3 Programa PREDOC Gobierno Vasco, 4 Instituto de Investigaciones Psiquiátricas

2 1. Introducción SESGO DE PUBLICACIÓN

3 Causas e implicaciones Principales causas: -Intereses del investigador o organismo que promueve el estudio -Desestimación de la relevancia de resultados - Medios editoriales Implicaciones: - cuantificación irreal del verdadero efecto de un tratamiento.

4 Agomelatina

5 2. Objetivos Comparación de resultados aportados por las distintas librerías Publicados + No publicados Publicados SelectMeta Copas Samurai Trim & Fill LiteraturaLiteratura + RRealidad Fail safe N

6 > 3.Material y métodos > Material # Ensayos clínicos aleatorizados que estudian la # efectividad de la agomelatina como tratamiento # contra la depresión. # i) 6 ensayos publicados # ii) 6 ensayos no publicados > Métodos # Metaanálisis con los estudios publicados y no # publicados. # i) Metaanálisis con los estudios publicados # ii)Metaanálisis con las librerías que tienen en # cuenta el sesgo de publicación # iii) Estudio del sesgo de los estimadores del # efecto en comparación con el obtenido en el # primer punto

7 > # Metaanálisis publicados > library(metafor) > forest(meta_pub, pooled.totals=TRUE, + smlab="Hedges' g", col.i="blue", + col.square="blue", col.diamond="red") > funnel(meta_general)

8 > # Metaanálisis publicados y # no publicados > library(metafor) > forest(meta_general, pooled.totals=TRUE, > smlab="Hedges' g", col.i="blue", > col.square="blue", col.diamond="red") > funnel(meta_general)

9 # Fail safe N > library(metafor) > # Numero necesario de estudios según Rosenthal > fsn_ros <- fsn(datos_pub$g, datos_pub$SEg) > print(fsn_ros) Fail-safe N Calculation Using the Rosenthal Approach Observed Significance Level: 0.0442 Target Significance Level: 0.05 Fail-safe N: 1 > # Numero necesario de estudios según Orwin > fsn_or <- fsn(datos_pub$g, datos_pub$SEg,type="Orwin") > print(fsn_or) Fail-safe N Calculation Using the Orwin Approach Average Effect Size: -0.2698 Target Effect Size: -0.1349 Fail-safe N: 5 > # Numero necesario de estudios según Rosenberg > fsn_rosen <- fsn(datos_pub$g, datos_pub$SEg,type="Rosenberg") > print(fsn_rosen) Fail-safe N Calculation Using the Rosenberg Approach Average Effect Size: -0.2629 Observed Significance Level: 0.0922 Target Significance Level: 0.05 Fail-safe N: 0

10 # Trim & Fill > library(metafor) > forest(meta_trim, pooled.totals=TRUE, + smlab="Hedges’g", col.i="blue", + col.square="blue", col.diamond="red") > funnel(meta_general)

11 # Modelo de selección > library(selecMeta) > select1 <- DearBegg(datos_pub$g,datos_pub$SEg) > attributes(select1) $names [1] "w" "theta" "sigma" "p" "y" "u" "loglik“ > select1$theta [1] -0.177301 > DearBeggMonotoneCItheta(select1) [1] "Now computing confidence interval. May take a moment (up to a few minutes)." $ci.theta [1] -0.3390506 -0.0310255 > select2 <- DearBeggMonotone(datos_pub$g,datos_pub$SEg) > attributes(select2) $names [1] "w" "theta" "sigma" "p" "y" [6] "u" "loglik" "DEoptim.res“ > select2$theta [1] -0.163183 > DearBeggMonotoneCItheta(select2) [1] "Now computing confidence interval. May take a moment (up to a few minutes)." $ci.theta [1] -0.34414622 -0.02889256

12 # Modelo de Copas > library(copas) > meta_copas <- copas(meta_pub) > meta_copas > plot(meta_copas) Summary of Copas selection model analysis: publprob SMD 95%-CI pval.treat pval.rsb N.unpubl 1.00 -0.2561 [-0.3626; -0.1496] < 0.0001 0.1384 0 0.55 -0.1941 [-0.3362; -0.0520] 0.0074 0.1765 3 0.29 -0.0936 [-0.3155; 0.1284] 0.4086 0.0809 9 0.17 0.0541 [-0.1678; 0.2760] 0.6328 0.7968 18 0.09 0.1755 [-0.0464; 0.3974] 0.1212 0.8126 37 0.04 0.3624 [ 0.1405; 0.5844] 0.0014 0.3194 86 0.02 0.3575 [-0.2091; 0.9242] 0.2162 0.1217 204 0.01 0.4389 [-0.2878; 1.1655] 0.2365 0.1198 707 0.00 0.5172 [-0.4021; 1.4364] 0.2702 0.6741 4066 0.00 0.5882 [-0.4852; 1.6616] 0.2828 0.6719 39960 0.00 0.6906 [-0.5599; 1.9410] 0.2791 1 5062707 0.00 0.6912 [-0.5602; 1.9425] 0.279 0.8138 5242379 Copas model (adj) -0.2561 [-0.3626; -0.1496] < 0.0001 0.1384 0 Random effects model -0.2566 [-0.3648; -0.1483] < 0.0001 Significance level for test of residual selection bias: 0.1

13 # Método SAMURAI > funnelplot(table = datos_samurai, + binary = FALSE, higher.is.better = FALSE, + mean.sd = TRUE, outlook = "no effect", + title = "Funnel plot") > library(SAMURAI) > metaanalisis_samurai <- forestsens(table = datos_samurai, + binary = FALSE, mean.sd = TRUE, outlook = "no effect", + plot.title = "Metaanálisis del efecto de agomelatina")

14 > 4.Resultados > meta_total <- c(round(meta_general$TE.random,2),round(meta_general$seTE.random,2),"-") > meta_psiquiatra <- c(round(meta_pub$TE.random,2),round(meta_pub$seTE.random,2), + round(((-0.24--0.26)/-0.24)*100,2)) > fsn_Rosenthal <- c("-","-","-",fsn_ros$fsnum) > fsn_Orwin <- c("-","-","-",fsn_or$fsnum) > fsn_Rosenberg <- c("-","-","-",fsn_rosen$fsnum) > meta_trimFill <- c(round(meta_trim$TE.random,2),round(meta_trim$seTE.random,2), + round(((-0.24--0.21)/-0.24)*100,2)) > meta_Copas <- c(-0.19,"-",round(((-0.24--0.19)/-0.24)*100,2)) > meta_DearBegg1 <- c(round(DearBegg1$theta,2),"-",round(((-0.24--0.18)/-0.24)*100,2),"-") > meta_DearBegg2 <- c(round(DearBegg2$theta,2),"-",round(((-0.24--0.16)/-0.24)*100,2),"-") > meta_Samurai <- c(-0.12,"-",round(((-0.24--0.12)/-0.24)*100,2)) > resultados <- rbind(meta_total,meta_psiquiatra,meta_trimFill,meta_Copas,meta_Samurai) > colnames(resultados) <- c("Estimador efecto","Error estandar","Sesgo estimador (%)") > resultados <- as.data.frame(resultados) > resultados Estimador efecto Error estandar Sesgo estimador (%) Estudios no publicados meta_total -0.24 0.06 - - meta_psiquiatra -0.26 0.06 -8.33 - fsn_Rosenthal - - - 1 fsn_Orwin - - - 5 fsn_Rosenberg - - - 0 meta_trimFill -0.21 0.05 12.5 - meta_DearBegg1 -0.18 - 25 - meta_DearBegg2 -0.16 - 33.33 - meta_Copas -0.19 - 20.83 3 meta_Samurai -0.12 - 50 - Tamaño del efecto real (en general desconocido) Sobreestimación del efecto debido al sesgo de publicación Estimaciones (mejores o perores) del tamaño del efecto asumiendo sesgo de publicación

15 > 5.Conclusiones > i [1] "El sesgo de publicación interfiere en la estimación del tamaño del efecto." > ii [1] "Debido a que los estudios no significativos no sean publicados, el estimador está en realidad sobrestimando la eficacia." > iii [1] "La existencia de paquetes que nos permitan corregir el estimador del efecto son necesarias. De este modo podremos estimar de una manera más realista la verdadera eficacia del tratamiento." > iv [1] "En el caso en el que el número de estudios sea limitado, hay que tener cautela puesto que como la mayoría de métodos estadísticos, el funcionamiento es mayor cuando mayor sea la información disponible."

16 > 6.Bibliografía > citation() R Core Team (2013). R: A language and environment for statistical computing. R Foundation for Statistical Computing, Vienna, Austria. URL http://www.R-project.org/. > citation("meta") Guido Schwarzer (2013). meta: Meta-Analysis with R. R package version 3.0-1. http://CRAN.R-project.org/package=meta > citation("metafor") Wolfgang Viechtbauer (2010). Conducting meta-analyses in R with the metafor package. Journal of Statistical Software, 36(3), 1-48. URL http://www.jstatsoft.org/v36/i03/. > citation("copas") James Carpenter and Guido Schwarzer (2013). copas: Statistical methods to model and adjust for bias in meta-analysis. R package version 0.7-0. http://CRAN.R-project.org/package=copas > citation("SAMURAI") Noory Y. Kim. Advisors: Shrikant I. Bangdiwala and Gerald Gartlehner. (2013). SAMURAI: Sensitivity Analysis of a Meta-analysis with Unpublished but Registered Analytical Investigations. R package version 1.2.1. http://CRAN.R-project.org/package=SAMURAI > citation("selectMeta") Kaspar Rufibach (2013). selectMeta: Estimation of weight functions in meta analysis. R package version 1.0.5. http://CRAN.R-project.org/package=selectMeta