Mayo-2007 1 Problemas metodológicos clave en la evaluación e interpretación de los Ensayos Clínicos II Jornadas de Redes de Expertos.

Presentación del tema: "Mayo-2007 1 Problemas metodológicos clave en la evaluación e interpretación de los Ensayos Clínicos II Jornadas de Redes de Expertos."— Transcripción de la presentación:

1 Mayo-2007 Ferran.Torres@uab.es 1 Problemas metodológicos clave en la evaluación e interpretación de los Ensayos Clínicos II Jornadas de Redes de Expertos en Regulación de Medicamentos "EVALUACIÓN CLÍNICA, REGISTRO Y AUTORIZACIÓN DE MEDICAMENTOS"

2 2007 Ferran.Torres@uab.es 2 “The aim of any Clinical Trial should be to obtain a truthful answer to a relevant medical issue. This requires that the conclusions be based on an unbiased assessment of objective evidence rather than on a subjective compilation of clinical opinion.” (Stuart J. Pocock: “Clinical Trials. A practical approach”. Wiley, 1983)

3 2007 Ferran.Torres@uab.es 3  ICHE9 Statistical Principles for Clinical Trials ICHE9  CPMP/EWP/908/99 CPMP Points to Consider on Multiplicity issues in Clinical Trials (Apr 2003) CPMP/EWP/908/99  CPMP/EWP/2863/99 Points to Consider on Adjustment for Baseline Covariates (Nov 2003) CPMP/EWP/2863/99  CPMP/2330/99 Points to Consider on Application with 1.) Meta-analyses and 2.) One Pivotal study (May 2001) CPMP/2330/99  CPMP/EWP/2158/99 Guideline on the Choice of a Non-Inferiority Margin (Jan2006) CPMP/EWP/2158/99  CPMP/EWP/482/99 Points to Consider on Switching between Superiority and Non-inferiority (Feb 2001) CPMP/EWP/482/99  CPMP/EWP/1776/99 Points to Consider on Missing Data (Jan 2002) CPMP/EWP/1776/99  CHMP/EWP/83561/05 Guideline on Clinical Trials in Small Populations (Feb2007) CHMP/EWP/83561/05  CHMP/EWP/2459/02 Reflection Paper on Methodological Issues in Confirmatory Clinical Trials with Flexible Design and Analysis Plan (Draft) CHMP/EWP/2459/02 Normativas

4 2007 Ferran.Torres@uab.es 4 Puntos metodológicos clave  Multiplicidad  Interaccción, factores de confusión y subgrupos  Análisis intermedios  Ajustes por covariables  Missing data  Otros: –Superioridad vs No-Inferioridad –Meta-análisis Med Clin (Barc.) 2005;125(Supl. 1):72-76

5 2007 Ferran.Torres@uab.es 5 Ley de Murphy de la Investigación Una cantidad de investigación suficiente nos permitirá probar cualquier teoría

6 2007 Ferran.Torres@uab.es 6 Multiplicidad  Si juego al bingo una vez, es muy improbable que gane  Si juego cada día durante un año, ya no lo es tanto  Si someto a prueba una H 0 falsa, es muy improbable una conclusión errónea: Pr (Rechazo H 0 | H 0 ) =  5%)  Si someto a prueba muchas H 0 falsas, ya no lo es tanto

7 2007 Ferran.Torres@uab.es 7 Multiplicidad K hipótesis independientes: H 01, H 02,..., H 0K S resultados significativos ( p<  ) Pr (S  1 | H 01  H 02 ...  H 0K = H 0. ) = 1 - Pr (S=0|H 0. ) = 1- (1 -  ) K

8 2007 Ferran.Torres@uab.es 8 Fuentes de Multiplicidad en EC  Múltiples criterios de evaluación  Múltiples tiempos de observación (medidas repetidas)  Múltiples análisis (intermedios, secuenciales)  Múltiples comparaciones: –diseños con más de dos tratamientos –subgrupos

9 2007 Ferran.Torres@uab.es 9 Ejemplos de multiplicidad en EC

10 2007 Ferran.Torres@uab.es 10Multiplicidad  Corrección de Bonferroni –K pruebas con un nivel de significación de  –Tomar como nivel de significación de cada prueba  /k  Ejemplo: –5 pruebas independientes –Se pretende un nivel global del 5% –Se toma como significativa una prueba si su nivel de significación es de 5% / 5= 1%

11 2007 Ferran.Torres@uab.es 11 Manejo de la multiplicidad  Escenario 1:Una única variable –Identificar una variable principal y el resto son secundarias –El EC es concluyente si la variable principal es significativa (valor de p <= 0.05, p.e.) –El cálculo del tamaño de la muestra depende sólo de la variable principal.

12 2007 Ferran.Torres@uab.es 12 Manejo de la multiplicidad  Escenario 2Dividir el Error de Tipo I Identificar dos o más variables principales –Dividir el error de Tipo I global, 0.05, entre estas variables principales, por ejemplo: 0.04 para la primera y 0.01 para la segunda. –El EC es concluyente si una de las variables principales es significativa. –Se calcula el tamaño de la muestra para cada una de las variables por separado, utilizando el valor de Error de Tipo I especificado para cada una de ellas, y se utiliza el mayor de todos ellos.

13 2007 Ferran.Torres@uab.es 13 Manejo de la multiplicidad  Escenario 3 Procedimiento de Rechazo Secuencial –Identificar n variables principales, p.e. n=3 –Ordenar los valores de p del mayor al menor. –Se evalúa la primera variable con el valor de p mayor, si es significativa al 0.05, se evalúa la segunda variable con el mayor valor de p con un nivel de significación de 0.05/2, en caso de ser significativa se evalúa la tercera con un valor de p de 0.05/3. El procedimiento se detiene en el momento que no se obtiene significación estadística en alguno de los pasos

14 2007 Ferran.Torres@uab.es 14 Manejo de la multiplicidad  Escenario 3 (continuación) –El EC resulta concluyente si la primera variable es significativa. –Para el cálculo del tamaño de la muestra se utilizará un Error de Tipo I de 0.05/n y se deberá realizar para cada una de las variables que se analicen como principales. Se resuelve seleccionando el mayor de ellos.

15 2007 Ferran.Torres@uab.es 15 Manejo de la multiplicidad  Escenario 4Jerárquico –Se pre-especifica la jerarquía de las n variables principales. –Se evalúa si la 1ª variables es significativa al 0.05, si lo es se comprueba la 2ª al 0.05, si lo es se comprueba la 3ª al 0.05 de significación. Se detiene en el momento que una de las variables no resulta significativa. –El EC es concluyente si la primera variable principal observada resulta significativa. –Calcular la N separadamente para cada variable al 5%

16 2007 Ferran.Torres@uab.es 16 Variables secundarias  Sentido de las variables secundarias como “confirmatorias”: –La variable primaria presenta resultados significativos y –Las comparaciones realizadas en las variables secundarias también están ‘protegidas’ bajo el mismo Error de Tipo I que la variable principal.  Se indican también procedimientos similares a los comentados para la protección del Error de tipo I entre las variables secundarias.

17 2007 Ferran.Torres@uab.es 17 Puntos metodológicos clave  Multiplicidad  Interaccción, factores de confusión y subgrupos  Análisis intermedios  Ajustes por covariables  Missing data  Otros: –Superioridad vs No-Inferioridad –Meta-análisis Med Clin (Barc.) 2005;125(Supl. 1):72-76

18 2007 Ferran.Torres@uab.es 18 Interacción  Presencia de un efecto modificador de la intensidad o sentido de la relación entre diferentes estratos de una variable. –Ejemplos:  Sexo con tratamiento.  Centro con tratamiento.  Edad con tratamiento.

19 2007 Ferran.Torres@uab.es 19 Interacción IMHábito de fumar NoSí Sí 934 NO491466 Edad < 45 años IMHábito de fumar NoSí Sí46 NO296294 Edad >= 45 años IMHábito de fumar NoSí Sí528 NO195172 1.8% 6.8%d=5% 1.33% 2.0% d=0.7%2.5%14%d=11.5%

20 2007 Ferran.Torres@uab.es 20 Factores de confusión  Categoría especial de sesgos que cumplen: –1) Son factores de riesgo para la enfermedad (o la variable en estudio). –2) Se asocian a la exposición (o la intervención) en estudio. –3) No son pasos o factores intermedios.

21 2007 Ferran.Torres@uab.es 21 Factores de confusión IMCafé NoSí Sí1040 NO490460 No fumadores IMCafé NoSí Sí87 NO472413 Fumadores IMCafé NoSí Sí27 NO1873 2% 8.7%d=6.7% 1.67% 1.67%d=0%10%10%d=0%

22 2007 Ferran.Torres@uab.es 22 Subgrupos y la Paradoja de Simpson

23 2007 Ferran.Torres@uab.es 23 Paradoja de Simpson continuación

24 2007 Ferran.Torres@uab.es 24 Estudios de Subgrupos AspirinaPlacebo Muerte vascular150 147 Total1357 1442 11.1%10.2% p=0.42045d=-0.9 Estudio ISIS-2: Muerte vascular por subgrupos de zodiaco Geminis/LibraOtros Signos AspirinaPlacebo Muerte vascular654 868 Total7228 7157 9.0%12.1% p<0.0001d=3.1 Interacción p = 0.019

25 2007 Ferran.Torres@uab.es 25 Subgrupos  Recomendaciones: (Pocock, Simon, Peto) –1) Examinar el en subgrupos sólo si el efecto global es significativo –2) Examinar subgrupos sólo si la interacción es significativa –3) Plantearse ajustes de  en función de los objetivos –4) Aspectos que aumentan la credibilidad:  Pre-especificación en protocolo  Evaluar la plausibilidad biológica

26 2007 Ferran.Torres@uab.es 26 Puntos metodológicos clave  Multiplicidad  Interaccción, factores de confusión y subgrupos  Análisis intermedios  Ajustes por covariables  Missing data  Otros: –Superioridad vs No-Inferioridad –Meta-análisis Med Clin (Barc.) 2005;125(Supl. 1):72-76

27 2007 Ferran.Torres@uab.es 27 Análisis intermedios  En EC de larga duración, se pueden planificar inspecciones intermedias formales (interim analysis) con el fin de –Investigar evidencias abrumadoras de eficacia a favor de E, con lo que sería posible parar prematuramente el EC y concluir superioridad de E respecto a C –Investigar la inutilidad del EC, p.e. que la eficacia de E respecto a C fuese tan insignificante que no suponga una evidencia clara de obtener resultados positivos. –Por temas de seguridad, análogamente a lo comentado para eficacia.

28 2007 Ferran.Torres@uab.es 28 Ventajas de los métodos secuenciales  Éticas: La asignación aleatoria es ética siempre que existan dudas sobre qué tratamiento es mejor  Económicas: Requieren menos recursos de tiempo, dinero y esfuerzo  De poder estadístico: Se mantiene el poder predefinido, independientemente de la variabilidad  Incentivos: Motivación al conocer resultados

29 2007 Ferran.Torres@uab.es 29 Interim Analyses in the CDP Z Value +2+10-2+2+10-2 10 20 30 40 50 60 70 80 90 100 Month of Follow-up (Month 0 = March 1966, Month 100 = July 1974) Coronary Drug Project Mortality Surveillance Circulation. 1973;47:I-1 http://clinicaltrials.gov/ct/show/NCT00000483;jsessionid=C4EA2EA9C3351138F8CA B6AFB723820A?order=23

30 2007 Ferran.Torres@uab.es 30 Diseño NO aplicable a método secuencial ¿Análisis? Desarrollo total Reclutamiento

31 2007 Ferran.Torres@uab.es 31 Diseño SÍ aplicable a método secuencial Análisis Desarrollo total Reclutamiento

32 2007 Ferran.Torres@uab.es 32 Tipos de diseño secuencial 1) Reestimación del tamaño muestral 2) Métodos secuenciales por grupos 3) Aproximación por funciones de gasto de  4) Intervalos de confianza repetidos 5) Restricción estocástica 6) Métodos bayesianos 7) Límites continuos (función de verosimilitud)

33 2007 Ferran.Torres@uab.es 33 Métodos secuenciales por grupos Pocock (1977)  Pruebas de significación repetidas  K = Nº máximo de inspecciones a realizar  K fijo a priori  Análisis con pruebas estadísticas clásicas (  2, t-test,...)

34 2007 Ferran.Torres@uab.es 34 Corrección del nivel de significación  Uso de un  ’ más estricto que  en cada inspección  ’: nivel de significación nominal Diseño  Predeterminación del tamaño muestral con  ’ para la última inspección teórica  N total > N clásica  N grupo = N total / K

35 2007 Ferran.Torres@uab.es 35 Group Sequential Methods

36 2007 Ferran.Torres@uab.es 36 Puntos metodológicos clave  Multiplicidad  Interaccción, factores de confusión y subgrupos  Análisis intermedios  Ajustes por covariables  Missing data  Otros: –Superioridad vs No-Inferioridad –Meta-análisis Med Clin (Barc.) 2005;125(Supl. 1):72-76

37 2007 Ferran.Torres@uab.es 37 Puntos metodológicos clave  Multiplicidad  Interaccción, factores de confusión y subgrupos  Análisis intermedios  Missing data  Ajustes por covariables  Superioridad vs No-Inferioridad  Meta-análisis  Poblaciones de análisis

38 2007 Ferran.Torres@uab.es 38 Advantages of Randomized Control Clinical Trial 1.Randomization "tends" to produce comparable groups Design Sources of Imbalance Design Sources of Imbalance RandomizedChance ConcurrentChance & Selection Bias (Non-randomized) HistoricalChance, Selection Bias, (Non-randomized)& Time Bias 2.Randomization produces valid statistical tests Reference: Byar et al (1976) NEJM

39 2007 Ferran.Torres@uab.es 39 Bias of Non-RCT’s  Example - Peto (1979) Biomedicine Trials of anticoagulant therapy Design#PatientsP<0.05Observed 18 Historical90015/1850% 8 Concurrent30005/850% 8 Concurrent30005/850% 6 Randomized30001/620% 6 Randomized30001/620%  Biases –False positives –Magnitude of effect

40 2007 Ferran.Torres@uab.es 40 Ajuste por covariables  Definición a priori  La aparición de desigualdades basales NO justifica el ajuste per se: –Se da más importancia a la randomización –Peligro de los análisis post-hoc –Multiplicidad  Como estrategia general, el ajuste por variables significativas basales (ej, p<0.1 o p<0.05) a priori: NO es válida

41 2007 Ferran.Torres@uab.es 41 Puntos metodológicos clave  Multiplicidad  Interaccción, factores de confusión y subgrupos  Análisis intermedios  Ajustes por covariables  Missing data  Otros: –Superioridad vs No-Inferioridad –Meta-análisis Med Clin (Barc.) 2005;125(Supl. 1):72-76

42 2007 Ferran.Torres@uab.es 42 Evolución de los sujetos

43 2007 Ferran.Torres@uab.es 43 Ex: LOCF & lineal extrapolation lineal 36 32 28 24- 20 16 12 8 4 0 2 4 6 8 10 12 14 16 18 Time (months) LOCF Lineal Regresion Bias Adas-Cog > Worse < Better

44 2007 Ferran.Torres@uab.es 44 Handling of MD  Methods for imputation: –Many techniques –No gold standard for every situation –In principle, all methods may be valid:  Simple methods to more complex: –From LOCF to multiple imputation methods –Worst Case, “Mean methods”  But their appropriateness has to be justified  Statistical approaches less sensitive to MD: –Mixed models –Survival models  They assume no relationship between treatment and the missing outcome, and generally this cannot be assumed.

45 2007 Ferran.Torres@uab.es 45 http://ferran.torres.name/docencia/lazareto http://ferran.torres.name/docencia/lazareto usuario: mahon password: mahon http://ferran.torres.name/docencia/lazareto