1 Sequential designs

2 Métodos Secuenciales Multiplicidad  Múltiples análisis (intermedios, secuenciales)  Otras causas: –Múltiples criterios de evaluación –Múltiples tiempos de observación (medidas repetidas) –Múltiples comparaciones:  diseños con más de dos tratamientos  subgrupos

3 Diseño frecuencista clásico  3 pasos básicos: –Estimación del tamaño muestral –Reclutamiento de la meustra –Análisis estadístico

4 Métodos secuenciales: justificación  La información en los ensayos clínicos se acumula progresivamente en el tiempo  Actitudes ante este hecho: –Ignorarlo: diseño clásico –Monitorización de acontecimientos adversos –Aprovechar la información a medida que se obtiene: diseño secuencial

5 Métodos secuenciales: justificación (2)  Aparición de conflictos éticos, sobretodo en enfermedades con pronóstico grave  La hipótesis de trabajo no se ajusta a la realidad: –Los tratamientos pueden ser mejores o peores que lo esperado  Estudios largos aconsejan algún tipo de control de los resultados.

6 Esquema de un estudio estándar Análisis Inicio reclutamiento Seguimiento

7 Esquema de un estudio secuencial Análisis Inicio reclutamiento Seguimiento

8 Clave: –Dado que los datos se van acumulando paulatinamente, se podrían analizar a ciertos intervalos y tomar decisiones en base a los resultados Pero … –Múltiples análisis pueden llevar a errores estadísticos y decisiones clínicas erroneas

9 Monitorización ingenua K hipótesis independientes: H 01, H 02,..., H 0K S resultados significativos ( p<  ) Pr (S  1 | H 01  H 02 ...  H 0K = H 0. ) = 1 - Pr (S=0|H 0. ) = 1- (1 -  ) K

10 Terminación prematura de ensayos clínicos Posibles causas:  Datos acumulados procedentes del ensayo  Desarrollo global del estudio  Información externa al estudio

11 Terminación prematura de ensayos clínicos 1) Datos acumulados procedentes del ensayo El tratamiento experimental es claramente peorEl tratamiento experimental es claramente peor Poca probabilidad de demostrar que el tratamiento experimental es mejorPoca probabilidad de demostrar que el tratamiento experimental es mejor El tratamiento experimental es mejorEl tratamiento experimental es mejor Efectos secundarios inesperados / inaceptablesEfectos secundarios inesperados / inaceptables

12 Terminación prematura de ensayos clínicos 2) Desarrollo global del estudio Imposibilidad de reclutar al ritmo necesarioImposibilidad de reclutar al ritmo necesario Excesiva falta de cumplimientoExcesiva falta de cumplimiento Insuficiente financiaciónInsuficiente financiación

13 Terminación prematura de ensayos clínicos 3) Información externa al estudio Datos procedentes de otros estudios: beneficio o perjuicioDatos procedentes de otros estudios: beneficio o perjuicio Datos de la práctica clínica habitual: acontecimientos adversos no sospechados e inaceptablesDatos de la práctica clínica habitual: acontecimientos adversos no sospechados e inaceptables Innovaciones terapéuticas que impliquen cambios en los estándares de comparaciónInnovaciones terapéuticas que impliquen cambios en los estándares de comparación Retirada del tratamiento del mercadoRetirada del tratamiento del mercado

14 Ventajas de los métodos secuenciales  Éticas: La asignación aleatoria es ética siempre que existan dudas sobre qué tratamiento es mejor  Económicas: Requieren menos recursos de tiempo, dinero y esfuerzo  De poder estadístico: Se mantiene el poder predefinido, independientemente de la variabilidad  Incentivas: Motivación al conocer resultados

15 Condiciones de aplicabilidad  El estudio requiere una muestra grande  El objetivo del estudio es único y bien definido  Se prevé una prolongada duración del estudio  El resultado para cada paciente se conoce rápidamente, durante la fase de inclusión

16 Diseño NO aplicable a método secuencial ¿Análisis? Desarrollo total Reclutamiento

17 Diseño SÍ aplicable a método secuencial Análisis Desarrollo total Reclutamiento

18 Tipos de diseño secuencial 1) Reestimación del tamaño muestral 2) Métodos secuenciales por grupos 3) Aproximación por funciones de gasto de  4) Intervalos de confianza repetidos 5) Restricción estocástica 6) Métodos bayesianos 7) Límites continuos (función de verosimilitud)

19 Métodos secuenciales por grupos Pocock (1977)  Pruebas de significación repetidas  K = Nº máximo de inspecciones a realizar  K fijo a priori  Análisis con pruebas estadísticas clásicas (  2, t-test,...)

20 Corrección del nivel de significación  Uso de un  ’ más estricto que  en cada inspección  ’: nivel de significación nominal Diseño  Predeterminación del tamaño muestral con  ’ para la última inspección teórica  N total > N clásica  N grupo = N total / K

21 Resumen de las características  Diseño y análisis sencillos  Aplicable a cualquier tipo de prueba estadística  Debe anticiparse el número máximo de inspecciones (K)  No permite finalizar prematuramente si H 0 es cierta

22 Group Sequential Methods

23 Implications of Stopping Rules  Haybittle-Peto –difficult to stop trial early –almost no impact on significance level final analysis  Pocock nominal significance levels –easier to stop trial early –heavy impact on significance level final analysis  O’Brien-Fleming –very stringent criterion at first interim analysis –relatively low impact on significance level final analysis

24 Example 1  Comparison of drug combinations CP and CVP in non-Hodgkins lymphoma. –Measure: tumour shrinkage –Trial: over 2 years, about 120 patients. –Five interim analyses planned, roughly after every 25th result.  Table gives numbers of ‘successes’ and nominal p-values using a  2 test at each stage.

25 Example 1

26 Example 1  Conclusion: –Not significant at end of trial (overall p>0.05) since p>0.016  the required nominal value for 5 repeat tests –If NO interim analyses had been done then conclusion would have been different  CVP declared significantly better at 5% level

27 Example 2  Cautionary Example:  ref: Br J Surg, (1974), 61: 177 –No significant difference with 49 patients –The trial was therefore continued –After 100 patients gave result  2 = 4.675, d.f. = 1, p< 0.05  (and the trial was published) –Actual p ‑ value is > so cannot claim 5% significance

28 Funciones de gasto de  (1) Lan y DeMets (1983)  Métodos secuenciales por grupos:  Especificación a priori de K  Tamaño de los grupos fijo  Relajan estos requisitos   global  Función de gasto de 

29 Alpha spending function approach (2) Pocock: : early stopping for H 0 rejection K = 5  = 0,5  = 0,05 Increase in information (%) U (Normal Distribution)

30 Alpha spending function approach (3) O’Brien y Fleming: early stopping for H 0 rejection K=5  =0  =0,05 U (Normal Distribution) Increase in information (%)

31 Conditional power  Negative results: –CAST (I-II) study. NEJM (1989 & 1992)  Group sequential testing using permutation distribution & stochastic curtailment methods –HPMPC trial, Ann Intern Med 1997 –ACTG Study 243. NEJM 1998

32 Conditional power  Positive results: –CRYO-ROP Arch Ophthalmology,1988 –Grable el al. Am J Obstet Gynecol, 1996  Extension of trial: –Proschan MA, Biometrics, 1995

33 Métodos basados en límites continuos J. Whitehead; PEST  Definición de: –Estadísticos Z y V –Gráfico de representación de Z y V –Región de continuación –Regla secuencial

34 Representación  Ejes:  abcisas: V  información acumulada  ordenadas: Z  diferencias acumuladas  Región de continuación  según un modelo secuencial  garantiza las propiedades estadísticas (  y  ) si se sigue la regla secuencial

35 Región de continuación

36 Métodos basados en límites continuos Flexibilidad  Número de inspecciones no limitado  Tamaño de N grupo  Formas de región variadas

37 Análisis secuencial según Z y V  Se calcula Z y V a medida que se acumulan los datos Regla secuencial  Se finaliza el estudio si la coordenada (Z,V) queda fuera de la región de continuación  La conclusión depende del límite cruzado

38 Ventajas de los métodos basados en límites continuos Flexibilidad:  Número de inspecciones no limitado  Tamaño de grupo entre inspecciones variable  Formas de región variadas, con diferentes propiedades

39 Fórmulas de Z y V  Específicas en función de: –el tipo de datos:  binarios  normales  supervivencia  ordinales –la definición de la diferencia  absoluta  relativa

40 Monitorización secuencial  Plan de monitorización: –número de respuestas o eventos –tiempo (calendario) Flexible (ej. ajustes a tasa reclutamiento)  V i independiente de Z i

41 Monitorización secuencial Finalización del estudio: –sobrepasar los límites de la región de continuación –criterios no relacionados con el resultado de la monitorización secuencial

42 Modelo triangular unilateral Modelo secuencial de límites continuos con región triangular para hipótesis unilateral

43 Modelo triangular bilateral

44 Modelo RPST

45 Modelo Restricted Procedure

46 Modelo RPST truncado

47 Open top design

48 Monitorización estudio TIM European Heart Journal, 2000; 21:

49 TIM study. European Heart Journal. 2000: 21,

50 Análisis estudio TIM E-P IA M AVC Muerte

51 Ejemplo monitorización Seguridad

52

53

54 References: Books  Books –Whitehead, J. (1997) The Design and Analysis of Sequential Clinical Trials. (Revised Second Edition). Chichester:Wiley –Jennison C, Turnbull BW. Group Sequential Methods with Applications to Clinical Trials. Chapman & Hall/CRC: Boca Raton, 2000

55 References: Software  Software (1/2) –Commercial  Pest v4. MPS research unit, University of Reading – t4/pest4.htm t4/pest4.htmhttp:// t4/pest4.htm  EaSt Cytel Software Corporation. –  S-PLUS. S+ SeqTrial – D=16 D=16http:// D=16

56 References  Software (2/2) –Free  Programs for Computing Group Sequential Boundaries Using the Lan-DeMets Method. Version 2.1. David M. Reboussin, David L. DeMets, KyungMann Kim, K. K. Gordon Lan –  Experiments and clinical trials in medicine: Computer programs enabling clinicians to design group sequential experiments (Repeated significance tests - R.S.T. - experiments). MEDSEQ by By Egil H. Lehmann and Hogne Sandvik. MEDSEQ –  Christopher Jennison. –

57 References: Some published Clinical Trials  The Triangular Test (1/2) –Anaesthesia for outpatient termination of pregnancy. Hackett et al. (1982). British Journal of Anaesthesia, 54, –Immunotherapy regimens in bone marrow transplantation for leukaemia. Storb et al. (1986). New England Journal of Medicine, 314, –Corticosteroids in AIDS-induced pneumonia. Montaner et al. (1990) Annals of Internal Medicine, 113, 4-20 –Insulin and glucagon in severe alcoholic hepatitis. Trinchet et al. (1992). Hepatology, 15, –Enoxaparin in deep vein thrombosis resulting from hip replacement surgery. Whitehead (1992). Pharmaceutical Medicine, 6, –Cisplatin in limited small-cell lung cancer. Arriagada et al. (1993). New England Journal of Medicine, 329, –Spinal anaesthesia during Caesarian section (in a design also using the play-the -winner rule). Rout et al. (1993). Anaesthesiology, 79, –Isradipine in stroke. Whitehead (1993). Drug Information Journal, 27, –Surfactant in infantile respiratory distress. Gortner et al. (1994). Acta Paediatrica, 83,

58 References: Some published Clinical Trials  The Triangular Test (2/2) –Lipiodol chemoembolisation in hepatocellular carcinoma. Group d'Etude et Traitement du Carcinoma Hepatocellulaire. (1995). New England Journal of Medicine, 332, –Defibrillators in coronary heart disease. Moss et al. (1996). New England Journal of Medicine, 335, –Somastatin in acute oesophageal variceal bleeds. Avegerinos et al. (1997). The Lancet, 350, –Metoclopramide in gastroesophageal reflux. Bellissant et al. (1997). Clinical Pharmacology and Therapeutics, 61, –Viagra in erectile dysfunction. Derry et al. (1997). Neurology, 51, –Interferon and cytarabine in chronic myelogenous leukaemia. Guilhot et al. (1997). New England Journal of Medicine, 337, –Alpha-interferon in renal cancer. MRC Renal Cancer Collaborators (1999). The Lancet, 353, –Electrical defibrillation in an animal model of vertriacular fibrillation. Niemann et al. (2000). Journal of the American College of Cardiology, 36, –Lenograstim in leukaemia. Bradstock et al. (2001). Leukemia, 15,

59  The Double Triangular Test –Comparison of theatre mattresses in respect of pressure sore incidence during surgery. –Nixon et al. (1998). International Journal of Nursing Studies, 35, Brown et al. (2000). Statistics in Medicine, 19, –Diltiazem in acute myocardial infarction. Boden et al. (2000). The Lancet, 355, –Glycopyrolate in elective Caesarian section. Yentis et al. (2000). International Journal of Obstetric Anaesthesia, 9, –Chemotherapy in high-risk breast cancer. Bergh et al. (2000). The Lancet, 356, –Thromboembolism during hormone replacement therapy. Hoibraaten et al. (2000). Thrombosis and Haemostasis, 84, –Remacamide and carbamazepine in newly diagnosed epilepsy. Whitehead (2001). Epilepsy Research, 45, –Lithium gamolenate in pancreatic cancer. Johnson et al. (2001). British Journal of Surgery, 88, –Reliability of contrast agents in assessing the potency of Fallopian tubes. Boudghene (2001). Ultrasound Obstet. Gynecol., 18, References: Some published Clinical Trials

60  The Double Truncated SPRT  Comparison of triflusal with aspirin following acute myocardial infarction. Cruz-Fernandez et al. (2000). European Heart Journal, 21,  The Restricted Procedure  Tiaprofenic acid and indomethacin in osteoarthritis. Whitehead and Thomas (1997). Journal of Biopharmaceutical Statistics, 7,  Safety Monitoring  Examples for severe head injury, stroke and heart disease. Bolland and Whitehead (2000). Statistics in Medicine, 19,  Open Top Design  Rilozole in amyotrophic lateral sclerosis. Lacomblez et al. (1996). The Lancet, 347, References: Some published Clinical Trials