Mayo Problemas metodológicos clave en la evaluación e interpretación de los Ensayos Clínicos II Jornadas de Redes de Expertos en Regulación de Medicamentos "EVALUACIÓN CLÍNICA, REGISTRO Y AUTORIZACIÓN DE MEDICAMENTOS"

“The aim of any Clinical Trial should be to obtain a truthful answer to a relevant medical issue. This requires that the conclusions be based on an unbiased assessment of objective evidence rather than on a subjective compilation of clinical opinion.” (Stuart J. Pocock: “Clinical Trials. A practical approach”. Wiley, 1983)

 ICHE9 Statistical Principles for Clinical Trials ICHE9  CPMP/EWP/908/99 CPMP Points to Consider on Multiplicity issues in Clinical Trials (Apr 2003) CPMP/EWP/908/99  CPMP/EWP/2863/99 Points to Consider on Adjustment for Baseline Covariates (Nov 2003) CPMP/EWP/2863/99  CPMP/2330/99 Points to Consider on Application with 1.) Meta-analyses and 2.) One Pivotal study (May 2001) CPMP/2330/99  CPMP/EWP/2158/99 Guideline on the Choice of a Non-Inferiority Margin (Jan2006) CPMP/EWP/2158/99  CPMP/EWP/482/99 Points to Consider on Switching between Superiority and Non-inferiority (Feb 2001) CPMP/EWP/482/99  CPMP/EWP/1776/99 Points to Consider on Missing Data (Jan 2002) CPMP/EWP/1776/99  CHMP/EWP/83561/05 Guideline on Clinical Trials in Small Populations (Feb2007) CHMP/EWP/83561/05  CHMP/EWP/2459/02 Reflection Paper on Methodological Issues in Confirmatory Clinical Trials with Flexible Design and Analysis Plan (Draft) CHMP/EWP/2459/02 Normativas

Puntos metodológicos clave  Multiplicidad  Interaccción, factores de confusión y subgrupos  Análisis intermedios  Ajustes por covariables  Missing data  Otros: –Superioridad vs No-Inferioridad –Meta-análisis Med Clin (Barc.) 2005;125(Supl. 1):72-76

Ley de Murphy de la Investigación Una cantidad de investigación suficiente nos permitirá probar cualquier teoría

Multiplicidad  Si juego al bingo una vez, es muy improbable que gane  Si juego cada día durante un año, ya no lo es tanto  Si someto a prueba una H 0 falsa, es muy improbable una conclusión errónea: Pr (Rechazo H 0 | H 0 ) =  5%)  Si someto a prueba muchas H 0 falsas, ya no lo es tanto

Multiplicidad K hipótesis independientes: H 01, H 02,..., H 0K S resultados significativos ( p<  ) Pr (S  1 | H 01  H 02 ...  H 0K = H 0. ) = 1 - Pr (S=0|H 0. ) = 1- (1 -  ) K

Fuentes de Multiplicidad en EC  Múltiples criterios de evaluación  Múltiples tiempos de observación (medidas repetidas)  Múltiples análisis (intermedios, secuenciales)  Múltiples comparaciones: –diseños con más de dos tratamientos –subgrupos

Ejemplos de multiplicidad en EC

Multiplicidad  Corrección de Bonferroni –K pruebas con un nivel de significación de  –Tomar como nivel de significación de cada prueba  /k  Ejemplo: –5 pruebas independientes –Se pretende un nivel global del 5% –Se toma como significativa una prueba si su nivel de significación es de 5% / 5= 1%

Manejo de la multiplicidad  Escenario 1:Una única variable –Identificar una variable principal y el resto son secundarias –El EC es concluyente si la variable principal es significativa (valor de p <= 0.05, p.e.) –El cálculo del tamaño de la muestra depende sólo de la variable principal.

Manejo de la multiplicidad  Escenario 2Dividir el Error de Tipo I Identificar dos o más variables principales –Dividir el error de Tipo I global, 0.05, entre estas variables principales, por ejemplo: 0.04 para la primera y 0.01 para la segunda. –El EC es concluyente si una de las variables principales es significativa. –Se calcula el tamaño de la muestra para cada una de las variables por separado, utilizando el valor de Error de Tipo I especificado para cada una de ellas, y se utiliza el mayor de todos ellos.

Manejo de la multiplicidad  Escenario 3 Procedimiento de Rechazo Secuencial –Identificar n variables principales, p.e. n=3 –Ordenar los valores de p del mayor al menor. –Se evalúa la primera variable con el valor de p mayor, si es significativa al 0.05, se evalúa la segunda variable con el mayor valor de p con un nivel de significación de 0.05/2, en caso de ser significativa se evalúa la tercera con un valor de p de 0.05/3. El procedimiento se detiene en el momento que no se obtiene significación estadística en alguno de los pasos

Manejo de la multiplicidad  Escenario 3 (continuación) –El EC resulta concluyente si la primera variable es significativa. –Para el cálculo del tamaño de la muestra se utilizará un Error de Tipo I de 0.05/n y se deberá realizar para cada una de las variables que se analicen como principales. Se resuelve seleccionando el mayor de ellos.

Manejo de la multiplicidad  Escenario 4Jerárquico –Se pre-especifica la jerarquía de las n variables principales. –Se evalúa si la 1ª variables es significativa al 0.05, si lo es se comprueba la 2ª al 0.05, si lo es se comprueba la 3ª al 0.05 de significación. Se detiene en el momento que una de las variables no resulta significativa. –El EC es concluyente si la primera variable principal observada resulta significativa. –Calcular la N separadamente para cada variable al 5%

Variables secundarias  Sentido de las variables secundarias como “confirmatorias”: –La variable primaria presenta resultados significativos y –Las comparaciones realizadas en las variables secundarias también están ‘protegidas’ bajo el mismo Error de Tipo I que la variable principal.  Se indican también procedimientos similares a los comentados para la protección del Error de tipo I entre las variables secundarias.

Puntos metodológicos clave  Multiplicidad  Interaccción, factores de confusión y subgrupos  Análisis intermedios  Ajustes por covariables  Missing data  Otros: –Superioridad vs No-Inferioridad –Meta-análisis Med Clin (Barc.) 2005;125(Supl. 1):72-76

Interacción  Presencia de un efecto modificador de la intensidad o sentido de la relación entre diferentes estratos de una variable. –Ejemplos:  Sexo con tratamiento.  Centro con tratamiento.  Edad con tratamiento.

Interacción IMHábito de fumar NoSí Sí 934 NO Edad < 45 años IMHábito de fumar NoSí Sí46 NO Edad >= 45 años IMHábito de fumar NoSí Sí528 NO % 6.8%d=5% 1.33% 2.0% d=0.7%2.5%14%d=11.5%

Factores de confusión  Categoría especial de sesgos que cumplen: –1) Son factores de riesgo para la enfermedad (o la variable en estudio). –2) Se asocian a la exposición (o la intervención) en estudio. –3) No son pasos o factores intermedios.

Factores de confusión IMCafé NoSí Sí1040 NO No fumadores IMCafé NoSí Sí87 NO Fumadores IMCafé NoSí Sí27 NO1873 2% 8.7%d=6.7% 1.67% 1.67%d=0%10%10%d=0%

Subgrupos y la Paradoja de Simpson

Paradoja de Simpson continuación

Estudios de Subgrupos AspirinaPlacebo Muerte vascular Total %10.2% p= d=-0.9 Estudio ISIS-2: Muerte vascular por subgrupos de zodiaco Geminis/LibraOtros Signos AspirinaPlacebo Muerte vascular Total %12.1% p<0.0001d=3.1 Interacción p = 0.019

Subgrupos  Recomendaciones: (Pocock, Simon, Peto) –1) Examinar el en subgrupos sólo si el efecto global es significativo –2) Examinar subgrupos sólo si la interacción es significativa –3) Plantearse ajustes de  en función de los objetivos –4) Aspectos que aumentan la credibilidad:  Pre-especificación en protocolo  Evaluar la plausibilidad biológica

Puntos metodológicos clave  Multiplicidad  Interaccción, factores de confusión y subgrupos  Análisis intermedios  Ajustes por covariables  Missing data  Otros: –Superioridad vs No-Inferioridad –Meta-análisis Med Clin (Barc.) 2005;125(Supl. 1):72-76

Análisis intermedios  En EC de larga duración, se pueden planificar inspecciones intermedias formales (interim analysis) con el fin de –Investigar evidencias abrumadoras de eficacia a favor de E, con lo que sería posible parar prematuramente el EC y concluir superioridad de E respecto a C –Investigar la inutilidad del EC, p.e. que la eficacia de E respecto a C fuese tan insignificante que no suponga una evidencia clara de obtener resultados positivos. –Por temas de seguridad, análogamente a lo comentado para eficacia.

Ventajas de los métodos secuenciales  Éticas: La asignación aleatoria es ética siempre que existan dudas sobre qué tratamiento es mejor  Económicas: Requieren menos recursos de tiempo, dinero y esfuerzo  De poder estadístico: Se mantiene el poder predefinido, independientemente de la variabilidad  Incentivos: Motivación al conocer resultados

Interim Analyses in the CDP Z Value Month of Follow-up (Month 0 = March 1966, Month 100 = July 1974) Coronary Drug Project Mortality Surveillance Circulation. 1973;47:I-1 B6AFB723820A?order=23

Diseño NO aplicable a método secuencial ¿Análisis? Desarrollo total Reclutamiento

Diseño SÍ aplicable a método secuencial Análisis Desarrollo total Reclutamiento

Tipos de diseño secuencial 1) Reestimación del tamaño muestral 2) Métodos secuenciales por grupos 3) Aproximación por funciones de gasto de  4) Intervalos de confianza repetidos 5) Restricción estocástica 6) Métodos bayesianos 7) Límites continuos (función de verosimilitud)

Métodos secuenciales por grupos Pocock (1977)  Pruebas de significación repetidas  K = Nº máximo de inspecciones a realizar  K fijo a priori  Análisis con pruebas estadísticas clásicas (  2, t-test,...)

Corrección del nivel de significación  Uso de un  ’ más estricto que  en cada inspección  ’: nivel de significación nominal Diseño  Predeterminación del tamaño muestral con  ’ para la última inspección teórica  N total > N clásica  N grupo = N total / K

Group Sequential Methods

Puntos metodológicos clave  Multiplicidad  Interaccción, factores de confusión y subgrupos  Análisis intermedios  Ajustes por covariables  Missing data  Otros: –Superioridad vs No-Inferioridad –Meta-análisis Med Clin (Barc.) 2005;125(Supl. 1):72-76

Puntos metodológicos clave  Multiplicidad  Interaccción, factores de confusión y subgrupos  Análisis intermedios  Missing data  Ajustes por covariables  Superioridad vs No-Inferioridad  Meta-análisis  Poblaciones de análisis

Advantages of Randomized Control Clinical Trial 1.Randomization "tends" to produce comparable groups Design Sources of Imbalance Design Sources of Imbalance RandomizedChance ConcurrentChance & Selection Bias (Non-randomized) HistoricalChance, Selection Bias, (Non-randomized)& Time Bias 2.Randomization produces valid statistical tests Reference: Byar et al (1976) NEJM

Bias of Non-RCT’s  Example - Peto (1979) Biomedicine Trials of anticoagulant therapy Design#PatientsP<0.05Observed 18 Historical90015/1850% 8 Concurrent30005/850% 8 Concurrent30005/850% 6 Randomized30001/620% 6 Randomized30001/620%  Biases –False positives –Magnitude of effect

Ajuste por covariables  Definición a priori  La aparición de desigualdades basales NO justifica el ajuste per se: –Se da más importancia a la randomización –Peligro de los análisis post-hoc –Multiplicidad  Como estrategia general, el ajuste por variables significativas basales (ej, p<0.1 o p<0.05) a priori: NO es válida

Puntos metodológicos clave  Multiplicidad  Interaccción, factores de confusión y subgrupos  Análisis intermedios  Ajustes por covariables  Missing data  Otros: –Superioridad vs No-Inferioridad –Meta-análisis Med Clin (Barc.) 2005;125(Supl. 1):72-76

Evolución de los sujetos

Ex: LOCF & lineal extrapolation lineal Time (months) LOCF Lineal Regresion Bias Adas-Cog > Worse < Better

Handling of MD  Methods for imputation: –Many techniques –No gold standard for every situation –In principle, all methods may be valid:  Simple methods to more complex: –From LOCF to multiple imputation methods –Worst Case, “Mean methods”  But their appropriateness has to be justified  Statistical approaches less sensitive to MD: –Mixed models –Survival models  They assume no relationship between treatment and the missing outcome, and generally this cannot be assumed.

usuario: mahon password: mahon