Validez Interna-Externa Dr. Pere Ventayol Servei de Farmàcia HUSD

VIA: Válidos, Importantes, Aplicables ¿son válidos? ¿son importantes? ¿son aplicables a mis pacientes? Para aplicar los resultados me tienen que convencer de: VALIDEZ INTERNA VALIDEZ EXTERNA

Evaluar la validez interna validez interna: grado en que los resultados obtenidos proporcionan o no una respuesta correcta a la pregunta planteada 1. la definición clara y precisa del objetivo del estudio 2. la elección del diseño adecuado 3. rigor metodológico May 2003

1.¿dónde está la pregunta? Dejar claro qué tratamiento se evalúa Qué intervención es la de referencia Qué variable se utiliza y cuando se mide Definición del tipo de sujetos a estudiar

Variable (cuantitativa) Métodos Variable (cualitativa) Introdución Momento Métodos Resultados Discusión Objetivo Población estudiada:

Objetivo Variable (cualitativa) Introdución Variable (cuantitativa) Métodos Momento Métodos Resultados Discusión 1 Respuesta clínica Respuesta viral sostenida % pac CV indetectable 24 semanas tras finalizar tto 2 Adherencia Cuestionario Smaq Recogida med Escala visual %Nº dosis/total de dosis previstas Adherencia >80% Media 4 medidas Tras 1er-2º mes cada 2 meses 3 Permanencia Recogida de medicación % nº días con tto/respecto al nº total previsto Permanencia >80% Media 4 medidas Tras 1er-2º mes cada 2 meses 4 Satisfacción Encuesta% pac con escala >5 encuesta satisfacción 24, 48 semanas 5 Coste Valoración coste ttoValores en Hasta finalizar tto. Población estudiada:

2.¿Es el diseño adecuado? ? ? ? ?

Objetivo: CV <400 a las 48 semanas Randomizados N=100 Datos disponibles a 48 semanas N=75 Datos no disponibles a 48 semanas N=25 CV<400 N=65 CV>400 N=10 CV<400 N=11 CV>400 N=14 Análisis PP 87% (65/75) ITT (ultima observación) 76% (65+11/100) ITT (perdidas=F) 65% (65/100) Dilución de la respuesta: ¿Cuál es la verdadera?

Estudios para establecer la equivalencia Equivalencia No-inferioridad JAMA, July 14, 2004 (292)No.2 1. Cambio en el diseño de los ensayos: -Fármacos más iguales -Diferencias pequeñas difíciles de demostrar en ensayos de superioridad -Diferencia esperada inferior al margen de no inferioridad establecido 2. Pretenden demostrar: -Mayor seguridad -Mayor comodidad, mayor duración efecto, adherencia, coste -Trat alternativos o 2 líneas en los que éticamente no es aceptable emplear placebo 3. Reinterpretaciones de ECAs

¿Con quién nos comparamos? ¿Cuánta debe ser la diferencia? - % 0%0% Tratamiento estándar superior Tratamiento nuevo no inferior Tratamiento nuevo superior

El problema intelectual de la equivalencia - % 0% + % Tratamiento nuevo superiorTratamiento estándar superior Equivalencia Superior No-Inferior Inferior

¿Es posible cambiar de objetivo?

Aprobación acelerada de AR Opciones para el diseño de estudios Consideraciones estadísticas Ensayos de no inferioridad: delta de 10-12% Debe realizarse un análisis que incluya a todos los pacientes, p.e. ITT NC=F. Debe realizarse un análisis de pacientes con fracasos virológicos. Realizar análisis de sensibilidad que utilicen diferentes métodos de evaluación de los abandonos de tratamiento.

Diferencias en CV<400 en semana 48: 11% (IC: 4-19%)

3.¿Se ha realizado con rigor? El grado con el que el diseño, desarrollo, análisis y presentación de los datos ha minimizado o evitado sesgos

¿Convencimiento de que no está sesgado? "Inclinación parcial de la mente" la existencia de sesgos favorece que los resultados sobreestimen el efecto de los tratamientos Perfectafeno el mejor analgésico December %20%25%40%30%

Sesgos

¿Cómo medir la Validez Interna? o Existen al menos 9 check-list y 25 escalas oJadad oCONSORT

Escala de Jadad ESCALA DE VALIDACIÓN DE ENSAYOS CLÍNICOS ( A. JADAD) ¿Se describe el estudio como aleatorizado? (*) ¿Se describe el estudio como doble ciego? (*) ¿Se describen los abandonos y exclusiones del estudio? (*) ¿Es adecuado el método de aleatorización? (**) (*) SÍ= 1 / NO= 0 (**) SÍ= 1 / NO= -1 Rango de puntuación:0-5 - Estudio de baja calidad: Puntuación < 3 ¿Es adecuado el método de doble ciego? (**)

Consort o Formada por 22 items o1 Titulo y resumen o1 Introducción o10 sobre métodos o7 sobre resultados o3 Sobre discusión Ensayos superioridadEnsayos equivalencia/No inferioridad Lectura crítica e interpretación

HUSD: Aplicación de la Lista-Guía CONSORT en ensayos publicados Los criterios que menos se cumplen son: métodos usados para garantizar calidad de la medida de los resultados (12%) descripción detallada de cómo se aplica la aleatorización (12%) evaluación del proceso y éxito de cegar (20%) criterios de suspensión del ensayo (33%) presentación de resultados con intervalos de confianza (50%).

Conclusiones en validez interna La publicación de un estudio no es garantía de su validez metodológica En Métodos se encuentran la mayoría de respuestas La validez interna es condición necesaria pero no suficiente

VIA: Válidos, Importantes, Aplicables ¿son válidos? ¿son importantes? ¿son aplicables a mis pacientes? Para aplicar los resultados me tienen que convencer de: VALIDEZ INTERNA VALIDEZ EXTERNA

TérminoDefinición Generalización o Validez Externa Aplicación de los resultados fuera del estudio (por generalización) ExtrapolaciónAplicación de los resultados a un grupo más amplio del estudiado (por inferencia, extensión, predicción o proyección de lo observado o experimentado) Ej: resultados años puede extrapolarse a población de más edad. AplicabilidadAplicación de los resultados a grupos o pacientes individuales. Si un estudio muestra eficacia en la población estudiada, se espera que lo tenga en un individuo. ¿son aplicables? validez externa: informa de la aplicabilidad de las conclusiones

Eficacia Probabilidad de que un promedio de individuos, en una población determinada, se beneficie de la aplicación de una tecnología sanitaria a la resolución de un problema de salud concreto, bajo condiciones IDEALES de actuación establecidas previamente Office of Technology Assessment. Assessing the Efficacy and Safety of Medical Technologies. Washington: Government Printing Office, 1978 (Modificada) Efectividad Probabilidad de que un individuo, en una población indeterminada, se beneficie de la aplicación de una tecnología sanitaria a la resolución de un problema de salud determinado, bajo condiciones REALES de aplicación por personal de salud

¿son importantes? Cualidad:¿Qué se mide? Cantidad: ¿Cúal es la magnitud? Riesgo basal: ¿En que pacientes?

100% Población Hipertensa 90% Cobertura Programa 95% Precisión Diagnóstica 76% Eficacia Fármaco 66% Prescripción correcta 65% Cumplimiento paciente EFECTIVIDAD 28% Mejoría salud Registro Tugwell P, Bennet KJ, Sackett DL, Haynes B. The measurement operative loop: a framework for the critical appraisal of need, benefits and costs of health interventions. J Chron Dis 1985; 38: Para aplicar los resultados...

Población total (mujeres) Población diana (mujeres años) Población accesible (13-48 que vienen a consulta) Muestra (incluimos estudio) La representatividad de la muestra es el condicionante de la validez externa. M.Bobenrieth

Los 5 demasiados: Selectos restringidos breves reducidos controlados Para aplicar los resultados... Tratamientos en nuestro medio Efectos 2ºs medios, capacidades, accesibilidad y seguimiento

Comparador adecuado? Estudio EOP1003. Pegaptanib versus tratamiento simulado (control). Ensayo doble ciego aleatorizado, multicéntrico N=622. Variable principal: Porcentaje de pacientes con perdida <15 letras en escala de Agudeza Visual desde estado basal a 54 semanas Estudio EOP1004 Pegaptanib versus tratamiento simulado (control). Ensayo doble ciego aleatorizado, multicéntrico N=586. Variable principal: Porcentaje de pacientes con perdida <15 letras en escala de Agudeza Visual desde estado basal a 54 semanas 0,3 mg1 mg3 mgsimulado0,3 mg1 mg3 mgsimulado Población ITT N=150N=154N=153N=152N=144N=146N=143N=144 Perdida visió n <15 letras 73% ( ) 75% (67,8-81,5) 69% ( ) 59% ( ) 67% ( ) 66% ( ) 61% ( ) 52% ( ) NNT8 (5-29)7 (4-18)-7 (4-30)8 (5-41)- Valor p

APREPITANT Ensayos CDDP 70 mg/m2: Hesketh (052) / Poli-Bigelli (054) Dia 1Dias 2 y 3Dia 4 Ondansetron32 mg IV Dexametasona20 mg PO8 mg PO bid Ondansetron32 mg IV Dexametasona12 mg PO8 mg PO x 1 Aprepitant125 mg PO80 mg PO x 1 Referencias: JCO 2003, Cancer 2003 Cajaraville G. GEDEFO (2006)

Preguntas para establecer la validez externa: 1.¿Considera adecuado el comparador? 2.¿Son importantes clínicamente los resultados? 3.¿Considera adecuada la variable medida utilizada? 4.¿Considera adecuados los criterios de inclusión/exclusión de los pacientes 5.¿Cree que los resultados pueden ser aplicados directamente a la práctica clínica? 6.Otros sesgos o limitaciones encontradas en el estudio

Muchos ensayos clínicos también!!!! Las ilusiones cognitivas se subdividen en: - ambigüedades - deformaciones - paradojas - ficciones