Validez Interna-Externa Dr. Pere Ventayol Servei de Farmàcia HUSD

VIA: Válidos, Importantes, Aplicables ¿son válidos? ¿son importantes? ¿son aplicables a mis pacientes? Para aplicar los resultados me tienen que convencer de: VALIDEZ INTERNA VALIDEZ EXTERNA

Evaluar la validez interna validez interna: grado en que los resultados obtenidos proporcionan o no una respuesta correcta a la pregunta planteada 1. la definición clara y precisa del objetivo del estudio -> donde está la pregunta? 2. la elección del diseño adecuado 3. rigor metodológico May 2003

1.¿dónde está la pregunta? Dejar claro qué tratamiento se evalúa Qué intervención es la de referencia Qué variable se utiliza y cuando se mide Definición del tipo de sujetos a estudiar

Variable (cuantitativa) Métodos Variable (cualitativa) Introdución Momento Métodos Resultados Discusión Objetivo Población estudiada:

Objetivo Variable (cualitativa) Introdución Variable (cuantitativa) Métodos Momento Métodos Resultados Discusión 1 Respuesta clínica Respuesta viral sostenida % pac CV indetectable 24 semanas tras finalizar tto 2 Adherencia Cuestionario Smaq Recogida med Escala visual %Nº dosis/total de dosis previstas Adherencia >80% Media 4 medidas Tras 1er-2º mes cada 2 meses 3 Permanencia Recogida de medicación % nº días con tto/respecto al nº total previsto Permanencia >80% Media 4 medidas Tras 1er-2º mes cada 2 meses 4 Satisfacción Encuesta% pac con escala >5 encuesta satisfacción 24, 48 semanas 5 Coste Valoración coste ttoValores en Hasta finalizar tto. Población estudiada:

2.¿Es el diseño adecuado? ? ? ?

Factor aparetemente simple No predecible Aplicarse despues de decidir incluir al paciente El azar tiende a producir grupos comparables Produce distribución equilibrada variables pronósticas Conocidas Desconocidas: factores de confusión Cuanto mayor sea N mayor equilibrio Previene sesgos y permite cálculo de probabilidades (P) Distintos tipos de aleatorización: Bloques, estratificada, adaptativas Aleatorización

2.¿Es el diseño adecuado? No confundir con ocultación de la secuencia de aleatorización El ciego protege la aleatorización una vez se ha producido la asignación Simple ciego, doble, triple, cuadruple…. No siempre puede cegarse: Ej: Dietas, procedimientos quirúrgicos, ARV,… Cuanto más subjetiva la variable más necesario es el cegado (analgesia, calidad de vida, etc…) Ciego

2.¿Es el diseño adecuado? Procedimiento que garantiza el proceso del cegado Pretende evitar las espectativas/prejuicios de pacientes, investigadores,… Ej: hipolipemiantes Presentar un formato del fármaco lo más idéntico posible Se puede romper por toxicidad, efectos secundarios Enmascaramiento

2.¿Es el diseño adecuado? Seguimiento exhaustivo de los pacientes Diagramas de flujo de pacientes Drop-outs o pérdidas Withdrawals o retiradas La aceptabilidad del estudio depende no tanto del número de pérdidas sino de los motivos que las hayan condicionado % de perdidas similares pueden invalidar los resultados? Hay algún % de pérdidas considerado máximo? Comparabilidad

Objetivo: CV <400 a las 48 semanas Randomizados N=100 Datos disponibles a 48 semanas N=75 Datos no disponibles a 48 semanas N=25 CV<400 N=65 CV>400 N=10 CV<400 N=11 CV>400 N=14 Análisis PP 87% (65/75) ITT (ultima observación) 76% (65+11/100) ITT (perdidas=F) 65% (65/100) Dilución de la respuesta: ¿Cuál es la verdadera? Estrategia de análisis 2.¿Es el diseño adecuado?

3.¿Se ha realizado con rigor? El grado con el que el diseño, desarrollo, análisis y presentación de los datos ha minimizado o evitado sesgos

¿Convencimiento de que no está sesgado? "Inclinación parcial de la mente" la existencia de sesgos favorece que los resultados sobreestimen el efecto de los tratamientos Perfectafeno el mejor analgésico December %20%25%40%30%

Sesgos

¿Cómo medir la Validez Interna? o Existen al menos 9 check-list y 25 escalas oJadad oCONSORT

Escala de Jadad ESCALA DE VALIDACIÓN DE ENSAYOS CLÍNICOS ( A. JADAD) ¿Se describe el estudio como aleatorizado? (*) ¿Se describe el estudio como doble ciego? (*) ¿Se describen los abandonos y exclusiones del estudio? (*) ¿Es adecuado el método de aleatorización? (**) (*) SÍ= 1 / NO= 0 (**) SÍ= 1 / NO= -1 Rango de puntuación:0-5 - Estudio de baja calidad: Puntuación < 3 ¿Es adecuado el método de doble ciego? (**)

Consort o Formada por 22 items o1 Titulo y resumen o1 Introducción o10 sobre métodos o7 sobre resultados o3 Sobre discusión Ensayos superioridadEnsayos equivalencia/No inferioridad Lectura crítica e interpretación

HUSD: Aplicación de la Lista-Guía CONSORT en ensayos publicados Los criterios que menos se cumplen son: métodos usados para garantizar calidad de la medida de los resultados (12%) descripción detallada de cómo se aplica la aleatorización (12%) evaluación del proceso y éxito de cegar (20%) criterios de suspensión del ensayo (33%) presentación de resultados con intervalos de confianza (50%).

Conclusiones en validez interna La publicación de un estudio no es garantía de su validez metodológica En Métodos se encuentran la mayoría de respuestas La validez interna es condición necesaria pero no suficiente

VIA: Válidos, Importantes, Aplicables ¿son válidos? ¿son importantes? ¿son aplicables a mis pacientes? Para aplicar los resultados me tienen que convencer de: VALIDEZ INTERNA VALIDEZ EXTERNA

Eficacia Probabilidad de que un promedio de individuos, en una población determinada, se beneficie de la aplicación de una tecnología sanitaria a la resolución de un problema de salud concreto, bajo condiciones IDEALES de actuación establecidas previamente Office of Technology Assessment. Assessing the Efficacy and Safety of Medical Technologies. Washington: Government Printing Office, 1978 (Modificada) Efectividad Probabilidad de que un individuo, en una población indeterminada, se beneficie de la aplicación de una tecnología sanitaria a la resolución de un problema de salud determinado, bajo condiciones REALES de aplicación por personal de salud Relación Válidez interna - Válidez externa

1.¿son importantes? o Cualidad:¿Qué se mide? o Cantidad: ¿Cúal es la magnitud?

Cualidad:¿Qué se mide? oEn ocasiones se magnifica el efecto de variables secundarias oUn buen resultado en una variable subrogada no implica un buen resultado clínico

Cualidad:¿Qué se mide? o Consenso SORT (Strenght Of Recommendation Taxonomy) establece un algoritmo de gradación de la evidencia con 3 niveles de evidencia (1, 2 y 3) oSolo alcanza el nivel 1 o 2 estudios que se centran en variables finales clínicas oUn metanálisis con variable intermedias no tiene calificación superior a 3

Cualidad: Las variables combinadas ¿Qué se mide? El uso de variables combinadas es cada vez más frecuente Se suele emplear cuando el efecto esperado sobre cada uno de los desenlaces de interés es pequeño Puede que el efecto se haya producido sobre uno de los componentes y se atribuya erróneamente a todos Ej: AAS en Prevención del reinfarto y ACV de cualquier etiología Hay que analizar la variable combinada y tener en cuenta los efectos por separado

Cualidad: Las variables combinadas ¿Qué se mide? La diferencia en el efecto combinado se debe ppalmente a las flebografías subclínicas pero no ha mostrado reducción en trombosis venosa sintomática ni en embolia pulmonar.

Cualidad: Análisis de subgrupos ¿Qué se mide? La realización de múltiples comparaciones aumenta la probabilidad de encontrar un resultado estadísticamente significativo Si el subgrupo es de pequeño tamaño el análisis puede ser incapaz de detectar diferencias relevantes Si el estudio presenta análisis de subgrupos: Magnitud del efecto clínicamente relevante Efecto estadísticamente muy significativo Hipótesis planteada a priori Análisis realizado dentro de una estrategia de comparaciones múltiples Resultados consistentes con otros estudios Evidencia indirecta que avale los resultados (plausibilidad biológica)

Cualidad: Análisis de subgrupos ¿Qué se mide? Efecto de factor de confusión en EECC para enfermedad con elevada mortalidad (n=78) THDiferencia Mortalidad % 27/4018/38 67,547,420,1 HT Pacientes alto riesgo32/40 %80%36,8% 14/38

Cualidad: Análisis de subgrupos ¿Qué se mide? Efecto de Factor de confusión en EECC para enfermedad con elevada mortalidad (n=78) THDiferencia Bajo riesgo % 2/84/18 25%22,2%2,8% Alto riesgo % 25/3218/38 78,1%70%8,1% La distinta distribución del factor pronóstico ha producido un fenómeno de confusión y la diferencia inicial (20%) estaba distorsionada)

Cualidad: Análisis de subgrupos y multivariante Incorporar la estadística al análisis de subgrupos = análisis de subgrupos; evaluar el efecto del tto sobre la variable respuesta dentro de cada estrato THDiferencia Bajo riesgo % 2/84/18 25%22,2%2,8% p>0.05 Alto riesgo % 25/3218/38 78,1%70%8,1% p<0.05 Las técnicas multivariante implican un modelo matemático. Variable dependiente (respuesta) Variable independiente ppal (tto) Variables independientes a controlar (estimación de coeficiente de regresión)

¿Con quién nos comparamos? ¿Cuánta debe ser la diferencia? - % 0%0% Tratamiento estándar superior Tratamiento nuevo no inferior Tratamiento nuevo superior Cantidad:¿Cuál es su magnitud?

Con quien nos comparamos? Elección del comparador no coincide con el tratamiento estándar. Estudio Ramsey WB. NEJM Eficacia Tobramicina inhalada vs placebo (no colistina) Estudio Zeuzem S., NEJM 2000; Heathhcote E., 2000; Reddy KR., Peg-interferon alfa 2-a vs Interferon alfa 2-a, ambos en monoterapia Herbrecht R, NEJM Voriconazol en aspergilosis invasiva vs anfotericina deoxicolato Dosificación del fármaco en estudio o del comparado no coincidente con la ficha técnica del nuevo fármaco o con las dosis admitidas del comparador (dosis aas Caprie es 325mg, que no es lo habitual, dosis dobutamina en Lido vs levosimendan) Duración de tratamiento no adecuada. Tto antibiótico exacerbaciones EPOC - incluyen pacientes desde 18 años - % no fumadores

Comparador adecuado? El comparador es adecuado. Aunque hubiera sido más adecuada una comparación con Pamidronato.

Comparador adecuado? El beneficio al aplicar los resultados en pacientes no se ha estudiado versus verteporfino, con lo que su ventaja a las 54 semanas respecto a este no queda claro.

TérminoDefinición Generalización o Validez Externa Aplicación de los resultados fuera del estudio (por generalización) ExtrapolaciónAplicación de los resultados a un grupo más amplio del estudiado (por inferencia, extensión, predicción o proyección de lo observado o experimentado) Ej: resultados años extrapolados a población de más edad. AplicabilidadAplicación de los resultados a grupos o pacientes individuales. Si un estudio muestra eficacia en la población estudiada, se espera que lo tenga en un individuo. 2. ¿son aplicables a mis pacientes?

100% Población Hipertensa 90% Cobertura Programa 95% Precisión Diagnóstica 76% Eficacia Fármaco 66% Prescripción correcta 65% Cumplimiento paciente EFECTIVIDAD 28% Mejoría salud Registro Tugwell P, Bennet KJ, Sackett DL, Haynes B. The measurement operative loop: a framework for the critical appraisal of need, benefits and costs of health interventions. J Chron Dis 1985; 38: La dilución de la respuesta...

Población total (mujeres) Población diana (mujeres años) Población accesible (13-48 que vienen a consulta) Muestra (incluimos estudio) La representatividad de la muestra es el condicionante de la validez externa. M.Bobenrieth

Los 5 demasiados: Selectos restringidos breves reducidos controlados Válidez externa en efectos secundarios… Tratamientos en nuestro medio Efectos 2ºs medios, capacidades, accesibilidad y seguimiento

Preguntas para establecer la validez externa: 1.¿Considera adecuado el comparador? 2.¿Son importantes clínicamente los resultados? 3.¿Considera adecuada la variable medida utilizada? 4.¿Considera adecuados los criterios de inclusión/exclusión de los pacientes 5.¿Cree que los resultados pueden ser aplicados directamente a la práctica clínica? 6.Otros sesgos o limitaciones encontradas en el estudio

Conclusiones en Validez Externa Magnitud Cuidado con: variables combinadas Análisis por estratos o subgrupos Tipo de medida u objetivo Aplicabilidad Cuidado con: Tipo de población estudiada Comparador adecuado la dilución de la respuesta

Que no nos hagan ver lo que quieran, sino lo que hay!!!! A veces evaluar la validez es tan dificilcomo saber si el naranjo es dulce o amargo Las ilusiones cognitivas se subdividen en: - ambigüedades - deformaciones - paradojas - ficciones