La significación es irrelevante y los P-values engañosos, ¿qué hacer? Agustín Blasco Instituto de Ciencia y Tecnología Animal Universidad Politécnica de Valencia Valencia, Spain

1. Porqué la significación es irrelevante 2. Porqué los test de hipótesis son innecesarios 3. Porqúe los intervalos de confianza no son de fiar 4. Porqué los P-values son engañosos 5. Porqué la elección de modelos es pastosa 6. Qué hacer La significación…etc.

Tests de Hipótesis Neyman & Pearson hijo m 1 -m % *** H 0 : m 1 -m 2 =0 H 1 : m 1 -m 2 ≠0 Riesgo 99%

m 1 -m % H 0 : m 1 -m 2 =0 H 1 : m 1 -m 2 ≠0 Riesgo Tu evidencia puede ser mucho mayor a lo largo de tu carrera Tests de Hipótesis Neyman & Pearson hijo NO DISPONEMOS DE NINGUNA MEDIDA DE NUESTRA PROBABILIDAD DE ACERTAR

¿Qué pasa con todos los caracteres para los que el experimento no está diseñado? Aparecen cantidades irrelevantes con * Aparecen cantidades relevantes como n.s. ¿Para qué queremos aquí el test? Tests de Hipótesis Neyman & Pearson hijo

¿Necesitamos los tests? Tamaño de camada de A: 11 Tamaño de camada de B: 9 Diferencia A-B = 2 es relevante ¿Son A y B diferentes? El test dice que sí: * Intervalo de confianza de la diferencia A-B: [0.1, 3.9] Típicamente la discusión usa sólo 2 y la * insistiendo en que son diferentes y mucho …pero la diferencia verdadera puede ser irrelevante!! … y todo es significativo si la muestra es lo bastante grande

PARA UNA GRAN PARTE DE NUESTROS TRABAJOS, NO HACEN FALTA Lo que necesitamos es una descripción adecuada de la incertidumbre Crítica frecuentista C. HOWSON & P. URBACH (1996) Crítica bayesiana C. ROBERT (2001) ¿Necesitamos los tests?

P-values Fisher m 1 -m 2 0 H 0 : m 1 -m 2 =0 H 1 : m 1 -m 2 ≠0 3% OJO!: El P-value No mide la significación

m 1 -m 2 0 5% P-values Fisher Si repito el experimento, la MITAD de las veces Saldrá N.S. NO DISPONEMOS DE NINGUNA MEDIDA DE NUESTRA PROBABILIDAD DE ACERTAR

Intervalos poco de fiar m [ ] 5% 95%

m [ ] 5% 95%El mío es de los buenos ! Intervalos poco de fiar

¿Son A y B diferentes? El test dice que sí: * ALGUNOS DESASTRES: Diferencia A-B = 2 es relevante El test dice que sí: * Intervalo de confianza [0.1, 3.9] La diferencia verdadera podría ser irrelevante Diferencia A-B = 0.3 es irrelevante El test dice que n.s. Intervalo de confianza [-2.2, 2.5] La diferencia verdadera podría ser relevante

Selección pastosa de modelos MODELO 1: y = m + e MODELO 2: y = m + a + e Uso un criterio (AIC,BIC, DIC,TIC, etc.) AFIRMACION FALSA : Si el criterio elije el Modelo 1 es porque a=0 AFIRMACION CORRECTA : Mis datos son compatibles con que a sea a=0 … sobretodo si tengo pocos datos

Selección pastosa de modelos VARIOS MODELOS NO JERARQUIZADOS COMPARACION BAYESIANA DE P(M1|y), P(M2|y), P(M3|y)… FACTORES DE BAYES dependen fuertemente de la información a priori …aunque aumente el número de datos BIC es un factor de Bayes aproximado…con problemas AIC DIC son estimadores heurísticos basados en razones traídas por los pelos no dan una medida claramente interpretable VALIDACION CRUZADA

But you see, I can believe a thing without understanding it. It’s all a matter of training DOROTHY L. SAYERS Have his Carcase (1932) ¿Qué hacer?

No hacer test de hipótesis Publicar IC95% o IC 90% en vez de S.E. Discutir los asuntos importantes con los extremos del IC Comparar con otros autores considerando sus IC Utilizar Intervalos de credibilidad bayesianos

Distribución posterior f(A–B|y) P>0 0 Probabilidad de A >B

P=0.96 Relevante f(A-B|y) 0 Probabilidad de SIMILITUD

¿Son A y B diferentes? ¡Por supuesto que sí, SIEMPRE ! Dicho sea de paso, decir que dos cosas son idénticas es un sinsentido, y decir que una es idéntica consigo misma es no decir nada en absoluto Wittgenstein (Tractatus ) Probabilidad de similitud

P>0 P= f(A-B|y) Relevante Probabilidad de similitud

P= Relevante f(A-B|y) Probabilidad de RELEVANCIA

P= k f(A-B|y) Valor mínimo garantizado

P>0 P= Probabilidad de que A sea al menos un 10% mayor que B P(A/B | y) Probabilidad de RELEVANCIA

LA ELECCION DE MODELOS ES UN PROBLEMA ABIERTO LA ESTIMACION ES UN PROBLEMA RESUELTO “La rebelión contra el convencionalismo tiene la ventaja de brotar cerca del corazón, último juez de todo lo que vale la pena tener o hacer”. Jorge Agustín Ruiz de Santayana. Profesor de filosofía en Harvard de 1888 a 1912 “Personas y lugares”