Copyright © 2015 Banco Interamericano de Desarrollo. Esta obra está bajo una licencia Creative Commons IGO 3.0 Reconocimiento-No Comercial-Sin Obra Derivada (CC-IGO BY-NC-ND 3.0 IGO) ( y puede ser reproducida para cualquier uso no-comercial otorgando crédito al BID. No se permiten obras derivadas. Cualquier disputa relacionada con el uso de las obras del BID que no pueda resolverse amistosamente se someterá a arbitraje de conformidad con las reglas de la CNUDMI. El uso del nombre del BID para cualquier fin que no sea para la atribución y el uso del logotipo del BID, estará sujeta a un acuerdo de licencia por separado y no está autorizado como parte de esta licencia CC-IGO. Notar que el enlace URL incluye términos y condicionales adicionales de esta licencia. Las opiniones expresadas en esta publicación son de los autores y no necesariamente reflejan el punto de vista del Banco Interamericano de Desarrollo, de su Directorio Ejecutivo ni de los países que representa.

Cálculos de potencia para evaluaciones experimentales Rodrigo Muñoz Sistemas Integrales

Diseño de la muestra para una evaluación de impacto 3 ¿Qué tamaño de muestra necesitamos?

Intervalos de confianza 4 Efecto estimado ($) IC 95% 1,96e -1,96e Estimación puntual del efecto de un programa, y su intervalo de confianza al 95% $1,13[$0,94$1,32] 0,941,321,13

Test estadístico 5 Test estadístico: busca determinar si el efecto estimado realmente existe, o si es simplemente producto del error muestral 1,13**[0,941,32] 0,04[-0,150,23] ESTADÍSTICAMENTE SIGNIFICATIVO ESTADÍSTICAMENTE NO SIGNIFICATIVO

Significancia estadística 6 Si el intervalo de confianza no contiene el valor cero, se dice que el efecto estimado es estadísticamente distinto de cero (o simplemente estadísticamente significativo) Dos estrellas (**) generalmente significa que el efecto es estadísticamente significativo al 95% (es decir, utilizando un intervalo de confianza al 95%)

Significancia estadística 7 ESTADÍSTICAMENTE NO SIGNIFICATIVO Efecto estimado ($) IC 90% Cero estrellas 0

Significancia estadística 8 Efecto estimado ($) IC 90% * Una estrella ESTADÍSTICAMENTE NO SIGNIFICATIVO

Significancia estadística 9 Efecto estimado ($) IC 90% IC 95% ** Dos estrellas ESTADÍSTICAMENTE SIGNIFICATIVO 0

Significancia estadística 10 Efecto estimado ($) 0 IC 90% IC 95% IC 99% *** Tres estrellas ESTADÍSTICAMENTE SIGNIFICATIVO

Significancia estadística 11 Efecto estimado ($) IC 90% IC 95% IC 99% 1,64e -1,64e 1,96e -1,96e 2,58e -2,58e Tabla de valores t Valor pValor t 1 cola2 colas 1-γ t 1-γ t 1-γ/2 80%0,841,28 90%1,281,64 95%1,641,96 97,5%1,962,24 99%2,332,58

Problemas de un test estadístico 12 Falso positivo (error tipo I): Programa no tiene ningún efecto, pero evaluación concluye que sí existe un efecto (positivo o negativo)

Si la hipótesis nula es verdadera… ERROR TIPO I Efecto estimado ($) 0 IC 95% 1,96e -1,96e α/2 = 2,5% 1-α = 95% 13

Problemas de un test estadístico 14 Falso negativo (error tipo II): Programa sí tiene un efecto positivo, pero evaluación concluye que no tiene efecto, o que tiene un efecto negativo.

Si la hipótesis alternativa es verdadera… Efecto estimado ($) ERROR TIPO II 0 1,96e IC 95% 1,96e -1,96e 15

Caso 1: Buen programa 16 Estudio 1 muestra pequeña 1,25[-0,543,04] ESTADÍSTICAMENTE NO SIGNIFICATIVO ESTADÍSTICAMENTE SIGNIFICATIVO Estudio 2 muestra grande 1,15**[1,061,24] ERROR TIPO II

Caso 2: Mal programa 17 Estudio 1 muestra pequeña 0,18[-1,611,97] ESTADÍSTICAMENTE SIGNIFICATIVO Estudio 2 muestra grande 0,22**[0,130,31] ESTADÍSTICAMENTE NO SIGNIFICATIVO ERROR TIPO II

Caso 3: Muy mal programa 18 Estudio 1 muestra pequeña 0,15[-1,641,94] Estudio 2 muestra grande 0,05[-0,040,14] ESTADÍSTICAMENTE NO SIGNIFICATIVO 0,18 3,58 ESTADÍSTICAMENTE NO SIGNIFICATIVO ERROR TIPO II

Resumen estudio 2 19 Efecto estimado ($) [1,061,24] 1,15 [0,130,31]0,22 [-0,040,14]0,05 01 Caso 1 Programa bueno Caso 2 Programa malo Caso 3 Programa muy malo Estudio 2 Muestra grande

Resumen estudio 1 20

Resumen estudio 1 21

Uso del test estadístico 22 Muestra bien dimensionada Estadísticamente significativo Estimación alcanza meta del programa Programa bueno Estimación no alcanza meta del programa Programa regular/malo Estadísticamente no significativo Programa malo Muestra sub- dimensionada Estadísticamente no significativo Programa ¿? Estudio 1Estudio 2

Error tipo II 23 ESTADÍSTICAMENTE SIGNIFICATIVO Experimento 1 Estudio 2 muestra grande 1,15**[1,061,24] Estimación bastante precisa de la realidad.

Error tipo II 24 ESTADÍSTICAMENTE SIGNIFICATIVO Experimento 2 Estudio 2 muestra grande 1,23**[1,141,32] Estimación bastante precisa de la realidad.

Error tipo II 25 ESTADÍSTICAMENTE SIGNIFICATIVO Experimento 3 Estudio 2 muestra grande 1,19**[1,101,28] Estimación bastante precisa de la realidad.

Error tipo II 26 ESTADÍSTICAMENTE SIGNIFICATIVO Experimento 4 Estudio 2 muestra grande 1,92**[1,832,01] Estimación bastante alejada de la realidad (estamos sobre-estimando el efecto del programa), pero al menos no estamos juzgando mal a un buen programa.

Error tipo II 27 ESTADÍSTICAMENTE SIGNIFICATIVO Experimento 41 Estudio 2 muestra grande 0,54**[0,450,63] Estimación bastante alejada de la realidad (estamos sub-estimando el efecto del programa), pero al menos hay evidencia de un efecto estadísticamente distinto de cero y positivo.

Criterios para un cálculo de potencia 28 Experimento 127 Estudio 2 muestra grande 0,03[-0,060,12] Estimación muy alejada de la realidad, estamos diciendo que no hay evidencia de efecto positivo, cuando en realidad el efecto es positivo. ESTADÍSTICAMENTE NO SIGNIFICATIVO ERROR TIPO II

Error tipo II 29 Experimento 584 Estudio 2 muestra grande -0,82**[-0,91-0,73] Estimación muy alejada de la realidad, estamos diciendo que hay evidencia de que hay evidencia de un efecto estadísticamente distinto de cero y negativo, cuando en realidad el efecto es positivo. ERROR TIPO II ESTADÍSTICAMENTE SIGNIFICATIVO

Error tipo II 30 Experimento ,82**[-0,91-0,73] ESTADÍSTICAMENTE SIGNIFICATIVO Experimento 127 0,03[-0,060,12] ESTADÍSTICAMENTE NO SIGNIFICATIVO Experimento 41 0,54**[0,450,63] ESTADÍSTICAMENTE SIGNIFICATIVO ERROR TIPO II

Definición de potencia 31 PROBABILIDAD DE NO COMETER UN ERROR TIPO II POTENCIA PRECISIÓN ENCUESTA PRECISIÓN ENCUESTA La potencia es la probabilidad de que nuestra evaluación detecte un efecto, si el efecto realmente está ahí

32 1,96e -1,96e 95% ERROR TIPO II 1,96e Efecto estimado ($) 0

El cálculo de potencia 33 ERROR TIPO II 1,96e Efecto estimado ($) 0 -1,96e 97,5% Tabla de valores t Valor pValor t 1 cola2 colas 1-γ t 1-γ t 1-γ/2 95%1,641,96 97,5%1,962,24

El cálculo de potencia e 1-β = 99,9…% β = 0,0…% ERROR TIPO II 1,96e Efecto estimado ($) 0 Tabla de valores t Valor pValor t 1 cola2 colas 1-γ t 1-γ t 1-γ/2 ……… 97,5%1,962,24 ……… 99,9…%24,0024,48

35 ERROR TIPO II 1,96e Efecto estimado ($) 0

Diseño de la muestra para una evaluación de impacto 36 Cálculos de potencia D e −

Un ejemplo de cálculo de error estándar 37

Fórmula fundamental del cálculo de potencia 38

Diseño de la muestra para una evaluación de impacto 39 Cálculos de potencia D e −

Conclusión 40 Los cálculos de potencia sirven para hacer recomendaciones respecto al tamaño de muestra necesario para una evaluación de impacto –En las sesiones anteriores, la variable clave para recomendar un tamaño de muestra era el error estándar, porque la técnica de análisis era una estimación puntual con un intervalo de confianza –En esta sesión, la variable clave es la potencia (i.e. la probabilidad de no cometer un falso negativo), porque la técnica de análisis es un test estadístico –Ambas técnicas son necesarias para una evaluación. El ingrediente clave para un buen cálculo de potencia es el error estándar