Copyright © 2015 Banco Interamericano de Desarrollo. Esta obra está bajo una licencia Creative Commons IGO 3.0 Reconocimiento-No Comercial-Sin Obra Derivada.

Presentación del tema: "Copyright © 2015 Banco Interamericano de Desarrollo. Esta obra está bajo una licencia Creative Commons IGO 3.0 Reconocimiento-No Comercial-Sin Obra Derivada."— Transcripción de la presentación:

1 Copyright © 2015 Banco Interamericano de Desarrollo. Esta obra está bajo una licencia Creative Commons IGO 3.0 Reconocimiento-No Comercial-Sin Obra Derivada (CC-IGO BY-NC-ND 3.0 IGO) (http://creativecommons.org/licenses/by-nc-nd/3.0/igo/legalcode) y puede ser reproducida para cualquier uso no-comercial otorgando crédito al BID. No se permiten obras derivadas.http://creativecommons.org/licenses/by-nc-nd/3.0/igo/legalcode Cualquier disputa relacionada con el uso de las obras del BID que no pueda resolverse amistosamente se someterá a arbitraje de conformidad con las reglas de la CNUDMI. El uso del nombre del BID para cualquier fin que no sea para la atribución y el uso del logotipo del BID, estará sujeta a un acuerdo de licencia por separado y no está autorizado como parte de esta licencia CC-IGO. Notar que el enlace URL incluye términos y condicionales adicionales de esta licencia. Las opiniones expresadas en esta publicación son de los autores y no necesariamente reflejan el punto de vista del Banco Interamericano de Desarrollo, de su Directorio Ejecutivo ni de los países que representa.

2 Temas muestrales relevantes en evaluación de impacto Juan Muñoz Sistemas Integrales

3 Muestras de hogares –Selección de UPMs –Selección de hogares –Selección de individuos –El plan de la encuesta Muestras de establecimientos –Selección de áreas administrativas –Selección de establecimientos –Selección de proveedores de servicios –Selección de usuarios (exit polls) –Selección de hogares (zonas de atracción / cobertura) No respuesta Estimación de diferencias –Ventajas e inconvenientes de los paneles –Introducción a la noción de potencia

4 Muestras de hogares Selección de UPMs 4 Las UPMs son las Áreas de Empadronamiento Censal (AEC) generadas por el censo más reciente Las UPMs tienen habitualmente entre 50 y 200 hogares El marco muestral es un archivo relativamente pequeño. Conviene manejarlo en Excel Las UPMs de la muestra se eligen con probabilidad proporcional al tamaño (Probability Proportional to Size, PPS) Las UPMs elegidas deben ser reconocibles en el terreno Requiere colaborar con la agencia estadística nacional La presencia de UPMs más pequeñas puede requerir algún trabajo previo Veremos cómo hacerlo en la próxima sesión El archivo informático no basta. También se requiere cartografía

5 Muestras de hogares Selección de hogares 5 El marco muestral más adecuado es un listado de hogares. El listado debe incluir todos los hogares de cada una de las UPMs elegidas Esta es una operación de campo que requiere tiempo y dinero. El tiempo y el dinero son –Marginales, en relación con los presupuestos y calendarios del estudio, si se prevén adecuadamente –Lo suficientemente grandes como para convertirse en un problema serio, si se olvidan Las UPMs demasiado grandes pueden requerir segmentación Información a recoger en el listado –Nombre del jefe y dirección, cómo mínimo –Información adicional requerida por la evaluación de impacto (como presencia de niños o embarazadas) La selección de hogares a partir del listado no debería ser hecha por los mismos encuestadores Veremos cómo hacerlo en la próxima sesión No recoger más información que la necesaria Desconfiar de los “caminos aleatorios” El censo tampoco es una buena alternativa

6 Muestras de hogares Selección de individuos 6 Ciertos estudios de evaluación de impacto requieren seleccionar uno de entre varios individuos elegibles en cada hogar. Por ejemplo –Uno de los niños –Una de las mujeres en edad fértil La elección debe confiarse al encuestador, y ser –Aleatoria, pero también –Supervisable Métodos –Grillas de Kish –Etiquetas aleatorias –Método de los cumpleaños Veremos un ejemplo en la próxima sesión Por eso, no pueden usarse dados, ni otras alternativas aparentemente aleatorias

7 Muestras de hogares El plan de la encuesta 7 La responsabilidad del muestrista no termina con la elección de las UPMs El muestreo también debe especificar –La asignación de las UPMs entre equipos de terreno –Cuando debe visitarse cada UPM Si eso no se especifica explícitamente, la firma ejecutora puede recurrir a alternativas indeseables –La peor es el “barrido sistemático” del territorio, que puede confundir el tiempo y el espacio en la fase analítica Lo mejor es planear la encuesta de manera de observar cada región durante todo el período de recolección Es mejor un período largo con pocos encuestadores que un período corto con muchos encuestadores Considerar también la asignación aleatoria de varios encuestadores a la misma región (muestras interpenetrantes)

8 Muestreo de establecimientos 8 Muchos estudios de evaluación de impacto necesitan observar distintos tipos de elementos –Grandes áreas administrativas (v.g., regiones) –Unidades administrativas intermedias (v.g., municipios) –Establecimientos (escuelas, hospitales, clínicas…) –Proveedores de servicios (profesores, médicos, …) –Clientes (estudiantes, pacientes, …) –Hogares Los análisis deben dar cuenta de sus vínculos jerárquicos ¿Cómo elegir las muestras?

9 Muestras de establecimientos 9 ?

10 Dos posibilidades 10 De arriba a abajo (muestreo multietápico) –Primero, elegir regiones –Luego, distritos en las regiones elegidas –Luego, hospitales en los distritos elegidos De abajo a arriba –Primero, elegir una muestra de establecimientos –Eso define implícitamente una muestra de distritos –Que a su vez define la muestra de regiones Desventajas –Altos efectos de diseño –Mala comprensión de los niveles más altos –Vulnerable a elecciones intencionadas Desventaja –Costos (ligeramente) más elevados

11 En cada establecimiento Para elegir proveedores (profesores, médicos, etc.) 11 Las muestras tienen que ser aleatorias (quizá estratificadas) La selección debe confiarse a los encuestadores… …pero debe ser repetible (por supervisión) Puede hacerse con –tablas de Kish –etiquetas aleatorias, o por –el método de los cumpleaños

12 En cada establecimiento de salud Para elegir pacientes (exit polls) 12 La selección también debe ser aleatoria, y debe confiarse a los encuestadores No puede ser repetible, y el sesgo de Hawthorne es inevitable, pero los procedimientos deben evitar los sesgos –De selección, por parte del encuestador –De selección, por parte del paciente –Del día de la semana –De la hora del día Para hacerlo bien, se necesitan dos agentes, –Un/a encuestador/a –Un/a administrador/a de pacientes Veremos cómo hacerlo en la próxima sesión

13 En cada establecimiento Para elegir hogares en el área de cobertura 13 No hay nada mejor que el método ya visto: muestreo en dos etapas, con UPMs en la primera y hogares en la segunda Pero hay que compatibilizar la partición territorial definida por el ministerio con la cartografía censal La operación de listado de hogares sigue siendo el método recomendable para la selección de hogares Los sucedáneos del la operación listado proliferan. Algunos tienen nombres pegadizos, pero eso no los hace recomendables: –Selección por expertos –“Camino aleatorio” –“Bola de nieve” –Etc.

14 No respuesta 14 Posibles soluciones…  Reemplazar a los que no responden por individuos parecidos  Incrementar el tamaño muestral para compensar  Usar fórmulas de corrección  Usar técnicas de imputación (hot-deck, cold-deck, warm- deck, etc.) para simular las respuestas de los que no responden  Ninguna de las anteriores El mayor problema provocado por la no respuesta no es la reducción del tamaño muestral, sino el sesgo ✔ x x x x

15 15 La mejor manera de abordar la no respuesta es prevenirla Lohr, Sharon L. Sampling: Design & Analysis (1999)

16 16 No respuesta Encuestador Cuestio -nario Entrevistado Entrenamiento Carga de trabajo Motivación Calificación Plan de trabajo Demográfico Socio-económico Muestras biológicas Fatiga Motivación Procuración Disponibilidad Fuente: “Some factors affecting Non-Response.” by R. Platek. 1977. Survey Methodology. 3. 191-214

17 Las encuestas de panel miden mejor el cambio 17 Y 2010 Y 2012 20102012 Parece que Y 2010 > Y 2012 pero… …ambas medidas adolecen de errores muestrales (e 2010 y e 2012 ) El error de la diferencia Y 2012 - Y 2010 es… …√ (e² 2010 + e² 2012 ) si las muestras son independientes …sólo √(e² 2010 +e² 2012 –2ρ[Y 2010,Y 2012 ] e 2010 e 2012 ) si la muestra es la misma

18 Ventajas y desventajas de los paneles 18 Ventajas analíticas –Miden mejor el cambio –Permiten entender las razones del cambio –Permiten correlacionar conductas pasadas y presentes Desventajas analíticas –Envejecimiento: La muestra se hace progresivamente menos representativa de la población Desventajas prácticas –Desgaste de la muestra (attrition) –Mucho más difíciles de administrar –Vulnerables a la manipulación –Hay que diseñarlas de manera prospectiva Ventajas prácticas –Pueden reducir el tamaño muestral sin perder potencia –No requieren esfuerzos de diseño, después del inicial

19 ¿Hubo impacto? La noción de potencia 19 Lo que pasó en el mundo Aceptar H 0 si ŷ 2 – ŷ 1 ≤ D Rechazar H 0 si ŷ 2 – ŷ 1 > D OK Error tipo IOK Error tipo II P (Error tipo I) = α P (aceptar correctamente H 0 ) = 1 - α P (rechazar correctamente H 0 ) = 1 – β P (Error tipo II) = β Lo que decidimos Hipótesis nula H 0 No hubo impacto H 0 : y 2 – y 1 = 0 Hipótesis alternativa H A Hubo impacto H A : y 2 – y 1 = Δ Lo que observamos ŷ 1 ŷ 2 Tamaño del efecto Nivel de significancia Potencia

20 20

21