1 La iniciativa del Programa Acelerado de Datos (PAD) República Dominicana Noviembre, 2011.

Presentación del tema: "1 La iniciativa del Programa Acelerado de Datos (PAD) República Dominicana Noviembre, 2011."— Transcripción de la presentación:

1 1 La iniciativa del Programa Acelerado de Datos (PAD) República Dominicana Noviembre, 2011

2 Antecedentes Motivación Programa Acelerado de Datos Fuentes básicas de información estadística Microdatos fuente importante de indicadores para monitorear estrategias de combate a la pobreza y evaluar efectividad de políticas públicas. Demanda creciente de investigadores, estudiantes, partidos políticos y medios de comunicación por rendición de cuentas y liberación de datos Pieza clave para fortalecer los sistemas nacionales y sectoriales de monitoreo y evaluación. SM&E 2

3 Antecedentes DIAGNÓSTICO SOBRE LA OFERTA Y DEMANDA DE INFORMACIÓN ESTADÍSTICA EN AMÉRICA LATINA Y EL CARIBE

4 Antecedentes Algunos problemas y obstáculos inventariosNo hay inventarios completos y/o actualizados de operaciones estadísticas.. stándares de calidadNo hay estándares de calidad en la producción, documentación y diseminación de datos. documentaciónPobre y altamente fragmentada documentación de operaciones estadísticas, sin uso de estándares. No hay políticas formales de diseminación de datos 4

5 Pocos usuarios. Baja sastifacción: accesibilidad, confiabilidad, relevancia, comparabilidad. Falta de conexión entre decisores de política y productores estadísticos. QUEJAS FRECUENTES DE USUARIOS: Visibilidad / no sabemos lo que ellos tienen Accesibilidad / ellos no quieren compartir los datos Confiabilidad / estos datos son un desorden Relevancia / esto no es realmente lo que necesito Uso / donde esta la documentación?

6 Antecedentes La Iniciativa del Programa Acelerado de Datos apoya a mejorar la calidad de la Oferta de información estadística a través de la documentación y preservación de los microdatos (inventario, calidad, documentación, preservación) y apoya la Demanda a través de herramientas de diseminación para usuarios.

7 7 Plan de Acción Estadístico Marrakech 2004. Cumbre Gestión de Resultados para el Desarrollo: Estrategias Nacionales para el Desarrollo Estadístico - países en desarrollo. ENDE. Ronda preparatoria Censos 2010. Desarrollar Red Internacional de Encuestas de Hogares RIEH. Mejoras urgentes para monitorear los Objetivos de Desarrollo del Milenio.

8 Programa Acelerado de Datos (PAD) Objetivos y alcance 8

9 9 Programa Acelerado de Datos (PAD) Identifica 3 tareas: Tarea No 1: Documentación, diseminación y preservación de microdatos (estándares internacionales DDI y DC) Tarea No 2: Análisis y evaluación de la calidad de los microdatos existentes (armonización). Tarea No 3: Apoyo en las actividades de recolección de datos (financiamiento a operaciones estadísticas).

10 10 Programa Acelerado de Datos (PAD) Ventajas de la Documentación Preservación de datos y metadatos (memoria institucional). Documentación, archivo y diseminación apropiadas de datos promueven su utilización. Mayor y mejor uso de los datos incrementa su demanda y puede impulsar aumento en el presupuesto para recolección de datos. Si documentar no es una parte integral de la operación estadística, requiere esfuerzos y recursos adicionales.

11 11 Programa Acelerado de Datos (PAD) Usualmente, documentar se considera una etapa ex-post y ajena al proceso de desarrollo de la operación estadística. Algo que hay que hacer después que todo acaba. Determinación de objetivos Determinación de la muestra Recolección de información Control de calidad Diseño de la encuesta Diseño del cuestionario Prueba piloto Capacitación de encuestadores Procesamiento de datos Diseminación Documentación La mayor parte de la información relevante para documentar se genera en estas etapas del proceso, pero no se captura.

12 12 Programa Acelerado de Datos (PAD) La documentación debe ser considerada como etapa integral y simultánea a la operación estadística. Determinación de objetivos Determinación de la muestra Recolección de información Control de calidad Diseño de la encuesta Diseño del cuestionario Prueba piloto Capacitación de encuestadores Procesamiento de datos Diseminación Documentación Ciclo de gestión de un operativo estadístico

13 Programa Acelerado de Datos (PAD) The bean example is taken from: A Managers Introduction to Adobe eXtensible Metadata Platform, http://www.adobe.com/products/xmp/pdfs/whitepaper.pdf Source: Courtesy of Jostein Ryssevik, Nesstar Inc.

14 Ventajas Al documentar durante el ciclo de gestión se detectan y previenen errores de de codificación, se recupera información que de otro modo se perdería. Mejoran procesos de trabajo y mecanismos de coordinación. Se reducen tiempos en la publicación Favorece la comparación Se promueve la publicación de información, etc. 14

15 Iniciativa de Documentación de Datos (IDD) Estándar internacional dedicado a documentar microdatos. Facilita la preservación e intercambio de documentación de bases de datos de las ciencias sociales. Basado en XML para explotar tecnología de Web. Diseñado originalmente por el Consorcio Inter-Universitario para la Investigación Política y Social (ICPSR) –500 miembros Hoy en día manejado por una alianza de instituciones lideres en documentación, preservación y diseminación de datos

16 Herramientas de Gestión de Microdatos Editor de Metadatos. DOCUMENTACIÓN –Software desarrollado por el Servicio de Datos Noruego para las Ciencias Sociales –Trabajo de edición basado en los campos del DDI –Permite reciclar metadatos –Genera archivo en formato.nesstar que contiene base de datos (transformador de formatos); recursos externos manuales, cuestionarios, etc. y metadatos del DDI 16

17 Herramientas de Gestión de Microdatos Nesstar Explorer DIFUSIÓN Es un navegador, es un medio de publicación. No permite edición –Incluye un transformador de formatos a la base de datos, se puede exportar la base de datos en los formatos más comunes dbf, stata, spss, etc. 17

18 Herramientas de Gestión de Microdatos Cd Rom Builder DIFUSIÓN –Genera archivos en formato HTLM que pueden publicarse en páginas Web –Genera CDs automáticos –Permite descargar las bases de datos en formatos comunes 18

19 Herramientas de Gestión de Microdatos Banco de Preguntas COMPARABILIDAD -Repositorio de Variables -Incluye definiciones, universo, instrucciones al encuestador, códigos de respuesta etc. -Organización temática de las variables 19

20 CWIQ 2003 DHS 2003 CENSUS 2000 GLSS 1998 Measuring access to improved water sources in Ghana Comparability: Un ejemplo

21 Banco de Preguntas Proposed solution: national question banks (XML repository of re-usable survey metadata)

22 Herramientas de Gestión de Microdatos Archivo Nacional de datos DIFUSIÓN -Catálogo de operaciones estadísticas documentadas -Motor de búsqueda, permite comparar variables -Integración entre catálogos 22

23 Herramientas de Gestión de Microdatos Anonimización DIFUSIÓN Para difundir microdatos de cualquier operación estadística, se debe preservar la confidencialidad de la información aportada por los informantes La forma de hacerlo es aplicar las denominadas técnicas de Anonimización. 23

24 Herramientas de Gestión de Microdatos DILEMA Cómo mantener una base de microdatos funcional que permita construir indicadores, pero que presente un riesgo muy bajo de re-identificación del informante 24

25 Técnicas reconocidas internacionalmente Software para identificar el riesgo de re- identificación (libe: Argus/ R, sofware comercial) http://www.tdp.cat/issues/tdp.a004a08.pdf http://www.statistik.tuwien.ac.at/public/templ/pub06-11.html http://cran.r-project.org/web/packages/sdcMicro/sdcMicro.pdf Técnicas de reducción de Datos y Perturbación de Datos 25

26 Ejemplo de Violación de Privacidad Edad Código Postal Enfermedad 4252000Ulcer 4743000Pneumonia 5132000Flu 5527000Gastritis 6241000Dyspepsia 6755000Dyspepsia NombreEdad Código Postal Enfermedad Andy4252000Ulcer Bill4743000Pneumonia Ken5132000Flu Nash5527000Gastritis Mike6241000Dyspepsia Sam6755000Dyspepsia (a) Microdata (b) Registro Electoral (público)

27 k-anonymity [Sam01] EdadCódigo PostalEnfermedad 42-4743000-52000Ulcer 42-4743000-52000Pneumonia 51-5527000-32000Flu 51-5527000-32000Gastritis 62-6741000-55000Dyspepsia 62-6741000-55000Dyspepsia [Sam01] P. Samarati, "Protecting Respondent's Privacy in Microdata Release," in IEEE TKDE, vol. 13, n. 6, November/December 2001, pp. 1010-1027. NombreEdad Código Postal Enfermedad Andy4252000 Ulcer or Pneumonia Bill4743000 Ken5132000 Flu or Gastritis Nash5527000 Mike6241000 Dyspepsia Sam6755000 (a) 2-anonymous microdata(b) Voting Registration List (public) QID generalization or suppression

28 Agenda en América Latina Avanzar con la expansión del DDI en los sistemas estadísticos nacionales –ONE´s se encuentran expandiendo el DDI como rectores del SEN –Verificación de la calidad de la documentación 28

29 Agenda en América Latina Avanzar en aspectos relativos a la armonización de preguntas/variables –-Iniciativas relativas a la creación de banco de preguntas y bancos de cuestionarios 29

30 Progreso en América Latina Oficinas Nacionales de Estadística, Ministerios y Nivel Subnacional en 16 paises de la region. Subregional. Oficial en SICA-CENTROESTAT, aprobado por el Comité Andino de Naciones. CAN Mas de 1,500 operaciones estadísticas documentadas. Portales en línea

31 Agenda en América Latina Avanzar con aspectos de diseminación –Técnicas avanzadas para anonimización de microdatos –Políticas y reglamentos para la diseminación de microdatos –Publicación de catálogos ANDA 31

32 Agenda en América Latina Otros Integración del DDI al estándard SDMX utilizado para la transmisión de datos y metadatos (estadística agregada). 32

33 Encuestas Raw Data Set Anonimización, consistencia De datos, etc. Micro-Data Set/ Public Use Files Tabulación, procesado, etc Agregación y armonización de datos Agregación y, Armonización Aggregate Data Set (Lower level) Aggregate Data Set (Higher Level) DDI SDMX Indicators

34 Muchas Gracias