Implementación de la Iniciativa de documentación de datos (DDI)

Conceptos básicos ¿Qué son los microdatos? Son registros individuales o datos recogidos del informante. No son datos agregados o de resultado de algún cálculo. ¿Qué son los metadatos? Son “datos sobre los datos”. Proveen documentación de cada campo o atributo (nombre, tamaño, tipo de dato, etc.) incluyendo información descriptive sobre el contexto, calidad y condición de los datos (documentación).

¿Para qué documentar microdatos? Los datos sin un contexto, regularmente son mal empleados y pueden llevar a conclusiones imprecisas o equivocadas. La documentación de la información tiene gran relevancia para los usuarios de los datos, y es la base para la creación de una cultura estadística. ? ¿

¿Para qué documentar microdatos? Para facilitar a los usuarios a entender lo que miden los datos y como han sido creados. Para contribuir con la evaluación de la calidad de los datos. Para ayudar a los usuarios encontrar datos que les interesen. Cualquier sistema de localización de catalogación y recursos – ya sea manual o digital – está basado en metadatos. Para aumentar la credibilidad de los datos. Los usuarios aprecian transparencia en los métodos de recolección y procesamiento de datos.

Incrementando el valor de uso de las bases de datos

Antecedentes Plan de Acción Estadística de Marrakech (MAPS) Red Internacional de Encuesta de Hogares RIEH se crea EN 2004 como un organismo de coordinación para mejorar la disponibilidad, calidad y uso de datos de estadísticas básicas. Programa Acelerado de Datos: se implementa en 2006 para mejorar la calidad de la oferta de información estadística a través de la documentación y preservación de los datos y para apoyar la demanda a través de herramientas de diseminación de datos relevantes para el diseño, seguimiento y evaluación de políticas públicas para del desarrollo.

Antecedentes En el INEGI esta necesidad de documentación fue identificada hace varios años, por ello se llevaron a cabo los siguientes proyectos de documentación: Registro Estadístico Nacional (REN) Conociendo las Estadísticas de México (COESME) Data Warehouse (DWH) Página del INEGI en Internet

Justificación La experiencia del INEGI en la elaboración de metadatos facilita la adopción de un estándar internacional como la Iniciativa de Documentación de Datos (DDI), promovida por el Banco Mundial (BM) y la Organización para la Cooperación y el Desarrollo Económico (OCDE), a través del Programa Acelerado de Datos (PAD) de la Red Internacional de Encuestas de Hogares (RIEH), que permitirá homologar y estandarizar la documentación y preservación de datos, para estar en posibilidades de ofrecer a los usuarios metadatos de calidad y fácil acceso. .

¿Cómo funciona? La RIEH desarrolla herramientas, guías y mejores prácticas para la documentación, preservación y dismeinación de microdatos. El Programa Acelerado de Datos PAD implementa las herramientas de la RIEH en los países, en coordinación con el consorcio PARIS21/ OECD con financiamiento del Banco Mundial, proporcionando Capacitación especializada, asistencia técnica, adquisición equipos de cómputo y con actividades de cooperación regional en las áreas de gestión y divulgación de microdatos

Sustento legal (LSNIEG) ARTÍCULO 3.- El SNIEG, tiene la finalidad de suministrar a la sociedad y al Estado Información de calidad, pertinente, veraz y oportuna, a efecto de coadyuvar al desarrollo nacional. Serán principios rectores del Sistema los de accesibilidad, transparencia, objetividad e independencia. ARTÍCULO 4.- El SNIEG tendrá como objetivos: I. Producir Información; II. Difundir oportunamente la Información a través de mecanismos que faciliten su consulta; III. Promover el conocimiento y uso de la Información, y IV. Conservar la Información.

Sustento legal (LSNIEG) ARTÍCULO 55.- … El INEGI es la unidad central coordinadora del Sistema Nacional de Información Estadística y Geográfica (SNIEG) y tiene como parte de sus funciones normar y coordinar las actividades que lleven a cabo las Unidades del Estado en esta materia, tomando en cuenta los estándares nacionales e internacionales. ARTÍCULO 88. …el Instituto deberá dar a conocer y conservar los metadatos o especificaciones concretas de la aplicación de las metodologías que se hubieren utilizado en la elaboración de la Información.

Sustento legal Reglas para la Prestación del Servicio Público de Información Estadística y Geográfica Artículo 19.- Los Microdatos de la Información que genere el Instituto, así como los de aquellas Unidades del Estado que decidan brindar acceso a la Información que generen con la mayor desagregación posible, y en algunos casos a los Microdatos, deberán publicarse con metadatos, de acuerdo a la normatividad que para tal efecto autorice el Instituto.

Objetivos del DDI Desarrollar un Sistema de documentación de microdatos de fácil acceso, que permita el aprovechamiento óptimo de los datos. Este sistema de documentación deberá ser parte del SNIEG y facilitar a las Unidades del Estado la documentación de los proyectos de generación de estadística básica que realizan, lo que se reflejará en una documentación estandarizada de fácil acceso para los usuarios de diferentes niveles de especialización.

Beneficios del DDI Interoperabilidad: Un libro de código de DDI contiene toda la información necesaria para generar diferentes tipos de productos y puede ser transferida entre diferentes sistemas. Documentación simple con amplio nivel de detalle: La estructura uniforme del estándar del DDI permite describir de manera completa los conjuntos de datos. Precisión en búsquedas de información: todos los elementos en el DDI están direccionados a un campo específico, es posible realizar búsquedas y comparaciones entre la documentación de uno o más proyectos.

Patrocinadores

Estándar DDI DDI es un esfuerzo por establecer un estándar internacional basado en lenguaje XML para homologar el contenido, presentación y preservación de la documentación de los conjuntos de datos de estadística básica que permita el uso de los datos de manera efectiva, eficiente y precisa.

Estándar Dublin Core El estándar Dublin Core permite la descripción de metadatos de recursos externos, por ejemplo: metodologías, marco reportes técnicos, cuestionarios, mapas, etc. Complementa al DDI, ambos permiten una documentación completa de las operaciones estadísticas.

Estructura DDI La especificación del estándar DDI versión 2.0 (codebook) permite describir todos los aspectos de un proyecto estadístico a detalle (metadatos de referencia y metadatos de estructura) Provee una lista comprensiva y estructurada de elementos y atributos para documentar la base de datos. No todos son necesarios para todos los proyectos estadísticos; por eso define campos obligatorios, recomendaos y opcionales.

Especificación del metadato DDI DESCRIPCIÓN DEL DOCUMENTO DE METADATOS Las operaciones estadísticas no siempre son documentadas y diseminadas por la misma agencia que produce los microdatos. Puede haber varias versiones del documento de metadatos, reflejando distintas etapas de la vida del proyecto estadístico.

Especificación del metadato DDI DESCRIPCIÓN DEL PROYECTO ESTADISTÍSTICO Información general del estudio, como se recolectaron, compilaros, y distribuyeron los datos, contenido temático del proyecto estadístico, métodos de recolección, procesamiento, etc. BASE DE DATOS Describe el contenido de cada archivo de datos, versión del archivo, productor, etc.

Especificación del metadato DDI DESCRIPCIÓN DE VARIABLES Información detallada sobre cada variable, incluyendo la definición, pregunta textual, el universo, informante, pre pregunta, pos pregunta, los métodos de derivación e imputación así como las etiquetas de los valores.

Especificación del Dublín Core RECURSOS EXTERNOS Permite la documentación de los materiales de referencia que dan soporte técnico y conceptual a un proyecto como: Metodologías, Clasificadores, Cuestionarios, Manuales, Resultados. Incluye los siguientes quince elementos: Título, Tema, Descripción, Tipo, Fuente, Relación, Cobertura, Creador, Editor(es), Contribuidor(es), Derechos, Fecha, Formato, Identificador, Idioma.

Documentación de Microdatos Usualmente, documentar se considera una etapa ajena al proceso de desarrollo de la operación estadística, la mayor parte de la información relevante para documentar se genera en las etapas iniciales del proceso, pero no se captura. Determinación de objetivos Determinación de la muestra Recolección de información Control de calidad Diseño de la encuesta Diseño del cuestionario Prueba piloto Capacitación de encuestadores Procesamiento de datos Diseminación Documentación

Documentación de microdatos La documentación debe ser considerada como etapa integral y simultánea a la operación estadística. Documentación Determinación de objetivos Determinación de la muestra Recolección de información Control de calidad Diseño de la encuesta Diseño del cuestionario Prueba piloto Capacitación de encuestadores Procesamiento de datos Diseminación

Proceso de documentación (propuesta) (Áreas generadoras) REVISIÓN Y VALIDACIÓN (Área que coordina la iniciativa DDI) LIBERACIÓN (Responsable del proyecto) INICIO Revisa y valida la documentación de los metadatos Revisa la documentación de los metadatos Integra o modifica la documentación del proyecto, las bases de datos y de los materiales externos 1 2 ¿La documen-tación es correcta? ¿La documen-tación es correcta? NO NO 1 2 Valida la documentación mediante las herramientas del Editor de metadatos SI SI Carga y/o modifica la documentación en el sitio de preproducción en el Catálogo de proyectos y solicita su liberación al responsable del proyecto Genera los formatos de salida de la documentación que permitan su revisión (xml, rdf, pdf) Autoriza la publicación de los metadatos Solicita la validación de la documentación Replica la documentación en línea de la RNM y notifica a las áreas involucradas FIN

Gracias