EVALUACIÓN DE DATOS PARA SU APERTURA (HEDA) HERRAMIENTA DE EVALUACIÓN DE DATOS PARA SU APERTURA (HEDA) Políticas públicas basadas en evidencia MAYO, 2017

DATOS ABIERTOS

Datos abiertos Los datos abiertos son aquellos accesibles, reutilizables, liberados sin exigir permisos específicos Principios clave: Completos Primarios Oportunos Accesibles Procesables por máquinas No discriminatorios No propietarios Libre de licencias Si no pueden ser indexados o inspeccionados automáticamente, no existen. Si no están disponibles en un formato abierto y procesable por máquinas, no son participativos. Si no existen en un marco legal que permite utilizarlos, no empoderar. Son datos que pueden ser utilizados, reutilizados y redistribuidos libremente  por cualquier persona, y que se encuentran sujetos, cuando más, al requerimiento de atribución y de compartirse de la misma manera en que aparecen.

Datos Públicos vs Datos Abiertos La principal diferencia entre datos abiertos y datos públicos se encuentra en las restricciones legales en términos de su uso. Tanto los datos publicados bajo el esquema de datos abiertos, como también los datos públicos pueden ser reutilizados, y muy frecuentemente almacenados en formatos legibles por máquinas. Esto rompe con una distinción artificial que el movimiento de datos abiertos promovió, atribuyendo el re-uso como uno de sus atributos únicos. La principal diferencia se da en términos legales de su utilización. No hay restricción alguna para la iniciativa de datos abiertos, las restricciones aplican para datos publicados en otras iniciativas, básicamente relativas a sancionar el uso de datos para fines no estadísticos, re identificar a los informantes, entre otros.

Cinco estrellas de los datos abiertos Tim Berners Lee http://5stardata.info/es/

BUENAS PRACTICAS

INEGI: Acceso y publicación de Datos Abiertos de Interés Nacional (1/2) Herramienta que regula, bajo parámetros tecnológicos homogéneos y de acuerdo a las mejores prácticas nacionales e internacionales, la puesta a disposición de la Información de Interés Nacional en materia de Datos Abiertos.  Directrices para la implementación (preparación) de la Información como Conjunto de Datos Abiertos y de su publicación. Observancia general y obligatoria para las Unidades del Estado que generen Información Estadística y Geográfica de Interés Nacional. Manual de Implementación para el acceso y publicación de Datos Abiertos de la Información Estadística y Geográfica de Interés Nacional 

INEGI: Acceso y publicación de Datos Abiertos de Interés Nacional (2/2) Tipos de formatos de datos abiertos CSV, SHP, txt, xml, json, rdf, html, geojson, kml, xlsx Codificación de los conjuntos de datos abiertos Fechas, nombres de conjunto, valores numéricos sin textos (ejemplo :10$) Consistencia y calidad de los datos (CALIDAD) Valores textos o numéricos, sin valores duplicados, ortografía Publicación de los conjuntos de datos abiertos Lugar de publicación, descarga individual de datos, ZIP (mayor a 100 MB). Deberán publicarse con: a). Metadatos; b). Catálogos; c). Diccionario de datos, y d). Modelo entidad-relación. Documentación Estándar DCAT con equivalencia con el estándar de la Data Documentation Initiative (DDI) y la Norma Técnica para elaborar Metadatos Geográficos.  Tabla de coincidencia ver Manual http://www.snieg.mx/contenidos/espanol/Normatividad/Normatividad_Vigente/Archivos_NV/Manual_de_Implementacion_DA_02062015.pdf

Global Open Data Index El Global Open Data Index es un proyecto de la Sociedad Civil que mide y compara la apertura de datos en todo el mundo, y luego presenta esta información de una manera fácil de entender y usar. http://index.okfn.org/ Se centran en diez conjuntos de datos clave, incluidos los esenciales para la transparencia y rendición de cuentas: Horarios de transporte Presupuesto del gobierno Gastos gubernamentales Resultados de las elecciones Registro de la compañía Mapa nacional Estadísticas nacionales Legislación Postcodes / zipcodes Emisiones de contaminantes

Global Open Data Index: Ranking de los portales a nivel mundial

Si lo necesitamos http://mx-city.census.okfn.org

Open Data Monitor Indíce de la Unión Europea que toca cuatro puntos: Licencias abiertas Legible por máquina Disponibilidad Completitud de los metadatos

Open Data Barometer - Disponibilidad/Grado de preparación - Compromisos para la implementación Similar a Open Data Index. - Impacto en la ciudadania World Wide Web Foundation and Open Data for Development Qué tanto esfuerzo hay para que el ambiente de datos abiertos sea beneficioso a nivel país: política pública, recursos y educación. Qué tanto ha llegado a luz pública y de qué manera ciertos datasets de importancia nacional.

Estado del arte Colaboración entre gobiernos, Sociedad civil (ONG), y ciudadanía - Index a nivel de ciudades http://mx-city.census.okfn.org/ - Plataforma colaborativa para la generación de datos: http://datamx.io/ - Portal de datos de la CDMX, participación de usuarios en uso y evaluación de los datos: http://datos.labplc.mx/ Interoperabilidad: https://datos.gob.mx/ Estándares General (Google) Transport Feed Standard - Contiene las rutas de transporte público de una ciudad, que permite visualizar el servicio de decenas de ciudades en el mundo mediante google maps. London Air Quality Network - Descrito en la definición de la API de la ciudad, provee de información detallada de los contaminantes en la zona metropolitana de Londres. Open contracting Data Standard - Contrataciones abiertas. Especificación general del feed del estatus legal y ambiental del transporte privado TALLER HECRA Conocer y aplicar la HECRA analizando la calidad de los registros administrativos acordados que permitirán construir indicadores relevantes para el Sistema de Monitoreo y Evaluación del Estado de Jalisco. Aplicar un cuestionario de satisfacción a los usuarios primarios y finales. Analizar los resultados y reflexionar sobre acciones de mejora. 2. Participantes Responsable(s) de los Registros Administrativos (RRAA). Responsable(s) de explotar los RRAA estadísticamente. Administrador(es) de las bases de datos y seguridad de datos (TI). 3. Antes del taller Identificación del ciclo de vida del RA a evaluar. Identificar y preparar documentos de apoyo para la aplicación de la HECRA.

Conjunto de datos ¿Qué significa para ti? Un conjunto de datos: Serie de datos estructurados, vinculados entre sí y agrupados dentro de una misma unidad temática y física, de forma que puedan ser procesados apropiadamente para obtener información (INEGI). Agrupación de tablas para representar la temática Puede ser función también de los requerimientos del usuario (utilidad). Nivel de desagregación de datos (microdatos) o espacial.

Calidad de un conjunto de datos ¿Qué significa para ti? Oportunidad y puntualidad: ¿Qué tan pronto los datos se publican en relación con lo que miden, y cómo las actualizaciones de datos se adhieren al calendario de publicación previsto? Accesibilidad y claridad: ¿Con cuál facilidad los usuarios pueden obtener o consular los datos y obtener metadatos (documentación) que los definen de manera clara? Relevancia: ¿Qué tanto los datos responden a las expectativas de los usuarios? Coherencia: ¿Qué tanto se usan metodologías, protocolos y estándares en el proceso estadístico? Precisión y confiabilidad: ¿Qué tanto se puede confiar en los datos? ¿Qué tanto tienen errores y de que magnitud? ¿Cuáles son los errores muestrales y los no muestrales? Comparabilidad: ¿Qué tanto los datos se pueden comparar en el tiempo, a través de otras regiones geográficas y dominios?

Herramientas de evaluación de calidad HECRA : Herramienta de Evaluación de la Calidad de los Registros Administrativos fuente de datos administrativos metadatos procesamiento de los datos producto estadístico final HECI : Herramienta de Evaluación de la Calidad de los Indicadores formulación de indicadores definición de metas Calidad de fuentes de información Nesstar – Documentación de Datos en formatos estándar DDI Sistema de Captura de Metadatos (SICAM) y Sistema de Conversión de Metadatos (SICOM) para la creación de los metadatos en la Norma Técnica de Metadatos (NTM) geográficos.

SELECCIÓN Y EVALUACIÓN DE DATOS ABIERTOS

Proceso general de selección y evaluación 1 Prioridades /Acuerdos Capacitación Inventarios Documentación Selección de conjuntos 2 Relevancia Datos Abiertos Calidad Planes de mejora 3 Entrega Revisión de evidencias Calificación Publicación 4 Retroalimentación de usuarios Identificación de la demanda HEDA Herramienta de Evaluación de Datos Abiertos Retroalimentación Publicación Evaluación Identificación Capacitación Identificación de la demanda/ mejoras

Identificación y Capacitación ETAPA 1. Identificación y Capacitación Dirección de Innovación y Gobierno Digital, SEPAF Dirección de TI, IIEG Paso 2. Capacitación Paso 1. Identificación de prioridades Mesa de trabajo DA Paso 3. Priorización de Inventarios Responsable del Conjunto de Datos persona que por su función tiene la responsabilidad de administrar los datos estadísticos y/o geográficos, o es un usuario primario de los datos Paso 4. Documentación Paso 5. Selección de conjunto Usuario final Demanda

ETAPA 2. Evaluación

ETAPA 3. Publicación

ETAPA 4. Retroalimentación

HERRAMIENTA DE EVALUACIÓN DE DATOS PARA SU APERTURA (HEDA)

Herramienta de Evaluación de Datos para su Apertura Objetivo: Asegurar que los datos abiertos publicados sean relevantes, de calidad y reutilizables. La Herramienta de Evaluación de Datos para su Apertura (HEDA) es una herramienta efectiva, confiable y actualizada basada en estándares nacionales e internacionales que permite la selección y la evaluación de los conjuntos de datos estadísticos y geográficos candidatos a la apertura a través del Portal de Datos Abiertos Jalisco. Sirve para evaluar y mejorar la relevancia, el nivel de apertura y la calidad de los conjuntos de datos, y considera preguntas de retroalimentación de usuarios.

Características de la herramienta La HEDA se aplica a través de un cuestionario de auto-diagnóstico, implementado en un archivo en formato Excel con el propósito de facilitar su llenado y el cálculo automático de los valores de las dimensiones analizadas. Contiene seis apartados: Identificación del responsable y del conjunto de datos Evaluación de la relevancia – 15 preguntas Evaluación de las caracteristicas de Datos Abiertos – 10 preguntas Evaluación de la calidad de Datos Abiertos – 22 preguntas Plan de Mejora Glosario DESCRIPTIVO ANALÍTICO; BASADO EN CRITERIOS DEL DIAGNÓSTICO PROPOSITIVO INFORMATIVO

IDENTIFICACIÓN DEL CONJUNTO DE DATOS INSTRUCCIONES: favor de contestar las siguientes celdas de identificación antes de pasar a la hoja siguiente. 1. NOMBRE DEL CONJUNTO DE DATOS   2. Número de inventario (contestar No Aplica si no existe) 3. Institución responsable del conjunto de datos 4. Nombre del responsable del conjunto de datos 5. Correo electrónico del responsable del conjunto de datos 6. Dirección/Unidad de la persona responsable del conjunto de datos 7. ¿El conjunto de datos es candidato a apertura o está publicado en el portal de datos abiertos? 1. candidato a la apertura de datos abiertos 2. publicado en el portal de Datos Abiertos 2 8. En caso de haber contestado 2 en la pregunta anterior ¿Cuál es la fecha de registro en el sitio (Portal) de Datos Abiertos? 00/00/00 9. Tipo del conjunto de datos 1. Geográfico 2.Estadístico (encuesta, registro administrativo, censo, indicador) 3. Directorio 4. Padrón de beneficiario 5. Otro 10. ¿Cuál es el formato del conjunto de datos? (csv, xlsx, xls, Json, XML,rdf,shp,KML,WFS,WMS,txt,ODT,docx, PDF, LOD, otro) PDF Comentarios generales sobre el conjunto de datos: CUADRO 1 en libro Excel

RELEVANCIA CUADRO 2 en libro Excel Dimensión Indicador Demanda   Dimensión Indicador Demanda Demanda de los usuarios identificada y documentada 2. Prioridades Existencia regulada por marco legal o reglamento Alineado a las prioridades de publicación de datos abiertos Utilidad para la gestión y seguimiento de programas Utilidad para la evaluación de Impacto de programas y proyectos 3. Utilidad/Impacto Evidencias de utilidad e impacto en las temáticas de buen gobierno, rendición de cuentas, servicios públicos, medio Ambiente, economía y social. Aceptable Si valor de Demanda  1 Y Valor de Prioridades  5 Y Valor de Utilidad/Impacto  1 El conjunto deberá por lo menos responder a los criterios siguientes: ValorDemanda  1 se sabe que hay demanda pero todavía no existe una evidencia documentada. Valor de Prioridades  5 por lo menos responde a una de las prioridades o la suma de las cuatro preguntas da un valor mínimo de cinco. Valor de Utilidad/Impacto  1 por lo menos se reconoce un uso potencial en unas de las temáticas de las preguntas.

Características de datos abiertos CUADRO 3 en libro Excel DATOS ABIERTOS Indicador Características de datos abiertos Formato de Dato Abierto Clasificación de formato de archivo de Datos Abierto Formato de licencia abierta Existencia de metadatos Existencia de diccionario de datos Existencia de un modelo entidad relación Existencia de catálogo de códigos Acceso a los datos/ necesidad de un registro de usuario Acceso a los datos/ gratuidad Actualización de los datos El conjunto de datos obtendra un nivel de No Aceptable : En caso de obtener un valor total igual a 0 o en una de las cuatro characterísticas de Datos Abiertos: formato de datos abiertos, formato de licencia abierta, necesidad de registro, gratuidad.

Evaluación de los datos Oportunidad y puntualidad CUADRO 4 en libro Excel CALIDAD Dimensión Indicador Comparabilidad 1.1. Longitud de las series temporales comparables. 1.2. Comparabilidad nacional e internacional del conjunto de datos (temática, geográfica) 1.3. Uso de clasificadores y códigos estándares Consistencia de datos 2.2. Consistencia de los datos Metadatos 3.1. Documentación de los datos 3.2. Coherencia de los metadatos con los datos. 3.3. Completitud del metadato en formato estándar Evaluación de los datos 4.1. Uso de claves únicas 4.2. Cobertura / omisión 4.3. Cobertura / comisión 4.4. Registros duplicados 4.5. Completitud (Omisión de registros) 4.6. Completitud (Omisión de datos por variables) 4.7. Errores de clasificación (exactitud temática) 4.8. Errores de ortografía 4.9. Errores en definición de variables (rangos) 4.10. Datos perdidos vs datos sin respuesta Oportunidad y puntualidad 5.1 - Puntualidad en el calendario de difusión/publicación de Datos Abiertos 5.2 - Lapso entre el final del período de referencia y la fecha de publicación del conjunto de Datos Abiertos 5.3 Actualidad de los datos

si una de las dimensiones obtiene un valor menor a 3. Valores del indicador de Calidad Valores totales Nivel Mínimo Máximo 2.99 No aceptable 3 3.49 Aceptable 3.5 3.99 Bueno 4 4.49 Muy bueno 4.5 5 Excelente El conjunto de datos obtendrá un nivel correspondiente a ‘No aceptable’ en caso de obtener un valor total menor a 3 considerando una escala de valores del 0 al 5. si una de las dimensiones obtiene un valor menor a 3.   Cabe mencionar que una calificación de ‘Aceptable’ también genera alertas de mejoras que aparecerán en el cuadro 5: Plan de Mejora y se tendrán que atender.

Ejemplos de evidencias Ejemplos de evidencias por dimensiones Dimensiones Ejemplos de evidencias Relevancia Demanda Formularios de encuesta, foros en línea, correo electrónicos. Prioridades Ley, reglamento, reporte o publicación de monitoreo y evaluación, estudio de impacto, publicación de un análisis espacial o indicadores. Utilidad e Impacto Artículo de prensa, estudio de impacto ambiental, Plan de Ordenamiento Ecológico territorial, Apps que usa los datos abiertos y mejora algún servicio público, un análisis del gasto anual por municipio. Datos Abiertos Criterios de datos abiertos Formatos de archivos, contenido de los metadatos, licencias y estándares. Calidad Comparabilidad Estándares (ej. SCIAN: Sistema de Clasificación Industrial de América del Norte, Marco Geoestadístico), metodología y diccionarios de datos del Atlas de Carretera de la Jalisco. Consistencia de datos Reporte de calidad, metadato Metadatos Reporte de calidad, diccionarios, metadato. Evaluación de datos Reportes de calidad, procedimientos de control de consistencia y topología. Oportunidad y puntualidad Plan de Apertura, metadato (periodo de referencia), reporte de levantamiento de los datos con fechas, programa de actualización de los datos.

PLAN DE MEJORA CUADRO 5 en libro Excel Problema El procedimiento no está documentado Causa Falta de integración de procedimientos e interacción entre procesos de información y operación de programas 1 Corrección Documentar el procedimiento de seguimiento considerando el procedimiento de producción de datos Acciones Responsable notifica el área de diseño de procesos Reunión de diseño del procesos Documentación del proceso Comunicación

HEDA: Impactos esperados Certeza de relevancia e impacto de los conjuntos de datos y aplicaciones en la comunidad. Retroalimentación efectiva por parte de usuarios directos. Nivel de apertura basado en estándares internacionales. Escalabilidad del uso de la herramienta en dependencias a nivel estatal y nacional.

HEDA: Condiciones básicas para su aplicación Para implementar la HEDA, se recomienda contar con las siguientes condiciones básicas del proceso general: La conformación e instalación de la mesa de trabajo de datos abiertos. La existencia de un proceso de inventario y clasificación de datos (información pública e información pública restringida), en cada entidad/ dependencia, conocido por parte de los responsables de conjuntos de datos. Capacitación de las entidades productoras de datos estadísticos y geográficos en conceptos de datos abiertos, clasificación de la información estadística y geográfica, técnicas de anonimización y documentación de datos.

Muchas gracias. Para consultas, favor dirigirse a Alejandro Medina Giopp, Especialista Senior de Monitoreo y Evaluación. amedinagiopp@worldbank.org