Algunas preguntas sobre Big Data y su relación con los INE

Presentación del tema: "Algunas preguntas sobre Big Data y su relación con los INE"— Transcripción de la presentación:

1 Algunas preguntas sobre Big Data y su relación con los INE
Los grandes volúmenes de datos o “Big Data” y los retos y oportunidades para los institutos de estadística Buenos días dr. Mauricio Perfetti, director del Departamento Administrativo Nacional de Estadística, directores y funcionarios de entidades públicas y privadas que nos acompañan, expertos internacionales y nacionales, funcionarios del DANE, señoras y señores. El Dane ha liderado en el país el desarrollo de la ciencia estadística y ha enfrentado los avatares que trae el desarrollo natural de toda ciencia. Hoy nos enfrentamos a una multiplicidad de retos que trae la sociedad de la información y lo que han llamado algunos teóricos “la revolución de los datos”. El advenimiento de este mundo hiperconectado nos presenta una realidad que nos invita a observar nuevas fuentes de información. Hoy queremos que nuestros invitados nos ayuden a vislumbrar los retos y oportunidades que presenta una de estas “fuentes” (o si es que incluso debemos tratarla como tal). Les hablamos de Big Data. El día de hoy queremos revisar el papel del DANE, las definiciones que hay alrededor de big data , algunas experiencias internacionales y las preguntas como instituto de estadística alrededor del tema Algunas preguntas sobre Big Data y su relación con los INE 1

2 Contenido Qué hace el DANE Qué es Big Data
Preguntas alrededor de Big Data entorno a los INES 1. 2. 3. El día de hoy queremos revisar el papel del DANE, las definiciones que hay alrededor de big data , algunas experiencias internacionales y las preguntas como instituto de estadística alrededor del tema 2

3 ¿Qué hace el DANE? El DANE Misión:
Organismo técnico de la Rama Ejecutiva del Poder Público, encargado de recopilar, producir, analizar y publicar la información estadística nacional de la República de Colombia Misión: Por mandato constitucional al Dane es el organismo técnico de la Rama Ejecutiva del Poder Público, encargado de recopilar, producir, analizar y publicar la información estadística nacional de la República de Colombia. Su misión es… Leer diapositiva 3. Producir y difundir información estadística estratégica para la toma de decisiones en el desarrollo económico y social del país. A partir de su liderazgo técnico ejercer la regulación del Sistema Estadístico Nacional. 3

4 El papel del DANE en el contexto del SEN: sus instrumentos
Diseño Ejecución y Procesamiento Análisis Difusión Planificación Estadística Regulación Estadística Calidad estadística para ello hay que recordar que el DANE es un organismo técnico de la Rama Ejecutiva del poder público, encargado de recopilar, producir, analizar y publicar la información estadística y cuya misión es producir y difundir información estadística estratégica de los sectores económicos, social y ambiental y coordinar el SEN. Como productor genera estadísticas estratégicas que requiere el país, siguiendo estándares técnicos , diseña. Ejecuta, procesa, analiza y difunde la información, y como coordinadores generamos instrumentos como la planeación: Proceso concertado entre los integrantes del Sistema Estadístico Nacional, para definir y priorizar las estadísticas que requiere el país, entre otras, con el fin de: Mejorar el diseño, evaluación y seguimiento de políticas públicas. Apoyar la toma de decisiones y permitir la gestión gubernamental y privada. Regulación estadística: Proceso mediante el cual los integrantes del SEN adoptan, un conjunto de principios, normas y estándares estadísticos que permiten la armonización, comparabilidad, agregabilidad, calidad e integración de las estadísticas oficiales en Colombia Carácter vinculante Se soporta en referentes internacionales Cuenta con espacios para la validación de los estándares Debe realizarse de forma permanente a lo largo del tiempo, no en único momento Aplicable a toda la actividad estadístico Calidad estadistica Proceso mediante el cual se garantiza rigor técnico en el proceso estadístico, en atención a las buenas prácticas internacionales de producción y los Principios Fundamentales de las Estadísticas Oficiales promulgados por las Naciones Unidas. Que buscamos con la coordinación Fortalecer la articulación y coordinación técnica e institucional de la actividad estadística. Elevar la capacitación y empoderamiento de productores y usuarios. Generar normas y estándares para el óptimo funcionamiento de la actividad estadística nacional. Brindar elementos para la adecuación de la producción, planeación, difusión y utilidad de las estadísticas oficiales requeridas en el país. Para cumplir su rol de productor y de coordinador del sen, el Dane se vale de los varios componentes que, articulados con los instrumentos antes expuestos, garantizan la calidad de la información estadística en el SEN. Y hoy dada las posibilidades tecnológicas de obtener información en tiempo real de algunas de las operaciones estadísticas que hoy los institutos generan , como por ejemplo información de precios, de migración , nacimientos, surge la pregunta de los INES de CUAL ES EL PAPEL DE LOS INES ANTE ESTOS GRANDES VOLUMENES DE INFORMACIÓN ¿ COMO LOS INES PUEDEN APROVECHAR ESTA INFORMACIÓN?. El tema de big data es una oportunidad para revisar la forma como nosotros producimos las estadísticas, pero también para revisar las ventajas de la producción masiva de datos y como el uso de esta información nos permitiría producir estadísticas con calidad Estamos en un mundo lleno de información, como ustedes saben. Y el DANE no es ajeno a esta situación. Nunca antes en la historia de la humanidad ha habido tanta información disponible. ¿Pero qué tipo de información necesitamos? ¿Qué de todo esa información nos sirve para mejorar nuestras decisiones, para obtener información de relevancia? Hemos escuchado que vivimos la “revolución de los datos”. Y como núcleo de esa revolución se encuentra el concepto de Big Data. ¿Pero qué es exactamente? ¿Cómo nos afecta eso como Instituto de Estadística? ¿Qué utilidad tendría? Empecemos por definir que se ha hecho al respecto. PRODUCCIÓN COORDINACIÓN 4

5 ¿Qué es Big Data? “Volumen masivo de datos, tanto estructurados como no-estructurados, los cuales son demasiado grandes y difíciles de procesar con las bases de datos y el software tradicionales" (ONU, 2012) Varias definiciones hay alrededor de Big Data, como la de Tom White quien define big data como “ colección de grandes conjuntos de datos complejos que tienen dificultad de ser procesados de las formas tradicionales” O la del instituto Global McKinsey en su reporte de Big Data de 2011 que señala que Big Data se refiere a conjuntos de datos cuyo tamaño está más allá de las capacidades típicas de bases de datos y software para ser administrados, almacenados y analizados. Pero está bien si utilizamos la adoptada por la ONU en 2012 como : “Volumen masivo de datos, tanto estructurados como no-estructurados, los cuales son demasiado grandes y difíciles de procesar con las bases de datos y el software tradicionales”. Esta definición ha sido acuñada por el señor Emmanuel Letouzé a quien invitamos a que nos ilustre más adelante con su conocimiento y experiencia alrededor del tema. Acá nos preguntamos cómo estos datos tienen las características que necesita el instituto?, 5

6 Algunas experiencias internacionales
a nivel gubernamental Corea del Sur: “Plan Maestro de Big Data para la Implementación de una Nación Inteligente” (2013), del gobierno coreano. Estados Unidos: “Iniciativa de I+D en Big Data” (2012), propuesta de la administración Obama, dirigido por la Oficina para la Ciencia y la Tecnología de la Casa Blanca. Japón: Dentro de la primera estrategia de crecimiento del Japón del gobiernode Shinzo Abe (“Desatar el poder del sector privado hasta su máxima extensión”), se encuentra un plan básico para aprovechar Big Data” (Mayo 2012). Los grandes volúmenes de datos han existido en tanto que la sociedad de la información y las actuales comunidades inteligentes producen información a través de diversos medios. Como tema de interés académico, ha sido trabajado desde los años cincuenta, pero en los últimos años, y con el surgimiento del término “Big Data”, que tiene un origen meramente empresarial, ha adquirido relevancia. Las posibilidades que la empresa privada ha hallado en Big Data (como lo muestra el investigador Kenneth Cukier, en The Economist o los múltiples informes de empresas privadas sobre el tema) han sido aprovechadas por iniciativas como Global Pulse para mostrar que con el uso de esos datos se puede obtener información que nos beneficie, que permita por ejemplo diagnosticar situaciones de riesgo de manera certera. Esto ha hecho que algunos gobiernos hayan empezado a trabajar en el tema: Como por ejemplo el gobierno de Corea del Sur con el “Plan Maestro para la implementación de una Nación Inteligente”, busca aprovechar Big Data como fuente de información. En Estados Unidos, la iniciativa Big Data ha destinado más de 200 millones de dólares en varios departamentos del Estado para investigar y ver que retos y oportunidades brinda el uso de esa información. Dentro de las estrategias de crecimiento del primer ministro japonés hay un plan para aprovechar Big Data, sobre todo en el desarrollo de sinergias entre el sector público y privado para facilitar la información de estos últimos en beneficio del primero. Finalmente, es importante señalar los múltiples encuentros alrededor del mundo sobre el tema. En particular debo señalar el Seminario de Asuntos Emergentes de la 44° Sesión de la Comisión de estadísticas de naciones unidas . El nombre del seminario fue: Big Data para la Política, el Desarrollo y las Estadísticas Oficiales. Comisión Estadística de Naciones Unidas: Seminario de Asuntos Emergentes en la 44°Sesión de la Comisión: Big Data para la Política, el Desarrollo y las Estadísticas Oficiales 6

7 Lo que algunos consideran debe ser la relación Big Data - INE
. Como puede verse, la revolución de los datos nos afecta a todos y sobre esta situación ya empezado a reflexionar los INES alrededor del mundo. Les quiero mostrar algunas consideraciones: Venimos en un contexto, algunos gobiernos están tomando acciones para incorporar datos masivos para producir estadísticas y hay Institutos de estadística que están viendo potencialidades para mejorar sus marcos metodológicos, mejorar la calidad de las estimaciones, producción de estadísticas basadas en big data, para mejorar la eficiencia de las operaciones, para producir estadísticas más oportunas 7

8 Lo que algunos consideran debe ser la relación Big Data - INE
“Si los gobiernos quisieran, podrían ya dejar que los grandes datos (y el sector privado) tengan un papel en el suministro de información sobre los temas que están actualmente en el ámbito de las oficinas nacionales de estadística” (Comisión Estadística de las Naciones Unidas, 2013)”. Como puede verse, la revolución de los datos nos afecta a todos y sobre esta situación ya empezado a reflexionar los INES alrededor del mundo. Les quiero mostrar algunas consideraciones: Venimos en un contexto, algunos gobiernos están tomando acciones para incorporar datos masivos para producir estadísticas y hay Institutos de estadística que están viendo potencialidades para mejorar sus marcos metodológicos, mejorar la calidad de las estimaciones, producción de estadísticas basadas en big data, para mejorar la eficiencia de las operaciones, para producir estadísticas más oportunas 8

9 Lo que algunos consideran debe ser la relación Big Data - INE
“¿Cuál es el futuro del uso de Big data para el sistema estadístico de Los Estados Unidos? Veo un potencial inmediato: usar Big data para mejorar la calidad de nuestros estimados dentro de nuestros marcos metodológicos actuales”. Michael W. Horrigan  Comisionado asociado en la Oficina de Precios y Condiciones de Vida de la Oficina de Estadísticas Laborales de Estados Unidos Como puede verse, la revolución de los datos nos afecta a todos y sobre esta situación ya empezado a reflexionar los INES alrededor del mundo. Les quiero mostrar algunas consideraciones: Venimos en un contexto, algunos gobiernos están tomando acciones para incorporar datos masivos para producir estadísticas y hay Institutos de estadística que están viendo potencialidades para mejorar sus marcos metodológicos, 9

10 Lo que algunos consideran debe ser la relación Big Data - INE
“Algún día los INE tendrán que decidir si producen estadísticas basadas en Big Data” Ki-Jong Woo. Comisionado del Instituto Nacional de Estadísticas de Corea del Sur (KOSTAT). producción de estadísticas basadas en big data, 10

11 Lo que algunos consideran debe ser la relación Big Data - INE
“La Oficina de Censos está incorporando soluciones de Big Data para mejorar la eficiencia de las operaciones a través del ciclo de vida de la encuesta” William G. Bostic, Jr. Director Asociado, Programas Económicos. Oficina de Censos de los Estados Unidos. para mejorar la eficiencia de las operaciones, para producir estadísticas más oportunas 11

12 Preguntas Sobre “Big Data” desde el DANE
Sistema Estadístico Nacional Preguntas Sobre “Big Data” desde el DANE Cuál es la utilidad de Big Data para la producción de estadísticas oficiales?. Para producir estadísticas oficiales ¿debemos saltar a “Big Data”, cuando aún estamos en proceso de maduración del uso de registros administrativos?. ¿Cómo , dónde y cuándo podemos usar “Big Data”, para tomar decisiones en asuntos de políticas públicas? ¿Si se usará “Big Data” para la producción de estadísticas oficiales, como mantener los asuntos de reserva estadística propios de los INEs?. Bajo este panorama general, que sin duda será ampliado por quienes me seguirán en el uso de la palabra, quisiera, desde el DANE como Entidad encargada de las estadísticas oficiales que hagamos algunas reflexiones, varias de las cuales los grupos de trabajo de las Oficinas de Estadísticas o los INEs se están haciendo. Cuál es la utilidad de big data para la producción de estadísticas oficiales? Big data se puede utilizar por ejemplo para hacer seguimiento a una epidemia o el trafico urbano casi en tiempo real, pero para el tema de las estadísticas oficiales exactamente para qué puede servir? Para producir estadísticas oficiales ¿debemos saltar a “Big Data”, cuando aún estamos en proceso de maduración del uso de registros administrativos con fines estadísticos?. El término Big Data se acuña alrededor de grandes conjuntos de datos (data sets) que superan los Terabytes(=1000 GB) . Registros tan importantes como los de personas que en el caso de Colombia no superan los centenares de Gigas o los registros básicos de las estadísticas vitales si consideramos que por cada ciudadano los registros vitales no superan los 10MB de información estos apenas nos darían 400 millones de megas es decir 400 GB. Aún no hemos madurado el uso de estas bases de datos, Es importante tener en el panorama lo que se va hacer con big data pero se debe madurar el uso estadístico de registros administrativos. ¿Cómo , dónde y cuándo podemos usar “Big Data”, para tomar decisiones en asuntos de políticas públicas? En qué casos se van a necesitar esos volúmenes de datos?, ¿Si se usará “Big Data” para la producción de estadísticas oficiales, como mantener los asuntos de reserva estadística propios de los INEs?. Big Data combina datos de diversas fuentes, como será el tratamiento de información reservada que se combine con aquella que no lo es? 12

13 Preguntas Sobre “Big Data” desde el DANE
Sistema Estadístico Nacional Preguntas Sobre “Big Data” desde el DANE Si Big Data se computa y guarda en la “nube” ¿Qué retos legales con relación a la información de nuestros ciudadanos deben enfrentar los gobiernos y en particular los INEs?. Qué consecuencias positivas y negativas puede tener el uso de Big Data para políticas públicas?. ¿Si los INEs incorporamos Big Data en la producción estadística, debemos adquirir bases de datos de proveedores particulares?. ¿Son aplicables los modelos de planeación estadística que incorporen el uso de Big Data? Una de las caraterísticas de Big Data es que los altos volúmenes y la producción casi en tiempo real llevará a computación en la nube (grid computing), que hay de los datos de los ciudadanos que quedan en la nube, podrán los INE preservas características como la anonimicidad. O como daríamos respuesta a temas de Habeas Data o como cambiaría este con el uso de Big Data. Si Big Data se computa y guarda en la “nube” ¿Qué retos legales con relación a la información de nuestros ciudadanos deben enfrentar los gobiernos y en particular los INEs?, Una de las caraterísticas de Big Data es que los altos volúmenes y la producción casi en tiempo real llevará a computación en la nube (grid computing), que hay de los datos de los ciudadanos que quedan en la nube?, podrán los INE preservar características como la anonimicidad.? Qué consecuencias positivas y negativas puede tener el uso de Big Data para políticas públicas?. Oiremos y oimos cosas maravillosas de Big Data, pero que consecuencias negativas puede traer? Los altos niveles de computación, el acceso a los datos que se producen en la red y se almacenan en ella deja abierta la pregunta de cómo tener acceso a estos datos y a esa capacidad de computo. Una última pregunta habiendo más. ¿Si los INEs incorporamos Big Data en la producción estadística, debemos adquirir bases de datos de proveedores particulares?. Finalmente, los grandes volúmenes de datos o “Big Data” estarán en nuestra agenda como Entidad encargada de la producción oficial y queremos estar al tanto de cómo aprovecharlos, lo cual sin duda requerirá no solo nuevas herramientas tecnológicas y nuevos procedimientos, si no antes que nada nuevas reglas que faciliten su uso y garanticen los derechos de los ciudadanos. Los dejo ahora con nuestros expertos, que podrán ayudarnos a responder los interrogantes que tenemos alrededor del tema. Fin de la presentación 13

14 Y más preguntas… ¿Cúal es el balance entre acceso el acceso a la información, la confidencialidad y el derecho a la intimidad? ¿Qué retos sobre la privacidad enfrentaría el DANE respecto a la confianza del público y la aceptación para la reutilización de los datos y su vinculación con otras fuentes de información? ¿Cómo cambiarán los modelos de producción estadísticas de los INEs con Big Data? ¿El uso de Big Data requerirá nuevas habilidades de nuestro personal en el DANE, en que deberíamos reentrenarlos? ¿Son aplicables los modelos de planeación estadística que incorporen el uso de Big Data?

15 Y más preguntas… ¿Podría Big Data ayudar a compensar la falta de respuesta en las investigaciones estadísticas? ¿Podría Big Data ayudar a mejorar la frecuencia y puntualidad de la publicación de datos? ¿Podría ayudar a mejorar la calidad y proporcionar estimaciones para áreas más pequeñas? ¿Podrían generarse métodos estadísticos más robustos (esto es, más tolerantes a los datos erróneos y las salidas desde las suposiciones del modelo) o nuevos modelos?

16 Y más preguntas… ¿Qué retos legales enfrentaría el DANE respecto al acceso y el uso de los datos? ¿Qué retos sobre la privacidad enfrentaría el DANE respecto a la confianza del público y la aceptación para la reutilización de los datos y su vinculación con otras fuentes de información? ¿Qué retos financieros asumiría el DANE respecto a los costos potenciales de los datos frente a los potenciales beneficios? ¿Qué retos de gestión asumiría el DANE respecto a las políticas y directrices sobre el manejo y la protección de los datos? ¿Qué retos metodológicos enfrentaría? Esto es, ¿Qué retos, en términos del aseguramiento de la calidad de los datos y la idoneidad de los métodos estadísticos asumiría? ¿A qué retos tecnológicos se enfrentarían el DANE?

17 Los dejamos ahora con nuestros expertos, que podrán ayudarnos a responder los interrogantes que tenemos alrededor del tema. 17