Integración de la Recogida de la Información y su Administración

Presentación del tema: "Integración de la Recogida de la Información y su Administración"— Transcripción de la presentación:

1 Integración de la Recogida de la Información y su Administración
I.R.I.A Integración de la Recogida de la Información y su Administración Jose Luis Maldonado Madrid, Diciembre 2012

2 SITUACION ACTUAL Diversas aplicaciones para la recogida de información (AplicaciónEncuesta). Sistemas independientes (stovepipes). Complejidad contratación, desarrollo, mantenimiento y altos costes. Se precisa realizar el cambio de un sistema stovepipe a un sistema de producción estadística con sistemas de almacenamiento de datos corporativos.

3 ESTRATEGIA Construir sistemas integrados de información.
Manejados por herramientas estandarizadas (únicas o no, según la fase del proceso de producción). Todo relacionado mediante un sistema corporativo de metadatos que permita la reutilización y la integración.

4 VISION GENERAL

5 SISTEMA DE METADATOS Cada una de las propiedades y parámetros del proceso productivo queda reflejado en un sistema de Metadatos corporativo que permitirá la reutilización en otras operaciones. Metadatos estructurales (variables, conceptos, categorías, etc), necesarios para la recogida. Metadatos de referencia, asociados a la metodología de la encuesta. Metadatos de proceso, asociados al tratamiento de la información. Metadatos de calidad, que incluyen las descripciones cuantitativas y cualitativas de cada operación estadística

6 SISTEMA DE APROVECHAMIENTO DE REGISTROS
A partir de fuentes administrativas (y del propio INE-encuestas), se establece un Sistema de Aprovechamiento de Registros que perimirá: En fases previas a la recogida: Disponer de marcos y muestras de mayor calidad que permitan disminuir la carga administrativa de los informantes.

7 SISTEMA DE APROVECHAMIENTO DE REGISTROS
En fases de procesamiento de la información (validación, depuración, imputación, elevación e imputación): Aunque en la actualidad, el INE ya utiliza otras fuentes para las fases de procesamiento, con este sistema lo que se pretende es tener herramientas corporativas que estandaricen el proceso.

8 SISTEMA DE PROCESAMIENTO DE LA INFORMACIÓN
Fases muy complejas de estandarización. En una primera fase, solo se incluirán los actuales procesos de procesamiento apoyados por el sistema de Metadatos. En cualquier caso, el resultado de estos procesos se grabarán en BASES DE DATOS CORPORATIVAS. Integración de validación manual y depuración, imputación automática (DIA) con IRIA.

9 DEPURACIÓN SELECTIVA Con métodos de depuración selectiva, se permite disminuir drásticamente en número de re-contactos con el informante. A efectos prácticos, los métodos de Depuración Selectiva, tiene por finalidad determinar, para unos determinados márgenes de confianza, cuantos y qué registros deben ser depurados manualmente.

10 IRIA El objetivo es disponer de una herramienta completamente parametrizada que permita la recogida de información de las encuestas del Instituto Nacional de Estadística, bien sean sociales o económicas, coyunturales o estructurales, y por los canales de recogida establecidos (telefónico, presencial, correo – papel, Internet, etc.), generando una base de datos corporativa de datos brutos.

11 100% Referencia y Estructurales
SITUACIÓN ACTUAL En fase de análisis D.75% D.90% No Iniciado 100% Referencia y Estructurales

12 IRIA: OBJETIVO Disponer de una herramienta completamente parametrizada de usuario final que les permita definir, diseñar, construir y explotar sistemas de recogida de datos tanto para encuestas estructurales o coyunturales dirigidas a hogares o empresas y para los diferentes canales de recogida, siendo la integración y la reutilización dos de sus principales características.

13 IRIA: OBJETIVO La integración y reutilización de los distintos componentes, solo es posible si se consigue una herramienta parametrizada que permita comportamientos distintos en distintas encuestas o canales de recogida. Buscamos la mayor cantidad de propiedades de cada pieza del puzzle. Aplicación Recogida 1 Aplicación Recogida 2

14 USUARIO FINAL Su uso tanto por usuarios avanzados como básicos, por lo que dispone de un interfaz amigable. Contiene múltiples puntos de ayuda en el diseño de cuestionarios. Permite la realización de pruebas que aseguran que los cuestionarios no incluyen errores.

15 ENTORNO TECNOLOGICO IRIA es íntegramente una aplicación Web, desarrollada en Java 6, con utilización de las siguientes tecnologías. Capa Componente Presentación JSF 1.2/2.0, Facelets, Richfaces, JSP 2.1, Servlet 2.5 Persistencia JPA 1.0 (OpenJPA 1.2.2)/2.0, JDBC XML XML, XSLT, XSD, JAXB Servicios web AXIS, JAXB-WS Servidor de Aplicaciones JBoss 5.1/6.1 EAP Base de datos Oracle 11gR2 Otras HTML, Javascript (servidor), CSS

16 Iria Designer Iria Portal Iria Engine
MODULOS (CORE) Iria Designer Creación de Cuestionarios/Encuestas Iria Portal Portal para la recogida CAWI Iria Engine Motor para la realización de entrevistas Iria Manager Administración y Gestión de encuestas Iria DataCollection Gestión de la recogida en CAPI, CATI, PAPI…)

17 FASES DE DESARROLLO Fase 1 :Administración, diseñador y recogida CAWI: Finalizada. En explotación 14 encuestas. Fase 2 :Recogida CAPI, CATI, Papel: Fase 2.0 : Módulos comunes: Finalizada. Fase 2.1 : Inclusión resto de canales: De Febrero a Septiembre Canal CAPI Marzo 2013. Fase 3 : Mejoras e implantación de otras tecnologías en apoyo a la recogida de datos.

18 IRIA MANAGER Módulo de Administración del Sistema: Seguridad, gestión de roles y usuarios, gestión de encuestas, propiedades de cada canal de recogida, asignación de unidades muestrales, etc. Administrador del sistema: Gestió de elementos básicos (usuarios, roles, mantenimiento de tablas, etc.). Administrador de encuestas: Creación y mantenimiento de los elementos de cada encuesta: propiedades de encuesta, periodos, usuarios de la encuesta, unidades de recogida, etc. Administrador de unidades: Gestión de tablas de IRIA con las unidades que serán asignadas a las diversas encuestas (viviendas, personas, unidades económicas y otras entidades).

19 IRIA DESIGNER Módulo de diseño y pruebas de los cuestionarios.
Permite de una manera visual ir generando el cuestionario, sus validaciones, sus flujos, previsualizar las preguntas, y realizar las pruebas para confirmar el correcto comportamiento de la entrevista. Dispone de múltiples ayudas como el flujo del cuestionario en modo visual.

20 IRIA DESIGNER Tres niveles de usuario:
Básico: podrá crear estructuras del guión y preguntas utilizando las funcionalidades básicas del interfaz. Se incluye la creación de validaciones y flujos simples. Avanzado: asignará propiedades avanzadas a las preguntas y otros elementos, y podrá introducir SQL y lenguaje de scripting, creando estructuras más complejas. Experto: podrá acceder al código de creación del guión (XML). RESERVADO A INFORMATICA

21 IRIA ENGINE Ejecutor de las entrevistas.
Se encarga de arrancar la entrevista, interpretar los elementos y atributos asignados en Designer, controlar los flujos, las expresiones o ejecución de funciones, las validaciones, …., y controla la finalización de entrevista. Común para todos los canales de recogida.

22 IRIA PORTAL Portal para la recogida de información por Internet.
Dispone de tres tipos de acceso: Pareja de claves, Usuario registrado, Certificado electrónico.

23 IRIA DATACOLLECTION Gestión de la recogida para los canales de recogida CAWI,CAPI, CATI y PAPI. Este módulo está en desarrollo, habiendo comenzado por las funcionalidades comunes a todos los canales de recogida (asignación de trabajo, consultas parametrizables, zona de trabajo de la gestión de la recogida, comunicaciones con informantes, inspección, colas de trabajo, listados y tablas de control y seguimiento… SINCRONIZACION DE DATOS.

24 UTILIDADES DE USUARIO DATACOLLECTION
Se basa en consultas y dispone de un potente asistente generador de las mismas. Cada usuario define sus consultas y las puede compartir. WorkFlow para permitir ajustar el flujo de trabajo según necesidades de cada encuesta y la multicanalidad. El espacio de trabajo para la gestión de la recogida se define y ejecuta mediante portlets.

25 UTILIDADES DE USUARIO DATACOLLECTION
Conocimiento de la situación de la recogida, y de las respuestas de las entrevistas por cruce de variables. Pentaho. Hoja de ruta, con todo el histórico de acciones realizadas sobre una unidad. CAPI. Recogida tracking y visor sobre mapa CAPI. Sincronización 3G CATI. Integración CTI, grabación de audio.

26 IRIA DATACOLLECTION CATI CAWI CAWI BD Central BD Central CAPI PAPI
SINCRONIZACIÓN DE DATOS DIFERENTES CANALES CATI CAWI CAWI BD Central BD Central CAPI PAPI CAPI PAPI

27 UTILIDADES DE USUARIO DATACOLLECTION
PAPI. Acceso a documentación digitalizada Comunicaciones con los informantes: diseño, y edición de plantillas para mailing, generación de etiquetas o cartas

28 VENTAJAS Disponer de un único sistema de creación de encuestas multicanal permite: Distribuir tareas, entre diversas unidades del INE, pudiendo hacer las tareas en paralelo (parametrización), o en serie (diseño de cuestionarios) según los conocimientos de los usuarios que diseñan los cuestionarios. Disponer de un solo repositorio con toda la información de las encuestas.

29 VENTAJAS Reaprovechamiento de la información de unas encuestas en otras. Reaprovechamiento de elementos de definición de unas encuestas en otras. Reaprovechamiento de la formulación de preguntas y sus listas asociadas de una biblioteca (metadatos)

30 VENTAJAS-DATOS Disminución del tiempo de generación de encuestas: de 8 a 2-3 meses. Disminución costes: Ahorro 1 mill € anuales en ecuestas de tracto continuo. Modificación forma de recogida de datos: Encuesta de Explotaciones Agrícolas. 2007: Coste total: € (entrevista personal + grabación). 2013: Presupuestado: € (todos los canales).  AHORRO DE MAS DEL 50%

31 VENTAJAS-DATOS Liberación de recursos personales de informática
De las 14 encuestas económicas que en la actualidad están en explotación y un piloto de hogares: NINGUNA HA SIDO DESARROLLADA POR INFORMÁTICA.