Proyecto Gestión PNR V2.

Presentación del tema: "Proyecto Gestión PNR V2."— Transcripción de la presentación:

1 Proyecto Gestión PNR V2

2 Bitácora Introducción Contexto del Sistema Ambiente
Tablas Control de Proceso Modelo de datos Pre-condiciones de Datastage Unix Requerimientos Archivos Shell Ejecución de procesos y Anexos Ejecución de procesos Nomenclatura utilizada Definiciones de Alto Nivel Screenshots Informes Vía Introducción Descripción General Alcance del Proyecto Contexto del Sistema Carga Diaria - Definición Carga Diaria – Etapas Control & Monitoreo – Definición Control Históricos – Definición Recarga – Definición Proceso Cutover - Definición

3 Descripción General Objetivos
Nombre del Proyecto New Host Gestión PNR V2 Patrocinador Daniela Baytelman Líder de Frente Sergio Soza Usuario Líder Jorge Mendoza Jefe del Proyecto LAN Cristián Abaroa Jefe de Proyecto Focus Gastón Navea Objetivos Bajo el contexto del Proyecto Host, GPNR debe adaptarse a diferencias derivadas de la transición por lo que se decide desarrollar GPNR V2. El nuevo sistema ya no dependerá de BPNR sino de los archivos CDD enviados por Sabre. Se generarán nuevos procesos extracción, transformación y carga en la aplicación, así como también cambios menores en el modelo de datos.

4 Alcance Proyecto El nuevo sistema se divide en los siguientes Módulos:
Proceso de Negocio: Carga Diaria Control Histórico Recarga. Cut Over: Cierre de Vigencias Carga Inicial Proceso Administración: Control & Monitoreo.

5 Carga Diaria - Definición
Proceso general de gestión PNR que permite volcar la información, correspondiente a un día de transacciones en el host, en el modelo Teradata de Gestión PNR. A continuación se describirán los sub procesos correspondientes a Carga Diaria.

6 Carga Diaria - Etapas Etapa 1:Validación (Datastage,Unix): Ejecuta validación de estructura de los archivos cdd, cantidad de columnas, validacion de tipo de dato, largo, nulo de columnas, validacion de existencia de archivos. Etapa 2:Extracción (Datastage,Teradata,Oracle,Unix): Ejecuta extracciones de datos desde las bases operacionales de Lan (snapshot) para disponibilizar los datos hacia las posteriores etapas del proceso. Etapa 3:Integridad (Datastage,Teradata,Unix): Ejecuta los subprocesos de integridad de PNR’s y transformaciones de datos complementarios. Etapa 4:Transformación (Datastage,Teradata,Oracle,Unix): Ejecuta los procesos de transformación de PNRs en formato CDD files a Formato GPNR y transformaciones de PFS. Etapa 5:Carga Intermedia (Datastage,Teradata,Unix): Ejecuta la carga intermedia de las tablas temporales correspondientes a entidades de PNR, y la carga en modelo productivo de las tablas lookup y PFS.

7 Carga Diaria - Etapas Etapa 6: Cálculos complejos (Datastage,Teradata,Unix): Ejecuta las rutinas de cálculo de atributos complejos de PNRs para reservas y segmentos. Agrega la data impactada por PFS. Etapa 7: Carga Cálculos Complejos (Datastage,Teradata,Unix): Ejecuta la carga final de entidades temporales en formato GPNR de los PNRs del día.  Etapa 8: Tratamiento de Vigencias (shell,Teradata,Unix): Abre y cierra vigencias de los PNRs. Etapa 9: Carga Final (shell,Teradata,Unix): Carga los datos previamente tratados de por vigencias a las tablas del modelo final. Etapa 10: Tickets Derivados y Reservas NT (shell,Teradata,Unix): Ejecuta los tickets derivados y las Reservas NT Etapa 11:Término de Procesos (shell,Teradata,Unix): Mueve los archivos a la carpeta de respaldo y genera informe final.

8 Modelo de Datos GPNR Tablas nuevas Tablas originales

9 Control y Monitoreo - Definición
El proceso de control y monitoreo para Gestión PNR se realiza sobre el procesos de carga diaria (o carga normal) y control de históricos de GPNR, pero puede ser usado para cualquier sistema que sea modelado a nivel de Procesos, Etapas y actividades.

10 Tablas Control de Proceso
Tablas nuevas

11 Tablas Control de Proceso
Tabla de Procesos Tabla de control que permite registrar el estado de ejecución de las shells pertenecientes a los diferentes tipos de procesos. Tabla Etapas Tabla de control que permite registrar el estado de ejecución de los jobs pertenecientes a cada etapa de un determinado proceso. Tabla de Actividades Tabla de control que permite registrar el estado de ejecución de los jobs/shells pertenecientes a cada actividad de una determinada etapa. Tabla de Recuperaciones Tabla de control que permite registrar el estado de ejecución perteneciente a cada proceso de recuperación realizada.

12 Control de Históricos - Definición
El Proceso de Control de Históricos es un proceso mensual encargado de borrar datos y archivos denominados como “historia” y se divide en tres etapas: Etapa I: Control histórico CDD files Etapa II: Control histórico de Tablas de Procesos Etapa III: Control histórico de Tablas de Negocio

13 Recarga - Definición La función principal del proceso de recarga es disponibilizar una herramienta que permita ejecutar un proceso de carga diaria recibiendo como input una fecha del pasado Un proceso de Recarga realiza los siguientes pasos: Recupera del path de respaldo de CDD files, el zip correspondiente a la fecha ingresada como input Descomprime el zip en el directorio base Ejecuta el proceso de carga diaria indicando que esa carga es parte de una recarga.

14 Proceso Cut Over - Definición
El proceso de Cut Over, en el contexto de Gestion PNR está compuesto de 2 subprocesos: Carga Inicial: Proceso que acumula, subdivide y carga una lista de PNR’s. La carga se realiza mediante el proceso de Carga Diaria. Cierre de Vigencias: Proceso que cierra las vigencias de los PNR’s que se van a migrar según una fecha determinada.

15 Pre – Condiciones de DataStage Unix
Los TNS asociados a Instancia OPER, FAST asociados al ambiente de instalación deben estar configurados en el archivo TNSNAMES. Para poder ejecutar dsjob es necesario poder actualizar siguiente parámetro en ambiente Unix donde reside servidor DataStage: cd `cat /.dshome` . ./dsenv Debe existir el Proyecto DSNHGPNR en el Servidor DataStage versión en los directorios: /dsapp /dsdata

16 Requerimientos Archivos Shell
Para la descarga de los archivos tipo Shell desde Harvest es necesario que ante cualquier migración vía FTP se deba utilizar el Modo de transferencia ASCII. Esto impide que se agregue el carácter ^M al final de cada archivo. En caso de que los archivos contengan el carácter ^M, se debe ejecutar a nivel de línea comando en Unix, ‘vi’ para el archivo con problemas y luego ejecutar siguiente comando: :1$s/^M//g En caso de que lo anterior no funcione, el comando: “dos2unix –ascii (filename) (filename)” también limpia el caracter ^M.

17 (Shell – Control M, On-Demand)
Ejecución de procesos N° Nombre proceso Tipo 1 Control Histórico SHELL_PROC_GPNR_CH.sh (shell-Control M) 2 Recarga SHELL_PROC_GPNR_RC.sh (On-Demand) 3.1 Carga Inicial SHELL_PROC_GENERA_ACUMULADO_CI.sh (Shell – Control M, On-Demand) 3.2 SHELL_PROC_ASIGNA_BLOQUE_CI.sh 3.3 SHELL_PROC_SUBDIVIDE_RES_TEMP.sh 3.4 SHELL_PROC_EJEC_PARALELO_CD_DAT.sh 4.1 Cierre de Vigencias SHELL_PROC_SEL_CIERRE_VIGENCIA.sh 4.2 SHELL_PROC_UPD_CIERRE_VIGENCIA.sh 5 Carga diaria SHELL_PROC_GPNR_CD.sh (shell- Control M)

18 Nomenclatura utilizada
Tipo de Proceso Alertas del Sistema Código Descripción Descripción de Referencia Origen RUNNING El estado del Job es “En Ejecución” DTS 1 FINISHED El estado del Job es “FINALIZADO SIN WARNING” 2 FINISHED (See Log) El estado del Job es “FINALIZADO CON WARNING” 3 ABORTED El estado del Job es “ABORTADO” 99 COMPILED El estado del Job es “COMPILADO” 21 HAS BEEN RESET El estado del Job es “RESETEADO” Código Descripción Origen Proceso termino Exitosamente SHELL 1 Proceso termino con Errores Estado de Proceso Código Descripción Descripción de Referencia Origen CD Carga Diaria Se identifica con la letra CD al proceso de Carga Diaria. SHELL CH Control Histórico Se identifica con la letra CH al proceso de Control Histórico. CI Carga Inicial Se identifica con la letra CI al proceso de Carga Inicial. CV Cierre de Vigencias Se identifica con la letra CV al proceso de Cierre de Vigencias. RC Carga Reproceso Se identifica con la letra RC al proceso de Recarga.

19 Definiciones de alto nivel
Proceso: Ejecución de un conjunto de etapas sucesivas que implementan una necesidad de negocio Etapa: Ejecución de un conjunto de actividades. Las etapas siempre son secuenciales, y por lo tanto a cada etapa se le asigna un orden de secuencia dentro del proceso. Actividad: Unidad funcional mínima y a diferencia de las etapas no tiene restricción de secuencialidad, por lo que eventualmente podrían ejecutarse de forma paralela

20 Definiciones de alto nivel
Recuperación: Cuando un proceso es gatillado luego de ocurrida una falla, se dice que es una recuperación del proceso. Control: Conjunto de elementos que permiten identificar un proceso, ejecutar sus etapas y en caso de falla reiniciar desde la última etapa ejecutada de forma exitosa. Monitoreo: Este concepto se reduce al conjunto de elementos que permiten monitorear un proceso. Entendiéndose como supervisión humana de los parámetros de monitoreo mientras un proceso está en curso con el objetivo de identificar posibles anomalías.

21 Screenshots Agrupación de Etapas Unix

22 Screenshots Tabla Procesos Tabla Etapas Tabla Recuperaciones
Tabla Actividades

23 Informes vía Email – Informe Final
TIPO PROCESO : CI  FECHA ARCHIVOS :   FECHA INICIO PROCESO : :53:02  FECHA FIN PROCESO : 2012/02/27 18:38:29  CANTIDAD DE REGISTROS QUE INICIARON VIGENCIA EN SEGMENTOS :        CANTIDAD DE REGISTROS QUE CERRARON VIGENCIA EN SEGMENTOS :           0  CANTIDAD DE REGISTROS QUE INICIARON VIGENCIA EN RESERVAS :        CANTIDAD DE REGISTROS QUE CERRARON VIGENCIA EN RESERVAS :           0  CANTIDAD DE REGISTROS QUE INICIARON VIGENCIA EN TICKET :        CANTIDAD DE REGISTROS QUE CERRARON VIGENCIA EN TICKET :        1018  CANTIDAD DE REGISTROS QUE INICIARON VIGENCIA EN RESERVAS PAX :        CANTIDAD DE REGISTROS QUE CERRARON VIGENCIA EN RESERVAS PAX :           0  CANTIDAD DE REGISTROS QUE INICIARON VIGENCIA EN DERIVADAS TICKET:       CANTIDAD DE REGISTROS QUE INICIARON VIGENCIA EN RESERVAS NT :     

24 Informes vía Email – Informe error
  *** INICIO PROCESO  : 2012/02/27 10:54:14      *** INICIO PROCESO VALIDACIÓN  :  2012/02/27_10:54:14      *** REVISION UPTIME MAQUINAS ...        --> * OK * La máquina Se encuentra OPERATIVA      --> * OK * La máquina Se encuentra OPERATIVA      --> * OK * La máquina Se encuentra OPERATIVA      --> * OK * La máquina Se encuentra OPERATIVA      *** REVISION UPTIME BASE DATOS ...        --> Generando conexion  SID : ldsbdcros1_fast      -->                     USR : SRVMDCNHGPNR      -->                     LOG : /dsdata/DSNHGPNR/LOG/LOG_CONEXION_ORA_ log      --> Revisando conexion SID : ldsbdcros1_fast  ...      --> * OK * La Base Datos ldsbdcros1_fast Se encuentra OPERATIVA      --> Generando conexion  SID :       -->                     USR : usr_dh_nhgpnrd      -->                     LOG : /dsdata/DSNHGPNR/LOG/LOG_CONEXION_TERA_ log      --> Revisando conexion SID :   ...      --> * OK * La Base Datos Se encuentra OPERATIVA    *** REVISION ESPACIO DISPONIBLE EN MAQUINA DATASTAGE ...           --> Espacio Utilizado en (directorio dsdata)                             [92] %      --> Espacio Maximo a Utilizado en (directorio dsdata) No debe superar al [90] %      --> Espacio disponible en dsdata insuficiente [92] %  el maximo utilizado NO debe superar al [90] %

25 Focus Business Solutions Barros Errazuriz 1953 – Of 605.
Providencia Santiago (Chile) Tel: (56 2) Fax:(56 2)