Mayo 2012. 2 Inicio Presentación  Contexto General  Preparación del ambiente  Estructura  Modelo de Datos  Requerimientos del Sistema  Procesos.

Presentación del tema: "Mayo 2012. 2 Inicio Presentación  Contexto General  Preparación del ambiente  Estructura  Modelo de Datos  Requerimientos del Sistema  Procesos."— Transcripción de la presentación:

1 Mayo 2012

2 2 Inicio Presentación  Contexto General  Preparación del ambiente  Estructura  Modelo de Datos  Requerimientos del Sistema  Procesos y Etapas del Sistema  Debug del Sistema  Check List de Diagnostico

3  Descripción del Proceso Bajo el contexto del Proyecto Host, GPNR debe adaptarse a diferencias derivadas de la transición por lo que se decide desarrollar GPNR V2. El nuevo sistema ya no dependerá de BPNR sino de los archivos CDD enviados por Sabre. Se generarán nuevos procesos extracción, transformación y carga en la aplicación, así como también cambios menores en el modelo de datos. 3 Nombre del ProyectoNew Host Gestión PNR V2 PatrocinadorDaniela Baytelman Líder de FrenteSergio Soza Usuario LíderJorge Mendoza Jefe del Proyecto LANCristián Abaroa Jefe de Proyecto FocusGastón Navea

4 4 NroTareas a realizar 1 Validar tabla de Procesos en el modelo de Control (Teradata), el último proceso no debe estar incompleto o erróneo (estado diferente de EX), si esto fuera así, será gatillada automáticamente una recuperación y no se podrá correr un proceso limpio. 2 Deben estar en la carpeta /dsdata/DSNHGPNR/DAT/CARGADIARIA, los archivos CDD necesarios para la ejecución del proceso.

5 5

6 6 Tablas nuevas Modelo de Datos GPNR Tablas originales

7 7 Requerimientos de Hardware Requerimientos Mínima Recomendada Memoria RAM 2.50 [GB] 3.50 [GB] Discos Reservado Áreas de Sort (dsproject) 500 [MB] Áreas de Data 1 [GB] Áreas Temp 2.50 [GB] Áreas de Hash 600 [MB] CPU 4 [CPU] 1.500 [MHz] Espacio Teradata: Requerimientos Mínima Recomendada BDD Work6.00 [GB] 8.00 [GB] BDD Temp6.00 [GB] 8.00 [GB] BDD Ctrl1.00 [GB] 2.00 [GB] BDD Logs1.00 [GB] 1.00 [GB]

8 8 Ejecución de procesos N° Nombre proceso Tipo Periodici dad 1 Control Histórico SHELL_PROC_GPNR_CH.sh (shell-Control M) Mensual 2Recarga SHELL_PROC_GPNR_RC.sh (On-Demand) Eventual 3.1Carga Inicial SHELL_PROC_GENERA_ACUMULADO_CI.sh (Shell – Control M, On-Demand) Eventual 3.2Carga Inicial SHELL_PROC_ASIGNA_BLOQUE_CI.sh (Shell – Control M, On-Demand) Eventual 3.3Carga Inicial SHELL_PROC_SUBDIVIDE_RES_TEMP.sh (Shell – Control M, On-Demand) Eventual 3.4Carga Inicial SHELL_PROC_EJEC_PARALELO_CD_DAT.sh (Shell – Control M, On-Demand) Eventual 4.1 Cierre de Vigencias SHELL_PROC_SEL_CIERRE_VIGENCIA.sh (Shell – Control M, On-Demand) One- Time 4.2 Cierre de Vigencias SHELL_PROC_UPD_CIERRE_VIGENCIA.sh (Shell – Control M, On-Demand) One- Time 5Carga diaria SHELL_PROC_GPNR_CD.sh (shell- Control M) Diaria

9 9  Ejecutada la Shell (SHELL_PROC_GPNR_CD.sh ), por pantalla se mostrara información relacionada al status (on line) del proceso, además se genera un archivo log con el detalle de la ejecución. La ejecución es sin parámetros.

10  Entre las validaciones que se realizan durante la ejecución: ◦ REVISION UPTIME DE MAQUINAS ◦ REVISION UPTIME BASE DATOS ◦ REVISION ESPACIO DISPONIBLE EN MAQUINA DATASTAGE ◦ REVISION UPTIME DE SERVICIO DE DATASTAGE 10

11  Etapa 1:Validación (Datastage, Unix): Ejecuta validación de estructura de los archivos CDD, cantidad de columnas, validación de tipo de dato, largo, nulo de columnas, validación de existencia de archivos. 11

12  Etapa 1:Validación. 12

13  Etapa 2:Extracción (Datastage, Teradata, Oracle, Unix): Ejecuta extracciones de datos desde las bases operacionales de Lan (snapshot) para disponibilizar los datos hacia las posteriores etapas del proceso. 13

14  Etapa 2:Extracción. 14

15  Etapa 2:Extracción. 15

16  Etapa 2:Extracción. 16

17  Etapa 2:Extracción. 17

18  Etapa 3:Integridad (Datastage, Teradata, Unix): Ejecuta los subprocesos de integridad de PNR’s y transformaciones de datos complementarios. 18

19  Etapa 3:Integridad. 19

20  Etapa 3:Integridad. 20

21  Etapa 3:Integridad. 21

22  Etapa 3:Integridad. 22

23  Etapa 3:Integridad. 23

24  Etapa 3:Integridad. 24

25  Etapa 4:Transformación (Datastage, Teradata, Oracle, Unix): Ejecuta los procesos de transformación de PNRs en formato CDD files a Formato GPNR y transformaciones de PFS. 25

26  Etapa 4:Transformación. 26

27  Etapa 5:Carga Intermedia (Datastage, Teradata, Unix): Ejecuta la carga intermedia de las tablas temporales correspondientes a entidades de PNR, y la carga en modelo productivo de las tablas lookup y PFS. 27

28  Etapa 5:Carga Intermedia. 28

29  Etapa 5:Carga Intermedia. 29

30  Etapa 5:Carga Intermedia. 30

31  Etapa 5:Carga Intermedia. 31

32  Etapa 5:Carga Intermedia. 32

33  Etapa 6: Cálculos complejos (Datastage, Teradata, Unix): Ejecuta las rutinas de cálculo de atributos complejos de PNRs para reservas y segmentos. Agrega la data impactada por PFS. 33

34  Etapa 6: Cálculos complejos. 34

35  Etapa 6: Cálculos complejos. 35

36  Etapa 6: Cálculos complejos. 36

37  Etapa 6: Cálculos complejos. 37

38  Etapa 6: Cálculos complejos. 38

39  Etapa 7: Carga Cálculos Complejos (Datastage, Teradata, Unix): Ejecuta la carga final de entidades temporales en formato GPNR de los PNRs del día. 39

40  Etapa 7: Carga Cálculos Complejos. 40

41  Etapa 8: Tratamiento de Vigencias (shell, DataStage, Teradata, Unix): Abre y cierra vigencias de los PNRs. 41

42  Etapa 8: Tratamiento de Vigencia. 42

43  Etapa 9: Carga Final (shell, Teradata, Unix): Carga los datos previamente tratados de por vigencias a las tablas del modelo final. 43

44  Etapa 10: Tickets Derivados y Reservas NT (shell, Teradata, Unix): Ejecuta los tickets derivados y las Reservas NT 44

45  Etapa 11:Término de Procesos (shell, Teradata, Unix): Mueve los archivos a la carpeta de respaldo y genera informe final. 45

46 46 TIPO PROCESO : CI FECHA ARCHIVOS : 20111201 FECHA INICIO PROCESO : 2012-02-27 15:53:02 FECHA FIN PROCESO : 2012/02/27 18:38:29 CANTIDAD DE REGISTROS QUE INICIARON VIGENCIA EN SEGMENTOS : 553076 CANTIDAD DE REGISTROS QUE CERRARON VIGENCIA EN SEGMENTOS : 0 CANTIDAD DE REGISTROS QUE INICIARON VIGENCIA EN RESERVAS : 199999 CANTIDAD DE REGISTROS QUE CERRARON VIGENCIA EN RESERVAS : 0 CANTIDAD DE REGISTROS QUE INICIARON VIGENCIA EN TICKET : 293094 CANTIDAD DE REGISTROS QUE CERRARON VIGENCIA EN TICKET : 1018 CANTIDAD DE REGISTROS QUE INICIARON VIGENCIA EN RESERVAS PAX : 328213 CANTIDAD DE REGISTROS QUE CERRARON VIGENCIA EN RESERVAS PAX : 0 CANTIDAD DE REGISTROS QUE INICIARON VIGENCIA EN DERIVADAS TICKET: 2284316 CANTIDAD DE REGISTROS QUE INICIARON VIGENCIA EN RESERVAS NT : 969803

47  Revisión tablas de control  Verificar que el número de secuencia de la ultima etapa ejecutada y su estado. 47

48  Revisión DataStage Director  Verificar todos los jobs de la etapa se encuentren Finished 48

49  Revisión Archivo Log (/dsdata/DSNHGPNR/LOG/LOG_TMP_$TIPOPROCESO_YYYMM DD.log)  Verificar output de las actividades para validar causa del error. 49

50  Reintentar ejecución del proceso para verificar output de las actividades para validar causa del error. 50

51 51