Transformación de mensajes 2014-08-08 OTN Tour 2014 México, DF ----- Meeting Notes (12/4/13 10:12) ----- REDUCIR la complejidad de la integración de datos... A eso se dedica Volante

Datos personales Arturo Moreno. 5 años como arquitecto de soluciones en Volante Technologies. Proyectos de integración: General Electric. Ford Motor Company. Bank of New York Mellon. MasterCard. HSBC.

Integración de sistemas

Una definición de integración Conectar sistemas, compañías y gente.

¿Por qué es necesaria la integración? Una sola aplicación no es capaz de resolver todos los problemas del negocio. La resolución de un problema puede involucrar a más de una aplicación. Necesidad de comunicarse con el exterior. Intercambiar información. Compartir funcionalidad.

Impulsores de la integración Cambio regulatorio Nuevos servicios Agilidad del negocio (tiempo de lanzamiento de productos y servicios) Instituciones financieras Corporativos Reducción de costos Consolidación geográfica Gobierno Industria Incorporación de nuevos clientes / proveedores Actualizaciones y adiciones a estándares Cambio tecnológico 6

Técnicas de integración

¿Cómo integrar sistemas? Transferencia de archivos (FTP, SMB) Base de datos (RDBM, NoSQL) Invocación remota (RMI, CORBA, Web services) Mensajería (MQ, JMS)

Transferencia de archivos

Transferencia de archivos Ventajas Funcionalidad disponible en prácticamente cualquier plataforma. Transmisión de información en múltiples formatos. Desacoplamiento entre aplicaciones. Transmisión de grandes volúmenes de información en pocos intercambios.

Transferencia de archivos Desventajas Funcionalidad avanzada debe implementarse desde cero. No recomendable en casos donde la transmisión de información deba ocurrir rápidamente. Sincronización entre aplicaciones se vuelve problemática. Sólo permite compartir datos, no funcionalidad.

Base de datos

Base de datos Ventajas Se puede compartir información de forma rápida. Consistencia. Todas las aplicaciones comparten la misma fuente de datos con la misma estructura. Transaccionalidad manejada por la base de datos.

Base de datos Desventajas Diseñar una base de datos que satisfaga los requerimientos de todas las aplicaciones. Acoplamiento de aplicaciones a través de la base de datos. Casi imposible integrar aplicaciones de terceros con este método. Base de datos puede volverse un cuello de botella. Acceso a base de datos se vuelve lento si las aplicaciones están distribuidas en distintos lugares geográficos. Sólo permite compartir datos, no funcionalidad.

Invocación remota

Invocación remota Ventajas Ideal si se busca compartir funcionalidad entre aplicaciones. Cada aplicación es responsable de mantener la integridad de su información.

Invocación remota Desventajas Es necesario, en muchos casos, conocer las interfaces de comunicación de antemano. Si no se toman las medidas correctas el desempeño puede volverse lento e impredecible. Aplicaciones no están completamente desacopladas. Funcionamiento síncrono. Compartición limitada de datos.

Mensajería

Mensajería Ventajas Permite compartir datos y funcionalidad entre aplicaciones. Ideal para comunicación en tiempo real. Transmisión asíncrona. Las aplicaciones no tienen que estar corriendo al mismo tiempo. Completo desacoplamiento entre aplicaciones. Manejo de grandes volúmenes de información.

Mensajería Desventajas Aumenta la complejidad de la integración. No es ideal cuando se comparte una gran cantidad de información en pocos intercambios.

Mensajería a detalle

Comunicación asíncrona. Aplicaciones completamente desacopladas. Características Comunicación asíncrona. Aplicaciones completamente desacopladas. Las aplicaciones se preocupan de la información que quieren compartir, no de cómo hacerlo. La responsabilidad de transferir información recae en un sistema de mensajería.

Sistema de mensajería

Filtros y tuberías (pipes and filters) Ruteo. Endpoints. Mensajes. Sistema de mensajería Conceptos Canales. Filtros y tuberías (pipes and filters) Ruteo. Endpoints. Mensajes. Transformación.

Canales

Canales

Filtros y tuberías

Ruteo

Endpoints

Mensajes

Transformación

Transformación de mensajes

Transformación de mensajes

Niveles de transformación Estructuras de datos. Tipos de dato. Representación. Transporte.

Nivel de transformación – Estructuras de datos ¿Qué comprende? Entidades. Asociaciones. Cardinalidad. Herramientas y técnicas Mapeos. Código.

Nivel de transformación – Estructuras de datos Ejemplo La misma información representada a través de entidades distintas.

Nivel de transformación – Tipo de dato ¿Qué comprende? Nombres de campos. Tipos de dato. Valores específicos. Herramientas y técnicas Mapeos. Búsqueda en bases de datos. Código.

Nivel de transformación – Tipo de dato Ejemplo Reemplazar el nombre de un país por su código ISO 3166-1 alpha-3 México  MEX Estados Unidos de América  USA Modificar el formato de una fecha 8 Agosto, 2014  2014/08/08 (yyyy/MM/dd)

Nivel de transformación – Representación ¿Qué comprende? Formatos. Codificación de caracteres (charset). Encripción. Compresión. Herramientas y técnicas Parsers. APIs.

Nivel de transformación – Representación Ejemplo Parsear datos en un formato y representarlos en otro formato. XML  JSON

Nivel de transformación – Transporte ¿Qué comprende? Protocolos de comunicación. Socket TCP/IP. HTTP. FTP. JMS. Herramientas y técnicas Adaptadores. ESB. Código.

Nivel de transformación – Transporte Ejemplo Enviar datos a través de diferentes protocolos sin afectar el contenido del mensaje. Recibir mensaje por JMS  Guardar en DB  Retransmitir mensaje por HTTP

Transformación en contexto Inteligencia de negocios Back Office Systems Logística ERP y CRM Administración de tesorería Recursos humanos Cadena de suministros Longitud fija via MQ XML via ESB CSV via FTP Tag=Value DB Table Base de datos Software Integrador (transformaciones) Run Time (Weblogic, JVM, OSB, SaaS, Cloud) Infraestructura de servidores Volante has a long list of well established and recognised customers covering the globe. As you can see we group these into 5 heading. Let me walk through a few examples. CITI – NYSE – a prime example of a scalable and resilient enterprise-wide solution. Deployed across 70+ servers, Volante Designer is the backbone of the NYSE, Processing in excess of 800 millions msg per day, with extremely low latency (in C++). Volante was chosen to help NYSE to comply with new USA regulatory trade reporting act (on 15min reconciliation of trades) LSE – solid example of Product maturity. Volante allows LSE under its Univista Solution to provide a white label reconciliation service to its clients. Processing SWIFT, FIX, FpML, Fixed Width, Cobol Copybook, this is a hosted service that takes its Customer (banks) unique message formats and maps it to the LSE format. This validation and transformation of the messages ensure a customer can upload data in any format to the LSE – prior to Volante LSE used dictated ridged formats GE Treasury - again another example which recognizes the WW strength of the product we offer - beat the competition to be deployed in the Treasury Department of the one of the worlds largest corporations. This is for GE’s corporate payments gateway – which handels 120 bank relationships via a Varity of standards Swift, ACH, EDIFact through either FileAct for Batch or in realtime. Zero down time in 3yrs. LCH.Clearnet – (branded as Oracle Service Bus for financial services) is a SWIFT certified, proven and lightweight SOA integration platform for financial messaging. As an exchange LCH validate and transform incoming client trade messages, translate into their internal ‘FpML like’ (ClearML) format and SWIFT, FIX & FpML SWIFT - uses Volante product for internal validation and testing of their SWIFT standards - which are then released annually. Our product is included as part of their SWIFT-SDK release. Volante also work with SWIFT on several bleeding edge pilot programs (eg MT to XML messages) BNP -?? In Summary – Customer have told us they see saving of on average 80% in time and effort on there first project and 90% on subsequent developments using Volante. EDI IDoc SAP HIPAA SPEI - ISO 20022 CIP 43

Transformación en contexto Inteligencia de negocios Back Office Systems Logística ERP y CRM Administración de tesorería Recursos humanos Cadena de suministros Longitud fija via MQ XML via ESB CSV via FTP Tag=Value DB Table Composer Base de datos Run Time (Weblogic, JVM, OSB, SaaS, Cloud) Format Plug-ins Code Generator Infraestructura de servidores SWIFT SEPA ISO20022 FIX Universal Volante has a long list of well established and recognised customers covering the globe. As you can see we group these into 5 heading. Let me walk through a few examples. CITI – NYSE – a prime example of a scalable and resilient enterprise-wide solution. Deployed across 70+ servers, Volante Designer is the backbone of the NYSE, Processing in excess of 800 millions msg per day, with extremely low latency (in C++). Volante was chosen to help NYSE to comply with new USA regulatory trade reporting act (on 15min reconciliation of trades) LSE – solid example of Product maturity. Volante allows LSE under its Univista Solution to provide a white label reconciliation service to its clients. Processing SWIFT, FIX, FpML, Fixed Width, Cobol Copybook, this is a hosted service that takes its Customer (banks) unique message formats and maps it to the LSE format. This validation and transformation of the messages ensure a customer can upload data in any format to the LSE – prior to Volante LSE used dictated ridged formats GE Treasury - again another example which recognizes the WW strength of the product we offer - beat the competition to be deployed in the Treasury Department of the one of the worlds largest corporations. This is for GE’s corporate payments gateway – which handels 120 bank relationships via a Varity of standards Swift, ACH, EDIFact through either FileAct for Batch or in realtime. Zero down time in 3yrs. LCH.Clearnet – (branded as Oracle Service Bus for financial services) is a SWIFT certified, proven and lightweight SOA integration platform for financial messaging. As an exchange LCH validate and transform incoming client trade messages, translate into their internal ‘FpML like’ (ClearML) format and SWIFT, FIX & FpML SWIFT - uses Volante product for internal validation and testing of their SWIFT standards - which are then released annually. Our product is included as part of their SWIFT-SDK release. Volante also work with SWIFT on several bleeding edge pilot programs (eg MT to XML messages) BNP -?? In Summary – Customer have told us they see saving of on average 80% in time and effort on there first project and 90% on subsequent developments using Volante. EDI IDoc SAP HIPAA SPEI - ISO 20022 CIP 44

Patrones comunes de transformación

Enriquecimiento

Normalización

Modelo canónico

Swift MX a Swift

Swift MX a Swift Formato basado en XML. Mensaje Swift MX Formato basado en XML. Pain.001 - representa pagos entre instituciones bancarias. Puede incluir más de un pago a la vez.

Swift MX a Swift Mensaje Swift Formato de texto plano. Secciones agrupadas entre llaves. Campos empiezan con una etiqueta entre dos puntos y están delimitados por CRLF. MT101 - representa pagos entre instituciones bancarias. Un solo pago por mensaje.

Swift MX a Swift Ejemplo de niveles de transformación Estructura de datos: un mensaje pain.001 puede generar más de un MT101. (cardinalidad) Tipo de dato: formato de las fechas. Representación: de un formato XML UTF-8 a un formato de texto ascii.

Swift MX a Swift

FIX a CSV

FIX a CSV Mensajes transmitidos a través de sockets. Mensaje FIX Mensajes transmitidos a través de sockets. Formato llave – valor. Campos delimitados por caracter SOH (start of heading). Mensaje Market Data Snapshot incluye información de mercado. Puede incluir información de múltiples entradas.

FIX a CSV Mensaje delimitado por comas. Mensaje CSV Mensaje delimitado por comas. Primera entrada representa el precio de la entrada. Segunda entrada representa la moneda de la entrada. Tercera entrada representa la cantidad.

FIX a CSV Ejemplo de niveles de transformación Estructura de datos: para cada entrada en el mensaje FIX se crea una nueva línea en el mensaje CSV. Representación: de un formato FIX llave-valor a un formato de texto CSV.

FIX a CSV

¿Preguntas?

Información de contacto Arturo Moreno. arturo@volantetech.com http://www.volantetech.com