Descargar la presentación
La descarga está en progreso. Por favor, espere
Publicada porTherasia Lobato Modificado hace 10 años
1
Transferencia de archivos digitales con soluciones Aspera
Resolviendo los desafíos de casos típicos de ingesta, distribución, y automatización en la transferencia de archivos digitales Dr. Ing. Diego Dugatkin VP Product Management, Aspera Inc. Resolviendo problemas típicos de transferencia de archivos digitales con soluciones Aspera
2
Quién es Aspera? Empresa líder en el movimiento de grandes archivos y datos a través de redes WAN Con sede central en Emeryville, California (área de San Francisco, costa oeste de EE.UU.) Oficinas europeas en Francia, y personal local en el Reino Unido, en Asia, y en Centro y Este de EE.UU. Partners y distribuidores en Latinoamérica, en Argentina, Chile y Brasil. Rentable desde su creación en 2004, sigue siendo de propiedad privada y liderada por sus fundadores. Creadores del protocolo fasp para transporte de grandes volúmenes de datos en alta velocidad Desarrollado desde un principio, con tecnología propia patentada, para transporte de datos en masa o “a granel”. Solución únicamente de software, que reemplaza a FTP, HTTP, SCP, RSYNC, CIFS, NFS. Supera a todas las soluciones de hardware y software de ‘aceleración WAN’. Primer lugar en el ránking de referencia del rendimiento de transferencia de datos sobre WAN. Permite trabajar con enormes volúmenes de datos, de todo tipo. Ampliamente adoptado en todo el mundo en numerosas industrias. Más de 10,000 licencias instaladas en servers y endpoints. 1200 clientes en todo el mundo. Terabytes transferidos a diario! Equipo focalizado Team focused on addressing the movement of large files and data sets over WANs Headquartered in Emeryville, CA (San Francisco Bay Area) Satellite Office in Sophia Antipolis, France and Field in East and Central US, Asia PAC, and UK Founded in 2004 by Michelle Munson and Serban Simu with 80 Employees Worldwide Privately-owned and profitable since its inception Creators of the fasp™ protocol for high-speed big data transport From scratch, patented, bulk data transport technology Unique and core to Aspera’s high-performance file transfer software suite Software only, replacing FTP, HTTP, SCP, RSYNC, CIFS, NFS Outperforms software and hardware WAN acceleration solutions Ranked first in every WAN transfer throughput benchmark Enables mission-critical big-data workflows Widely adopted worldwide in numerous industries 10,000 server & endpoint licenses deployed 1100 customers worldwide Terabytes transferred daily / petabytes monthly
3
El “Big Data Movement Challenge”
El movimiento rápido y eficiente, y el almacenamiento de archivos de gran tamaño a través de redes WAN, se han convertido en un requisito escencial. Otras tecnologías actuales no proporcionan el nivel de rendimiento necesario. The Big Data Movement Challenge The fast and efficient movement and storage of large files over wide area networks has become a requirement for many organizations, but existing technologies fail to provide the necessary level of performance.
4
Media & Entertainment Big-Data: Big & Getting Bigger
Note: Because of their size and data structure, compression of unstructured data files isn’t often feasible **compressed media files are estimated, encoding and codec variants will create different file sizes Una sóla producción de cine digital puede ocupar entre 800K–1M 2K/4K frames
5
Qué pasó con mi ancho de banda?
París Buenos Aires WAN 100 Mbps 200ms RTT 0.01% de pérdida de paquetes Capacidad nominal de la WAN es 100 Mbps Mayor tasa efectiva promedio de TCP ~ 7 Mbps Donde están mis otros 93 Mbps? A razón de 7 Mbps: 10GB tradarían 3 hs 200GB tradarían 2.5 días
6
Mismo escenario WAN, con transporte Aspera fasp
París Buenos Aires WAN 100 Mbps 200ms RTT 0.01% de pérdida de paquetes Capacidad nominal de la WAN es 100 Mbps Mayor tasa efectiva promedio de TCP ~ 7 Mbps Ancho de banda deseado: ~99 Mbps (mejoría x14 veces!) ROI: costo de no utilizar los 93 Mbps perdidos… A 99 Mbps 10GB tardarían ~3 hs 10GB tardarían ~14 min 200 GB tardarían 2.5 días 200 GB tardarían 4.5 hs
7
FTP vs fasp™ comparación de tiempos de transferencia
Dentro de USA USA – Latinoamerica USA – Asia Satellite 1 GB 1 – 2 hrs 2 – 4 hrs 4 – 20 hrs 8 – 20 hrs 10 GB 15 – 20 hrs 20 – 40 hrs Impráctico 100 GB Los tiempos de transferencia de TCP están limitados por el porcentaje de perdida de paquetes y por la latencia o “delay” (la distancia de red), pero no por el ancho de banda! fasp™ 2 Mbps 10 Mbps 45 Mbps 100 Mbps 200 Mbps 1 Gbps 1 GB 70 min. 14 min. 3.2 min. 1.4 min. 42 seg. 8.4 seg. 10 GB 11.7 hrs 140 min. 32 min. 7 min. 100 GB 23.3 hrs 5.3 hrs 2.3 hrs 1.2 hrs Substantiating speed claims FTP Vs fasp ™ comparación tiempo de traslado Los tiempos de transferencia con Aspera se acortan linealmente a medida que sube el ancho de banda, independientemente de la pérdida de paquetes o latencia de la red. Costa-a-costa en USA: sumar 1 a 5% Intercontinental: sumar 1 a 10% Satélite;sumar 1 a 10%
8
Overcoming Both Bottlenecks - Transferring Data to S3 over WAN
#1 - Transfer Data to EC2 over WAN Effective throughput http transfer over WAN (single stream) Typical internet conditions 50-250ms latency & % packet loss 15 parallel http streams <10 Mbps <10 to 100 Mbps Aspera fasp transfer over WAN to EC2 up to 700 Mbps #2 - Transfer Data from EC2 to S3 Effective throughput Standard single stream http 20 to 100 Mbps Aspera S3 Proxy With parallel I/O http streams up to 700 Mbps First bottleneck's solutionTransfer bulk data over WAN using Aspera fasp,overcomes TCP limitations under network latency and packet loss. Aspera solutions yield 100x performance improvements fasp™ 45 Mbps 100 Mbps 200 Mbps 1 Gbps 5 Gbps 10Gbps 1 GB 3.2 min 1.4 min 42 sec 8.4 sec 1.6 sec 0,8 sec 10 GB 32 min 14 min 7 min 16 mins 8.2 sec 100 GB 5.3 hrs 2.3 hrs 1.2 hrs 2.7 mins 82 sec 1TB 2.1 days 23 hrs 11.7 hrs 28 mins 14 mins
9
Customer Performance Results
From To OS Link type Capacity Target FTP/HTTP fasp Increase Burbank, CA Linux to Linux LAN 10 Gbps 2 Gbps 400 Mbps 1.2 Gbps 3x San Diego, CA East Coast US Private Link 1 Gbps 500 Mbps 5 Mbps 488 Mbps 98x Ashburn, VA Los Angeles, CA Public Internet Unknown 250 Mbps 1.8 Mbps 218 Mbps 121x Washington, DC New Zealand Win to Win 100 Mbps 500 Kbps** (160ms/2%) 92 Mbps 184x London, UK Linux to Win 1.5 Mbps** (150ms/0.5%) 97 Mbps 65x Tulsa, OK 12 Mbps 95 Mbps 8x Philippines New Jersey 80 Mbps 650 Kbps** (170ms/2%) 78 Mbps 122x Garden Grove, CA Fractional OC-3 20 Mbps 4x New York, NY Cupertino, CA Mac to Mac DS-3 to Internet 45 Mbps 1.45 Mbps 44 Mbps 30x 42 Mbps 41 Mbps 27x Glendale, CA Montreal, Canada 2.2 Mbps** (100ms/0.5%) 19x Hong Kong, China 0.52 Mbps** (300ms/1%) 39 Mbps 75x Denham, UK 32 Mbps 31 Mbps 21x Toronto, Canada Torino, Italy 30 Mbps 1 Mbps 28 Mbps 28x Baton Rouge, LA 3.2 Mbps** (70ms/1%) 9x Customer Performance Results * The target rate is the transfer rate given to an Aspera client. fasp attempts to maintain this rate in both fixed and adaptive rate modes and will not exceed this cap. In some tests the target rate was set to less than the actual link capacity. ** FTP measurement not taken or unavailable. FTP throughput estimated using the standard TCP Rate Equation, assuming a typical average round‐trip delay and packet loss rate. Actual FTP throughput varies with network load, which increases loss and round‐trip time.
10
Problema central – TCP no fué diseñado para mover datos de forma masiva en redes WAN
TCP es un protocolo de transporte de datos, bidireccional y confiable Es la base de muchos protocolos de aplicación: FTP, HTTP, NFS, CIFS, SCP, RSYNC Todo debe ser enviado secuencialmente (innecesario cuando se copian archivos grandes) TCP tiene cuellos de botella conocidos La latencia y pérdida de paquetes limitan el ancho de banda neto disponible Estas limtaciones fundamentales son parte de TCP y están incorporadas originariamente en su diseño Establece una ‘ventana de congestión’, para limitar la cantidad de datos en tránsito. Utiliza un mecanismo llamado ‘incremento aditivo / decremento multiplicativo’ (additive increase/ multiplicative decrease) Linealmente incrementa la ventana (“transfer rate”) hasta que que ocurre un timeout, que interpreta como signo de congestión o pérdida. Atención con los efectos catastróficos de la pérdida de paquetes Internet, transmisiones inalámbricas vía satelite, por via celular o WiFi tienen distintos niveles de pérdida y de variación del rendimiento. No hay un “Internet SLA” (Service Level Agreement), es decir: la congestión on-line cambia en tiempo real (según el horario, etc) “En redes IP (como Internet), el protocolo TCP garantiza la entrega confiable y en orden de un flujo de bytes (byte stream). TCP incluye un mecanismo de control de flujo del stream de bytes que permite al receptor limitar la cantidad de datos que el emisor puede transmitir en un instante determinado. Además, TCP implementa un mecanismo de control de la congestión altamente sintonizable. La idea de este segundo mecanismo es regular la velocidad de envío de datos por parte de TCP, con el fin de evitar que el emisor sobrecargue la red.” En el control de la congestión realizado por TCP, cada fuente o emisor (“source”) determina cual es la capacidad disponible en la red, con el fin de conocer cuantos paquetes puede tener en tránsito de una manera segura. Para esto, TCP mantiene una variable de estado distinta por cada conexión, que se denomina ventana de congestión. El host fuente utilizará esta variable para limitar la cantidad de datos que puede tener en tránsito en un momento determinado. TCP utiliza un mecanismo, llamado “incremento aditivo”/”decremento multiplicativo” (additive increase/ multiplicative decrease), que reduce la ventana de congestión cuando el nivel de congestión aumenta, y que incrementa la ventana decongestión cuando el nivel de congestión disminuye. TCP interpreta los timeouts como signo de congestión. Cada vez que ocurre un timeout, el host origen pone su ventana de congestión a la mitad del valor que tenía previamente. Esta división se corresponde con la parte de “decremento multiplicativo” de este mecanismo. Cada vez que un host origen envía con éxito todos los paquetes que caben en la ventana de congestión, se incremente la ventana de congestión en el tamaño equivalente a un paquete. Esta sería la parte de “incremento aditivo” del mecanismo (también llamado algoritmo de Van Jacobson). La ventana de congestión no puede caer debajo del tamaño de un único segmento TCP, dado por el parámetro de TCP “tamaño máximo de segmento” (más conocido por su nombre en inglés Maximum Segment Size o MSS). AMID “Additive-Increase Multiplicative-Decrease” Fundamental limitations are designed in Congestion avoidance algorithm Increases tx rate until loss occurs, indirectly causing itself to slow La latencia y pérdida de paquetes limitan el ancho de banda neto disponible (Round-trip Time Latency & Packet Loss limit net throughput) TCP utiliza un mecanismo, llamado “incremento aditivo”/”decremento multiplicativo” (additive increase/ multiplicative decrease), que reduce la ventana de Linearly increases transfer rate until loss occurs, then decreases rate to half
11
Problema central – TCP es inadecuado para transportar datos
Problema central – TCP es inadecuado para transportar datos de gran tamaño sobre redes WAN TCP tiene bajo rendimiento en transferencias sobre WAN (Wide Area Networks) TCP tiene bajo rendimiento en redes con pérdida de paquetes Internet Vía Satélite TCP es el transporte de base de FTP, HTTP y otras aplicaciones comunes de transferencia de archivos Máximo ancho de banda posible con TCP Quick description of why other technologies fail
12
Solución – Aspera fasp resuelve el transporte masivo de datos
Solución para la transferencia rápida de archivos Efectivo en redes complejas, con ‘delay’ & ‘loss’ Muy bajo “overhead”: < 0.1%, bajo 30% de packet loss! Optima eficiencia en el uso del ancho de banda Uso total de ancho de banda “commodity” disponible en Internet Altamente eficiente, con control realtime del ancho de banda, evita la congestión (WAN, LAN, Disk) Logra eficiencias extraordinarias tanto con grandes archivos como con grupos de archivos pequeños El resultado: Aspera fasp permite Transferencias hasta miles de veces mas rápidas que FTP Tiempos precisos y predecibles en la transferencia de archivos Reglas de control “end-to-end” sobre las prioridades de transferencia y la velocidad Completo monitoreo, notificación y reporte Máximo ancho de banda posible con TCP Ancho de banda con Aspera fasp Ideal Transport transfer performance Aspera permite: Transferencias hasta cientos de veces mas rápidas que con FTP Tiempos precisos y predecibles en la transferencia de archivos Reglas de control “end-to-end” sobre las prioridades de transferencia y la velocidad Completo monitoreo, notificación y reporte
13
fasp – la solución ideal para el transporte digital de datos
Solución de transferencia de archivos basado puramente en Software Máxima velocidad de transferencia – utilización total de ancho de banda designado Excepcional control del ancho de banda y escalabilidad de administración Seguridad y confiabilidad total Arquitectura flexible, simple, liviana y abierta Completo soporte de todas las plataformas y sistemas operativos convencionales Maximum transfer speed Optimal end-to-end throughput efficiency Independent of transfer distance and resilient to packet loss Extraordinary bandwidth control Automatic, full utilization of available bandwidth and protection of other network traffic On-the-fly prioritization and bandwidth allocation Uncompromising security and reliability Secure, user/endpoint authentication, AES-128 cryptography in transit and at-rest Data integrity verification and automatic resume of partial or failed transfers Automatic HTTP fallback in restrictive networks Scalable management, monitoring and control Real-time progress, performance and bandwidth utilization analysis Detailed transfer history, logging and manifest Centralized user, server and transfer policy management Remote initiation, scheduling and automation of transfer jobs Flexible, lightweight, open architecture Software development kit with numerous integration/deployment options Comprehensive platform support
14
Línea de Productos de Software
Funcionalidad y escenarios de implementación
15
Entorno de software Aspera fasp
16
Entorno de software Aspera fasp
17
Entorno de software Aspera fasp
18
Entorno de software Aspera fasp
19
Entorno de software Aspera fasp
20
Entorno de software Aspera fasp
21
Big-Data – Accesible universalmente, provista globalmente por Aspera
Soporte Universal de Sistemas Operativos Soporte Universal de Navegadores / Browsers Soporte Universal de Sistemas Móviles
22
Caso 1: Ingesta o subida de archivos File Ingest
23
Desafíos generales para la Ingesta o Subida de Archivos
Velocidad Transferencias Digitales actuales pueden resultar lentas a pesar de tener conexiones razonables El envío de tapes o discos es lento y caro. En ciertos casos, los tapes son difíciles de conseguir. Eficiencia El software típico común de transferencia no utiliza toda la capacidad del ancho d banda disponible. Confiabilidad Si una transferencia falla, típicamente tiene que ser recomenzada, desde el principio!... Seguridad Muchos mecanismos de transferencia no ofrecen seguridad y encriptado nativo, diseñado dentro de la solución. Automatización Las soluciones comunes no ofrecen automatización.
24
Solución para la Ingesta de Archivos: Aspera Connect Server
Server universal para transferencia de archivos, con interface web Subida y bajada de datos usando el Aspera Connect web browser plug-in, que es gratuito y viene con instalación automática Fácil (y mejor) reemplazo de servidores FTP Capacidad de upload y download, para archivos o directorios de cualquier tipo y tamaño Permite hacer pausa y volver a comenzar, retomando transferencias desde la pausa o el punto de falla en casos de problemas de red Opciones de integración Interface Web modificable, cambiando la imágen o marca Puede integrarse a portales web existentes Licencias, uso y despliegue Licencias por niveles, basadas en la capacidad o ancho de banda Soporte completo en Unix, Linux, Windows, Mac, Solaris, Isilon OneFS Configuraciones también en High-Availability (redundancia/seguridad)
25
DEMO: Aspera Connect Server
Instalación automática del Connect Client (Auto Install) Subida de archivos (File Upload) Monitoreo via Aspera Console Reportes con Aspera Console Notificación via Connect Client Auto Install File Upload Monitoring via Console Reporting via Console notification
26
Aspera Connect Server Fácil reemplazo de servidores FTP
Utiliza el protocolo fasp, logrando transferencias rápidas y seguras, en ambas direcciones, desde y hacia el servidor Acceso ilimitado a clientes web, a través del web-browser plug-in gratuito de Aspera Fácil de integrar a portales-web existentes, y de incorporar con marca propia (usando la tecnología de Aspera dentro de su sistema)
27
Caso 2: Distribución de archivos de persona a persona(s) Person-to-Person File Delivery
28
Desafíos en la distribución de archivos de persona a persona(s)
Métodos típicos para la distribución de archivos: Correo o courier privado Demasiado lento para transferencias de larga distancia Excesivamente costoso FTP or HTTP Inseguros No tienen la capacidad de hacer pausa y reanudar la transferencia Bajo rendimiento en redes WAN, debido a TCP Servicios de distribución online, vía Internet Típicamente limitan el tamaño de los archivos Person-to-person file delivery challenges
29
Distribución de archivos persona-a-persona : Aspera faspex™
Solución para la distribución global de archivos Intercambio de archivos de persona-a-persona coordinado por projectos Distribución de paquetes para colaboración frecuente o envíos ocasionales Permite enviar archivos a destinatarios ad-hoc, fuera de la organización Easy-to-use web-based interface Notificación vía integrada para los destinatarios Ejemplos de uso y aplicación Workflows de producción, revisión y aprobación de video Intercambio colaborativo de materiales de producción y de marketing, especialmente para equipos distribuidos Intercambio global de archivos de persona-a-persona dentro de la empresa Licencias, uso y despliegue Licencias por niveles, basadas en la capacidad o ancho de banda y el número de usuarios activos simultáneos Soporte completo en Linux y Windows (Server), y también: Linux, Mac y Windows (Aspera Connect browser plug-in) Mac y Windows (Aspera Cargo Downloader desktop widget) Disponible en configuración de High-availability (active/passive)
30
DEMO: Aspera Faspex Creacion de paquetes y envío Recepción de paquetes
Creación de Usuarios Cargo Reemplazo de DigiDelivery No requiere HW
31
Servidor Aspera faspex
Metodología de transferencia “persona-a-persona” Colaboración periódica o para entregas ocasionales de paquetes de archivos Instalación automática del cliente (utiliza el Aspera Conect “plug-in” para cualquier navegador) Notificaciones por correo electrónico a los remitentes y destinatarios del paquete Web Services automation API for package sending, receiving and contact management Active Directory user management enhanced for thousands of users Multi-server package forwarding hardened for large scale usage across enterprise Custom metadata configuration, recipient list management, and per-package expiration policies for fine-grained access control Support for Aspera Cargo Downloader, the automatic download widget notifications for package senders/recipients
32
Caso 3: Envío automatizado de archivos File Delivery with Automation
Common Use Cases: Example 3: File Delivery with Automation
33
Automatización del envío de archivos con Aspera: Muchas opciones!
Aspera Enterprise Server, Point-to-Point and Aspera Client Automatización con HotFolders Aspera Cargo Bajada automática de paquetes Faspex Aspera Management Console Transferencias pre-programadas, de Servidor a Servidor, según un “schedule” Utilizando Aspera vía línea de comando y usando “scripts” que invocan el “Command Line” Haciendo un “schedule” de transferencias automáticas directamente desde la línea de comando en Unix o en Windows Incorporando las capacidades de transferencia de Aspera en “scripts” de secuencias de comandos (Shell scripts etc.) Need to update graphic File delivery with automation
34
Automatización del envío y entrega de archivos
Hot folders Cargo Console Smart Transfer Console monitorea las transferencias
35
Otros usos y productos de Aspera
36
Otras capacidades y productos de Aspera
Management / Gestión Monitoring, notification, reporting and configuration Integration SDK, multi-platform support Aspera Mobile Aspera software libraries in SDK form, for integration with 3rd party mobile applications. iPhone and Android uploader apps. Aspera Multicast Transferencias punto-a-multipunto sobre IP-multicast Aspera Orchestrator Workflow automation Cloud Aspera On Demand para Amazon Web Services
37
Muchas Gracias! Para más información y para comenzar con su pruebas piloto con Aspera, por favor contáctese con nuestros representatntes: En Argentina: (+54-11) Contacto: Ventas Aspera, sede central: ext. 232 Contacto: Ms. Joelle Cilley Logos have been requested from resellers.
38
Scalable, multidirectional asynchronous file replication
Aspera Sync - Overview Scalable, multidirectional asynchronous file replication
39
Introducing Aspera Sync
Overview Aspera Sync is purpose-built for highly scalable, multidirectional asynchronous file replication over WANs Scales performance over any WAN, up to 1000x faster than rsync Scales performance on WAN over any distance Increase bandwidth to increase performance Scale performance for large and diverse data sets Initial sync: X speed of rsync to synchronize files first time Continuous: 10X speed of rsync to synchronize new files over WANs Smart directory actions Honors moves, renames, deletes Storage agnostic Runs on industry-standard OS (Linux today) Mount any block storage (SCSI, iSCSI, FC, SAS) or file storage (NFS, SMB2) Secure by Federal Standards Matches security standards set by government—addressed in all Aspera products Certifications
40
Synchronizing Big Data over the Longhaul
Aspera Sync – 201 Level Multidirectional Synchronization
41
Trends Big Data Explosion 90% of data today file-based or unstructured
Mix of file sizes—but larger and larger files the norm Diversity of IP Networks—Media, Bandwidth Rates, and Conditions Variable bandwidth rates (slow to super-fast) Bandwidth rates increasing—costs decreasing Network media remains diverse (terrestrial, satellite, wireless) Conditions vary—all networks prone to degradation over distance. Data Freighting Challenges—moving Big Data over WANs Over distance, conditions degrade Contemporary TCP acceleration solutions not designed for big data replication.
42
Sync Challenges Replicating over Distance (Wide Area Networks)
Traditional replication (using TCP) fails or slows over distance Poor network performance often the bottleneck to replication Traditional replication approaches like rsync fail Unreliable Don’t scale Don’t perform Larger data sets comprised of bulk files, “big data” In the terabytes, not gigabytes Files are unstructured Diversity of file sizes Large files Mix of large and small files File System Integration (Lack of Efficiency) Avoiding file system scans Replicating files through change notification Examples: Rsync NetApp SnapMirror
43
Conventional Replication - Costly Workarounds
TCP Acceleration Appliances Solves a different problem Good for some applications (mainly structured data such as databases) Not designed for moving big data across the network (files, in bulk) Storage Compression Resource intensive—and don’t save much Native in file system (e.g., NetApp SnapMirror) File-based compression and deduplication Caching (e.g., CDNs) Move data closer to users Costly, hard to manage By nature more “out of sync” Replicate less data Reduces traffic—and productivity Don’t replicate Jeopardizes productivity and the business.
44
Scalable file synchronization for Big Data
Aspera Sync
45
Introducing Aspera Sync
Overview Aspera Sync is purpose-built for highly scalable, multidirectional asynchronous file replication over WANs Scales performance over any WAN, up to 1000x faster than rsync Scales performance on WAN over any distance Increase bandwidth to increase performance Supports large and diverse data sets X speed of rsync to synchronize files first time 10X speed of rsync to synchronize new files over WANs Avoid unnecessary replication Honors moves, renames, deletes Storage agnostic Runs on industry-standard OS (Linux today) Mount any block storage (SCSI, iSCSI, FC, SAS) or file storage (NFS, SMB2) Secure by Federal Standards Matches security standards set by government—addressed in all Aspera products Certifications (addressed later in the presentation)
46
Aspera Sync Other Capabilities
High speed, multi-directional synchronization of remote files and directories solving the fundamental problems of rsync for large data Full-mesh synchronization One-to-one, one-to-many, and full-mesh synchronization Multi-mode One-time sync Continuous sync Designed for today’s extremely large data Millions of files, multi-terabyte data sets Management console for configuration, management and reporting Licensing and deployment Command line binary and admin tool for Linux Additional platforms to become available in 2011 Add-on license option to Aspera servers and Aspera Point-to-point The new Aspera Sync completes the Aspera high-performance file transfer suite by adding multi-directional file synchronization with unprecedented scalability for maximum speed networks, extreme data volumes and huge numbers of files. Aspera Sync is the ideal solution for all types of data replication workflows, remote backup and disaster/recovery implementations. • Multi-directional synchronization of remote files and directories • One-to-one, one-to-many, and full-mesh synchronization • Designed for extreme scalability: millions of files, multi-terabyte data sets, multi-gigabit speed • Fastest speed for bulk data synchronization over WANs, based on patented fasp technology • Matches the security and reliability standards of Aspera’s suite of software products • Management console for configuration, management and reporting • Flexible transfer and bandwidth management and conflict resolution policies
47
Use cases for Aspera Sync
48
Scenario 1: One-way Sync (Unidirectional)
Use Case1: Disaster Protection Storage agnostic Variables depending on data set size Recovery points Recovery times Use Case 2: Offsite Archiving Multi-vendor storage Alternative to tape Primary Site Remote Site Data Movement
49
Scenario 2: Two-way Sync (Bidirectional)
Use Case1: Distributed Workflow Concurrent writers Both sites create and replicate Fully transparent Move, rename, delete Use Case 2: Disaster Readiness Non-disruptive to users Alternative to offsite backup Workflow / scenario agnostic Site 1 Site 2 Data Movement
50
Scenario 3: Multidirectional (N-way) Replication
Topologies: Hub and Spoke Replicate from single source to multiple endpoints Branching Tree Replicate from parent to child nodes Source (origin) replicates to downstream targets Use Cases: Content Distribution Network (CDN) Distribute files to downstream caching points Remote Office File Replication Replicate from central to remote offices
51
Scenario 4: Collaborative Workflows
Use case 1: Distributed Workflow Multiple users or workgroups have read-only access to common source Use case 2: Collaborative Workflow Multiple users or workgroups have read-write access to a common source pool
52
Scenario 5: Cloud Ingest and Distribution
Use case 1: Ingest (Upload/Download) User Aspera clients to upload into AWS Uses Aspera On-Demand offering Use Case 2: Direct Distribution inside AWS Distribute data directly to S3 Parallel http IO for faster throughput Parallel http IO for increased IO
53
Performance Results Aspera Sync vs Rsync
54
Aspera Sync vs. rsync 10/05/10 Fastest possible resolution of file system changes Compares changes to local state (file snapshot), saving costly WAN chattiness of rsync File system notification where available Quick to detect changes in scan-mode Quick restart after system down Move, rename detection locally Huge savings not retransferring after “move” fasp transport for maximum speed overcoming TCP bottlenecks Multi-directional (not unidirectional)
55
Aspera Sync Performance Benchmarks – First Time
10/05/10 Performance Comparison Synchronizing Many Small Files (Average size 100 KB) over WAN of 100 ms / 1% Performance Comparison Synchronizing Large Files (Average Size 100MB) over WAN of 100 ms / 1%
56
Aspera Sync Performance Benchmarks – Change Files
10/05/10 Synchronization time after adding 31,056 files to 1 million small files (100 KB each) over WAN of 100ms/1% Synchronization time after adding new files to set of large files (100 MB each) over WAN of 100ms/1%
57
Applications: 2K/4K Global Freighting
58
Applications: 2K/4K Global Freighting (faspframes)
Native 2K/4K frame transport software Designed for 10Gbps WANs Millions of frame files 60 min of footage (1 TB) transferred globally in under 20 minutes ! 8 Gbps at 200 ms / 2%
59
faspframes – Ultra Simple, Ultra Fast s/w for 2K/4K Transfers
Aspera faspframes Transfer Times 10 Gbps Global WANs Distance Speed Transfer Time for 1 TB (~60 min Film) LA-NY (100 ms / 1%) 8.1 Gbps 18.1 minutes LA-London (200 ms/2%) 7.9 Gbps 18.6 minutes LA-Mumbai (300ms/5%) 6.3 Gbps 23.3 minutes Compare To HW Appliance for 2K/4K Transfers – Highest Capacity Model Distance Speed Transfer Time for 1 TB (~60 min of Film) LA-NY (100 ms / 1%) 3.6 Gbps 42 minutes LA-London (200 ms/2%) No data ?? LA-Mumbai (300ms/5%) Quick introduction of Aspera
60
faspframes – Ultra Simple, Ultra Fast s/w for 2K/4K Transfers
What is it? An ultra-simple software tool for ultra-fast (fully reliable) transfers of 2K/4K frame files Max speed in-order transfer of 2K/4K frame files over WAN (any distance, any bandwidth) Available for users of Aspera Point-to-Point and Server Advantages? Software application only integrates easily with any workflow No clunky brute force hardware appliances to integrate Full 10 Gbps performance; 2X the best speeds published by appliances Comprehensive bandwidth management and congestion control Seamlessly integrates with Aspera transfer and management tools Platforms? Linux 32/64-bit Other platforms coming Quick introduction of Aspera
Presentaciones similares
© 2025 SlidePlayer.es Inc.
All rights reserved.