Índice Introducción Big Data Arquitectura HDFS

Slides:

Advertisements

Presentaciones similares

Agenda ¿Qué es Big Data? ¿Por qué usar Big Data? ¿Quién usa Big Data? Hadoop Arquitectura de Hadoop.

Advertisements

Estudio del grado de fragmentación de los bloques libres del ERX Ing. Ramiro Salaberry Ing. Pablo Hernandorena Estudiante Agustín Tricánico Ing. Álvaro.

Alumno: Henry Segundo Agapito Almeyda

Uso de la evaluación y monitoreo. Objetivos Entender las técnicas de evaluación y monitoreo del uso de un recurso electrónico Discutir algunos lineamientos.

Introducción a HIBERNATE

DATA MART Sergio Daniel.

Las fuentes de información al servicio de la Inteligencia Económica Mercè Alba Thomson Dialog Vitoria, 6 de Octubre de 2003.

En Aprender es Fácil… Nuestro objetivo es que el profesionista aprenda a manejar de manera práctica las herramientas necesarias para la obtención de información.

Tecnologías Cliente / Servidor Capitulo III Richard Jiménez V. clienteserver.wordpress.com.

Stuart Pérez A12729.

ESTUDIO DE MERCADOS ANDRES SALAZAR.

“Demanda” Elasticidad de la demanda Factores de la demanda

CLASIFICACIÓN DE LAS COMPUTADORAS

Gabriel Montañés León. La principal idea de la arquitectura Peer-to-Peer (Par a par, P2P) es determinar la base y reglas necesarias para compartir recursos.

Utilización de la plataforma Hadoop para implementar un programa distribuido que permita encontrar las paredes de células de la epidermis de plantas modificadas.

MÓDULO DE BÚSQUEDA DE PERSONAS DENTRO DE UNA BASE DE DATOS DE ROSTROS

Búsquedas avanzadas en la Wikipedia

Sistema de Agrupamiento y Búsqueda de Contenidos de la Blogosfera de la ESPOL, Utilizando Hadoop como Plataforma de Procesamiento Masivo y Escalable de.

Sistema Para GENERAR gráficas a partir de logs tcpdump usando Hadoop

Sistemas Monolíticos y Micro núcleos

Introducción arquitectura base de datos Microsoft SQL Server 2000/2005

Va más allá de facilitar la comunicación pues permite la interacción entre los usuarios, compradores y vendedores en un entorno que no es fijo, ni es.

HADOOP, como una plataforma de procesamiento masivo de datos.

Algorítmo de Mapeo Directo

Seguridad del protocolo HTTP

Denisse Cayetano – Christian Rivadeneira

INTELIGENCIA DE NEGOCIOS

“Cloud Inteligente: Avances Proyecciones”

BIG DATA Hernán Rodríguez M Gerente Proyectos & Desarrollo

X6: la sexta generación de Tecnología EXA Isabel Zárate Directora de x86 y Pure Systems IBM Rápido, Flexible, Fiable, para cargas de trabajo emergentes.

DANEC Sistemas 2010 Evaluación opciones cambio de ERP Evaluación opciones cambio de ERP ANTECEDENTES: CRONOLOGÍA HISTORICA BAAN-Danec  Año 1996 se instala.

ANTECEDENTES: CRONOLOGÍA HISTORICA BAAN-Danec

Bases de Datos II OLAP Online Analytical Processing

Implementación de Datawarehouse

Desarrollo de Aplicaciones Web

DATA WAREHOUSE Equipo 9.

Haga clic para modificar el estilo de título del patrón BigData en el entorno sanitario InforSalud 2014 Rubén Morales – Director de Infraestructuras.

Programacion Web Practica 1 Estudio de la aplicación distribuida: Apache Hadoop.

S ISTEMA PARA EL A NÁLISIS Y P ROCESAMIENTO DE LOS LOGS DE LOS SERVIDORES DE RED DE LA F ACULTAD DE I NGENIERÍA EN E LECTRICIDAD Y C OMPUTACIÓN (FIEC)

XQuery. 2 Introducción De acuerdo al incremento en la cantidad de información que es almacenada, intercambiada y presentada usando XML, la habilidad para.

Agenda  Oferta de Valor  Proceso de Trabajo  Modelo de Operación  Ventajas  Capacidades Real Business in Real-Time Emprender en Big Data: Colección.

Juan Alvites 27/04/2015 INTRODUCCIÓN A LA INGENIERÍA DE SISTEMAS Semana 6 Alvites Huamaní Juan.

Performance en aplicaciones GeneXus. ¿Qué hacer cuando hay problemas?

Preparación apertura capital Copyright© Preparación para apertura de capital 1.Preparación 2.Identificar inversionistas potenciales 3.Due Dilligence.

Integrantes: Jorge Herrera M. Carlos Rodríguez R..

Especialista en Business Intelligence Conceptos fundamentales Microsoft SQL Server 2008 R2 Suscribase a o escríbanos a

Informe de Materia de Graduación “Uso de la plataforma Pig sobre Hadoop como alternativa a una RDBMS para el análisis de datos masivos. Prueba de concepto.

Business Intelligence

TEMA 2: INTRODUCCIÓN.

¿Por qué usar Data Mining?  Proporciona un punto de encuentro entre los investigadores y las personas de negocios.  Ahorra grandes cantidades de dinero.

Ing. Fredys Simanca Herrera.  Es muy habitual encontrarse con que más de un 30% de la información contenida en los sistemas operaciones o es incorrecta.

ARQUITECTURA DE COMPUTADORES Semestre A-2009 Clase 20 La mayor parte del contenido de estas láminas, ha sido extraído del libro Computer Organization and.

5 Razones por las que debes llevar tu empresa a la nube.

KDD y Técnicas de Minería de Datos en Weka

RESEARCH ON ALGORITHMS OF DATA MINING UNDER CLOUD COMPUTING ENVIRONMENT BY FEI LONG KEVIN FLORES ALVAREZ INF-252.

WINDOWS SERVER Servicios para Programas y aplicaciones basadas en Internet. Windows 2000 Server facilita la implementación de: comercio electrónico,

Son los atributos de un sistema que son visibles para un programador, es decir aquellos atributos que impactan directamente en la ejecución lógica de un.

Punto 1 – Introducción al servicio Juan Luis Cano.

ARQUITECTURAS DE LOS SERVIDORES El computador tiene 2 aspectos para entender su funcionamiento al nivel de programación: Almacenamiento Procesamiento Para.

I Foro Europeo de Impulso Tecnológico Badajoz, 1 de abril de 2014 Lucía Escapa Castro.

Taller de Inteligencia de Negocios SQL Server Analysis Services Semana 8.

BUSINESS T&G Think & Grow Uniclass Business Intelligence La solución Business Objects que analiza los procesos de su negocio.

SISTEMAS OPERTIVOS DE RED Los usuarios están conectados a la red y que pueden compartir recursos. Cada equipo ejecuta con sus propios recursos su propio.

UNIVERSIDAD AUTÓNOMA DEL ESTADO DE HIDALGO ESCUELA SUPERIOR DE ZIMAPÁN Licenciatura en Contaduría Tema: Elementos de un modelo de cola L.C. Adriana.

Optativa II Carlos Quilumbaqui. ¿Qué es Big Data? Big Data son grandes en cantidad, se capturan a un índice rápido, y son estructurados o no estructurados,

Compras: Es la operación que tiene por objeto adquirir bienes y servicios para satisfacer las necesidades de la empresa.

Bd NoSQL Familia de Columnas PROFA. MERCY OSPINA

BIG DATA - INTRODUCCIÓN jorge ubero. bilbao, junio de 2013.

Completar las siguientes oraciones usando una de las opciones de respuesta que figuran a continuación de cada pregunta.

1’15 “Information is the oil of the 21st century, and analytics is the combustion engine,” Mr. Sondergaard said. Peter Sondergaard, senior vice president.

Transcripción de la presentación:

UNIDAD 1 ESTUDIO DE UNA APLICACIÓN DISTRIBUIDA: HADOOP HDFS PARA EL ALMACENAMIENTO DE BIG DATA

Índice Introducción Big Data Arquitectura HDFS Proceso de Lectura de datos Proceso de Escritura de datos Q&A 1 2 3 4 5 6

Generamos más datos que nunca © Centro de Innovación BBVA

Usos potenciales Análisis de negocio Recomendaciones de producto Previsión de demanda Seguridad ciudadana Estadística …

Big Data Toda esta enorme cantidad de información que se genera cada día y los sistema preparados para procesarla con el objetivo de ayudar en la toma de decisiones o análisis estadístico es lo que se conoce como Big Data.

Dificultades técnicas principales Almacenamiento Procesamiento Heterogeneidad de los datos

Almacenamiento Aumento de capacidad de almacenamiento Disminución del precio por MB Aumento de ratio de transferencia en porcentajes muy inferiores © Cloudera

Almacenamiento - Contención © Oracle

Procesamiento Tradicionalmente para aumentar la capacidad de procesamiento se ha optado por aumentar los recursos disponibles en un servidor o adquirir otro de mayor capacidad. Sin embargo, es posible repartir el trabajo a realizar distribuyéndolo entre servidores de menor capacidad con un almacenamiento propio y un conjunto de datos único, evitando contención, SPOF y abaratando costes.

Grace Hopper, early advocate of distributed computing (1906-1992) Procesamiento “In pioneer days they used oxen for heavy pulling, and when one ox couldn’t budge a log, we didn’t try to grow a larger ox.” Grace Hopper, early advocate of distributed computing (1906-1992)

Heterogeneidad Las soluciones tradicionales de almacenamiento y tratamiento de los datos (RDBMS con herramientas de Business Intelligence o Data Mining) no son válidas, pues es difícil homogeneizar toda esta información en un modelo de datos que permita almacenarlo de manera estructural

Para cubrir esta necesidad surgió en 2005 Hadoop. Hadoop es todo un ecosistema de aplicaciones que permite el procesamiento distribuido de largas cantidades de datos repartiéndolos entre todos los nodos de un cluster de servidores usando modelos de programación sencillos (MapReduce) © VMWare

Arquitectura Hadoop HDFS Bloques Bloques de gran tamaño replicados NameNodes Metadatos DataNodes Datos

Operación de lectura

Operación de escritura

Más información Hadoop: The Definitive Guide Oracle Big Data (https://www.oracle.com/bigdata/index.html) Cloudera (http://www.cloudera.com)

Q&A