开始新对话

未解决

此帖子已超过 5 年

1775

2015年3月31日 18:00

选择Isilon部署Hadoop的六大优势

​ ​
​ ​

​选择​​Isilon​​部署​​Hadoop​​的六大优势​

​ ​
​ ​

​ ​

​转载请在文首保留原文出处:​​EMC​​中文支持论坛​​https://community.emc.com/go/chinese​​ ​weibo.png

​ ​
​ ​

​介绍​

​ ​
​ ​

​ ​

​ ​

​利用​​EMC Isilon​​横向扩展​​ NAS​​可以将大数据集聚合到一个强大但易于管理的存储平台上,该平台具有强大的可扩展性、很高的性能、无与伦比的效率以及运营的灵活性,可支持广泛的应程序。本文将为您列举选择​​Isilon​​横向扩展​​NAS​​进行大数据分析的​​6​​大优势。​

​ ​

​ ​

​ ​

​ ​

​ ​
​ ​

​更多信息​

​ ​
​ ​

​ ​

​ ​

​ ​

​ ​

​Hadoop​​主要由二个重要组件构成:文件系统(​​HDFS​​)和计算系统(​​MapReduce​​)。在​​Hadoop​​生态系统中还包括众多开源工具,如:​​RHIPE​​、​​Pig​​、​​Mahout​​、​​Hive​​、​​HBase​​等等。​​Hadoop​​生态系统可以参考下图:​

​ ​

​ ​

​ ​

​ ​Untitled.png

​ ​

​ ​

​ ​

​那么在​​EMC​​的​​Isilon​​横向扩展​​NAS​​上部署​​Hadoop​​具备哪些优势呢?总结下来主要是以下六个方面:​

​ ​

​ ​

​ ​

​ ​

​ ​

​1​​、横向扩展存储平台​

​ ​

​ ​

​ ​

​Hadoop​​构建在横向扩展架构上,可以利于集群上所有节点引擎的处理能力,高效和快速的运行智能分析软件。​​Isilon​​横向扩展​​NAS​​既能适应不断变化的基础架构和数据容量需求,也能轻松处理不断增长的应用流量,而且不失简单性和易用性。​

​ ​

​ ​

​ ​

​ ​

​ ​

​ ​

​ ​

​2​​、无单点故障​

​ ​

​ ​

​ ​

​在使用传统的直连存储进行​​Hadoop​​计算时,所有文件系统命令空间都由一个​​NameNode​​进行管理。但是,在​​Isilon​​存储中,每个​​Isilon​​节点都可以响应​​NameNode​​请求。每当​​Hadoop​​计算客户端向​​Isilon​​集群发送文件请求时,该请求都会被发送到不同的​​Isilon​​节点。 在​​Hadoop​​环境中,集群的每个节点都充当​​NameNode​​和​​SpaceNode​​,这样可以对多个映射程序的文件请求实现负载均衡。通过这种方式,​​Isilon​​可以消除传统​​Hadoop​​集群存在的单点故障,实现负载均衡。​

​ ​

​ ​

​ ​

​ ​

​ ​

​ ​

​ ​

​3​​、端到端数据保护​

​ ​

​ ​

​ ​

​通过​​SnapshotIQ​​、​​SyncIQ​​和​​NDMP​​功能,​​Isilon​​可以提供高性能异地数据复制、本地备份和快照功能,已满足不同端到端数据保护需求。客户可以在系统成本和容灾要求之间找到很好的平衡。​

​ ​

​ ​

​ ​

​ ​

​ ​

​ ​

​ ​

​4​​、存储效率业界领先​

​ ​

​ ​

​ ​

​ ​​Isilon OneFS​​操作系统使用业界领先的​​Erasure Code​​(纠删码)保护数据,存储管理员可以在单个目录下管理整个存储池,配置简单高效。另外,​​Isilon​​作为第一个为​​Hadoop HDFS​​整合大数据分析提供的存储解决方案,同时支持​​HDFS​​的​​1.0​​和​​2.0​​协议,允许相同的数据以多种方式输出,裸存储利用率达到​​80%​​以上,提供了业界领先的利用率水平。​

​ ​

​ ​

​ ​

​ ​

​ ​

​ ​

​ ​

​5​​、独立的可扩展性​

​ ​

​ ​

​ ​

​Isilon OneFS​​操作系统是全分布式,具有很好的扩展性,最大可以扩展到​​144​​个存储节点,单一卷容量可达​​20PB​​。相对传统存储都是集中式的,扩展性不好。 ​

​ ​

​ ​​ ​

​ ​

​ ​

​ ​

​ ​

​ ​

​6​​、多协议​

​ ​

​ ​

​ ​

​Isilon​​横向扩展​​NAS​​支持众多行业标准协议,如:​​NFS​​、​​SMB​​、​​FTP​​、​​HTTP​​和​​Hadoop HDFS​​,可以简化业务分析计划、简化和整合工作流、提高灵活性以及为企业应用程序提供更大的灵活性。​

​ ​

​ ​

​ ​

​ ​

​ ​

​ ​

​ ​
​ ​

​应用于​

​ ​
​ ​

​ ​

​ ​

​选择​​Isilon​​部署​​Hadoop​​的六大优势。​

​ ​

​ ​

​ ​

​ ​

​ ​

​ ​

​ ​
没有回复!
找不到事件!

Top