​ ​​ ​

​ ​

​转载请在文首保留原文出处：​​EMC​​中文支持论坛​​https://community.emc.com/go/chinese​​ ​

​ ​​ ​

​ ​

​Hadoop​​数据管理软件与服务提供商​​Cloudera​​是由来自​​Facebook​​、谷歌和雅虎的前工程师杰夫•哈默巴切、克里斯托弗•比塞格利亚、埃姆•阿瓦达拉以及现任​​CEO​​、甲骨文前高管迈克•奥尔森在​​2008​​年创建，它是目前​​Hadoop​​业界规模最大、知名度最高的公司之一。​

​ ​

​ ​

​EMC Isilon​​集群支持​​Cloudera​​管理软件的部署，​​OneFS​​充当分布式文件系统的角色，​​HDFS​​则作为支持协议，​​Hadoop​​集群上的客户端通过​​HDFS​​协议管理​​Isilon​​集群上的数据。本文将概述在​​Isilon​​集群上部署​​Cloudera​​的基本步骤。​

​ ​

​ ​

​ ​
• ​在Isilon集群上部署Cloudera数据管理软件实现大数据分析（上）​
​ ​
• ​在Isilon集群上部署Cloudera数据管理软件实现大数据分析（下）​
​ ​

​ ​

​ ​

​ ​​ ​

​ ​

​ ​

​ ​

​支持环境​

​ ​

​ ​

​ ​

​ ​
• ​OneFS​​操作系统​​7.2​​版本​
​ ​
• ​HDFS​​许可证​
​ ​
• ​SmartConnect​​高级功能许可证​
​ ​
• ​Cloudera​​ CDH 5.1 / ​​Cloudera​​ Manager 5.2​
​ ​

​ ​

​ ​

​ ​

​ ​

​创建​​Access Zones​

​ ​

​ ​

​Access Zones​​将​​Isilon​​集群以不同的用户认证和数据访问划分为不同的访问空间，在部署​​Hadoop​​应用时，建议为每个​​Hadoop​​集群创建一个独立的​​Zone​​，这样方便每个​​Hadoop​​集群连接到自己单独的​​HDFS​​命名空间。​

​ ​

​ ​

​ ​

​ ​

​创建​​HDFS​​目录和设置访问权限​

​ ​

​ ​

​在​​Isilon​​集群上必须为​​Hadoop​​创建一个目录，并根据具体环境、需求和安全策略为目录分配权限。具体配置要求如下：​

​ ​

​ ​

​ ​
• ​为保存​​HDFS​​数据的​​Access Zone​​都创建一个根目录。当​​Hadoop​​客户端连接到​​Access Zone​​时，它会被连接到根​​HDFS​​目录。​
​ ​
• ​为部署​​Cloudera​​的根目录都手动创建一个​​/​​tmp​​目录。​
​ ​
• ​确保权限设置正确，以便用户和应用程序可以访问他们的目录和文件。​
​ ​

​ ​

​ ​

​ ​

​ ​

​分配​​IP​​地址​

​ ​

​ ​

​Isilon​​集群中的​​IP​​地址被组织成​​IP​​地址池。​​SmartConnect​​的​​Basic​​模式下​​Isilon​​集群只能有一个子网，这个子网可以配置一个地址池并且只支持静态的​​IP​​地址分配策略，当​​SmartConnect​​的​​Advanced​​功能激活后，在一个集群中可以建立多个不同的子网，而且每个子网下可以配置多个​​IP​​地址池，​​IP​​地址分配可以启动动态策略来实现故障切换。​

​ ​

​ ​

​部署​​Cloudera​​的最佳实践是为每个​​Access Zone​​分配至少二个​​IP​​地址，一个​​IP​​地址用于​​Hadoop​​客户端连接​​Isilon​​集群上​​HDFS​​的​​NameNode​​服务，另一个​​IP​​地址用于​​Hadoop​​客户端连接​​HDFS​​的​​DataNode​​服务。在集群已经激活​​Advanced​​功能后，推荐为​​NameNode​​连接开启​​IP​​地址动态分配功能。​

​ ​

​ ​

​ ​

​ ​

​设置​​DNS​

​ ​

​ ​

​SmartConnect​​功能需要​​DNS​​服务器支持，部署​​Cloudera​​需要设置​​DNS​​服务器。客户端通过​​DNS​​域名访问​​Isilon​​存储，具体访问过程如下：​

​ ​

​ ​

​　　​​1​​、客户通过域名方式访问​​Isilon​​集群，向​​DNS​​服务器发起解析请求。​

​ ​

​　　​​2​​、由于​​Isilon​​集群域名都已经授权给​​SmartConnect​​，​​DNS​​服务器将解析请求重定向给​​SmartConnect​​。​

​ ​

​　　​​3​​、​​SmartConnect​​通过​​A​​记录解析为多个​​Isilon​​存储地址。​

​ ​

​　　​​4​​、客户通过​​DNS​​解析得到的​​IP​​地址访问​​Isilon​​存储。​

​ ​

​ ​

​ ​

​ ​​ ​

​ ​

​ ​
• ​OneFS Web Administration Guide​
​ ​
• ​OneFS CLI Administration Guide​
​ ​
• ​EMC Isilon Best Practices for Hadoop Data Storage​
​ ​
• ​Hadoop Info Hub​
​ ​

​ ​

​ ​​ ​

​ ​

​在​​Isilon​​集群上部署​​Cloudera​​数据管理软件实现大数据分析​

​ ​

​ ​

​ ​

​ ​