未解决
此帖子已超过 5 年
2 Intern
•
4K 消息
0
995
HDFS环境下的Isilon OneFS配置调优（二）
HDFS环境下的Isilon OneFS配置调优（二）
转载请在文首保留原文出处：EMC中文支持论坛https://community.emc.com/go/chinese
介绍
EMC Isilon是企业级的横向扩展NAS存储。它支持多协议的单命名空间访问，如HDFS、NFS、SMB、FTP和HTTP等。除此以外，它还兼容wire-level的HDFS。Isilon还有很多安全特性，如DARE、WORM和Compliance Mode (合规模式)等。
本文将继续介绍HDFS环境下的Isilon OneFS配置调优，包括如何通过统计结果来调试群集参数，以及如何监视和跟踪群集的性能和容量的变化。
更多信息
根据统计数据调试OneFS参数:
OneFS 6.0或之后版本可以运行isi statistics命令来获取统计信息，包括客户端连接情况、文件系统、协议等。例如想查看HDFS协议的统计信息，可以运行命令：
isi statistics pstat --protocol=hdfs
注：有关命令的详细参数，可以参考OneFS命令行管理指南：Isilon OneFS 7.2.0 CLI Administration Guide
如果想查看所有协议的统计信息以确认MapReduce作业是否在工作，可以使用命令：
isi statistics system --nodes --timestamp --noconversion--interval=30
如果节点正确处理HDFS连接，那命令输出应该是如下格式：
通过分析NetIn和NetOut栏，可以确认HDFS连接是否在大量处理读写数据。通过查看所有节点的输入输出数据，可以确认Hadoop是否使用所有的节点用于MapReduce作业。
我们还可以通过查看InAvg和OutAvg来确认平均文件大小。如果都是大文件的话，那这两个值应该接近块大小（Block Size），之前我们已经提到默认的块大小是64MB：
isi statistics protocol --protocols=hdfs --long --output=TimeStamp,NumOps,In,InAvg,Out,OutAvg,TimeMin,TimeMax,TimeAvg,Op --totalby=Op –noconversion --interval=30
按节点来查看HDFS协议报表，可以使用命令：
isi statistics protocol --protocols=hdfs --long --output=TimeStamp,In,Out,Op --totalby=node --noconversion --interval=30
还可以使用如下命令来查看是否存在响应请求较慢的节点，我们主要观察node.cpu.user.avg和node.cpu.sys.avg的值：
isi_for_array'isi statistics query --stats=node.health,node.cpu.user.avg,node.cpu.sys.avg,node.cpu.idle.avg,node.memory.used,node.memory.free,node.disk.busy.avg--nofooter --interval=30'
查看所有节点硬盘的报表可以运行命令：
isi statistics drive --nodes=all --timestamp --noconversion--interval=30
输出结果如下显示。通过这些统计可以分析磁盘的输入输出操作是否有瓶颈：
显示活动的和已连接的HDFS客户端报表，可以使用命令：
isi statistics query --nodes=all --stats=node.clientstats.active.hdfs,node.clientstats.connected.hdfs --nofooter --noconversion--interval=30
输出结果如下显示：
如果MapReduce作业停住了，你可以通过命令查看是否有其他用户或引用锁住了文件：
isi statistics heat --totalby=node,event--orderby=node,event --noconversion --interval=30
输出结果如下显示：
使用InsightIQ监控性能：
EMC Isilon InsightIQ可以监视和分析Isilon群集的性能，帮助用户优化存储资源并预测未来容量增长。为了再运行一段时间后最大化系统性能，建议购买可选的InsightIQ产品来跟踪性能和容量变化。
参考
EMC技术白皮书
《EMC Isilon Best Practices for Hadoop Data Storage on OneFS》
应用于
Isilon OneFS