开始新对话

未解决

此帖子已超过 5 年

1328

2014年1月16日 01:00

OneFS操作系统软件概述之Job工作原理

​ ​
​ ​

​OneFS​​操作系统软件概述之​​Job​​工作原理​

​ ​
​ ​

​ ​

​转载请在文首保留原文出处:​​EMC​​中文支持论坛​​https://community.emc.com/go/chinese​

​ ​
​ ​

​介绍​

​ ​
​ ​

​ ​

​ ​

​EMC Isilon​​存储最重要的设计在于使用​​OneFS​​操作系统,从而不再依耐硬件做为存储体系结构的关键组成部分。​​OneFS​​将三个传统的存储体系结构层(文件系统、卷管理器和​​RAID​​)组合为一个统一的软件层,从而在一个群集的所有节点上创建单一智能文件系统。在集群架构中,​​Jobs​​负责群集的健康和维护工作,这些​​Jobs​​都是由​​OneFS​​的​​Job Engine​​进行管理。本文将介绍​​OneFS​​操作系统的​​Jobs​​工作原理。​

​ ​


​ ​

​ ​

​ ​
​ ​

​更多信息​

​ ​
​ ​

​ ​

​ ​

​Job Engine​​在整个集群上运行,主要负责划分和管理存储管理和保护工作。为了实现这一点,它把任务分成更小的工作项目,然后分配下去,​​Job Engine​​包括一个全面的检查点系统和自适应作用管理系统,​​Jobs​​可以被暂停、恢复、停止和启动。​​Jobs​​主要可以被分为三个主要类别:​

​ ​

​ ​

​ ​

​ ​

​ ​

​文件系统维护工作​

​ ​

​ ​

​ ​

​这类​​Jobs​​执行后台文件系统的维护,通常需要访问所有节点。这些​​Jobs​​都必须在默认配置下运行,应用示例包括文件系统保护和驱动器重建。​

​ ​

​ ​

​ ​

​ ​

​ ​

​功能支持工作​

​ ​

​ ​

​ ​

​这类​​Jobs​​应用于一些扩展的存储管理功能,通常只在该功能被配置时才会运行。应用示例包括重复数据删除和防病毒扫描。​

​ ​

​ ​

​ ​

​ ​

​ ​

​用户操作工作​

​ ​

​ ​

​ ​

​这类​​Jobs​​都直接由存储管理员来运行,用于实现一些数据管理的目标。应用示例如权限维护。​

​ ​

​ ​

​ ​

​ ​

​ ​

​下表提供了​​Job engine​​中已公开​​Jobs​​的描述和接入方法:​

​ ​

​ ​

​ ​​ ​​ ​​ ​​ ​​ ​​ ​​ ​​ ​​ ​​ ​​ ​​ ​​ ​​ ​​ ​​ ​​ ​​ ​​ ​​ ​​ ​​ ​​ ​​ ​​ ​​ ​​ ​​ ​​ ​​ ​​ ​​ ​​ ​​ ​​ ​​ ​​ ​​ ​​ ​​ ​​ ​​ ​​ ​​ ​​ ​​ ​​ ​​ ​​ ​​ ​​ ​​ ​​ ​​ ​​ ​​ ​​ ​​ ​​ ​​ ​​ ​​ ​​ ​​ ​​ ​​ ​​ ​​ ​​ ​​ ​​ ​​ ​​ ​​ ​​ ​​ ​​ ​​ ​​ ​​ ​​ ​​ ​​ ​​ ​​ ​​ ​​ ​​ ​​ ​​ ​​ ​​ ​​ ​​ ​​ ​​ ​​ ​​ ​​ ​​ ​​ ​​ ​​ ​​ ​​ ​​ ​​ ​​ ​​ ​​ ​​ ​​ ​​ ​
​ ​

​Job​​名称​

​ ​
​ ​

​Job​​描述​

​ ​
​ ​

​接入方法​

​ ​
​ ​

​AutoBalance​

​ ​
​ ​

​在集群中平衡空余空间​

​ ​
​ ​

​驱动​​+LIN Scans​

​ ​
​ ​

​AutoBalanceLin​

​ ​
​ ​

​在集群中平衡空余空间​

​ ​
​ ​

​LIN Scan​

​ ​
​ ​

​AVScan​

​ ​
​ ​

​病毒扫描工作,​​ICAP​​服务器运行​

​ ​
​ ​

​Treewalk​

​ ​
​ ​

​Collect​

​ ​
​ ​

​当节点或驱动器遭受各种故障导致无法使用时,回收无法释放的磁盘空间​

​ ​
​ ​

​驱动​​+LIN Scans​

​ ​
​ ​

​Dedupe​

​ ​
​ ​

​在文件系统中删除重复数据块​

​ ​
​ ​

​Treewalk​

​ ​
​ ​

​DedupeAssessment​

​ ​
​ ​

​预演评估重复数据删除的好处​

​ ​
​ ​

​Treewalk​

​ ​
​ ​

​DomainMark​

​ ​
​ ​

​关联路径和内容到域​

​ ​
​ ​

​Treewalk​

​ ​
​ ​

​FlexProtect​

​ ​
​ ​

​对一个从故障中恢复的文件系统重建一个重新保护​

​ ​
​ ​

​驱动​​+LIN Scans​

​ ​
​ ​

​FlexProtectLin​

​ ​
​ ​

​重新保护文件系统​

​ ​
​ ​

​LIN Scan​

​ ​
​ ​

​FSAnalyze​

​ ​
​ ​

​收集与​​Isilon InsightIQ​​软件结合使用的文件系统的分析数据​

​ ​
​ ​

​LIN Scan​

​ ​
​ ​

​IntegrityScan​

​ ​
​ ​

​对任何不一致文件系统执行核查和纠正​

​ ​
​ ​

​LIN Scan​

​ ​
​ ​

​MediaScan​

​ ​
​ ​

​扫描驱动器的媒体级错误​

​ ​
​ ​

​驱动​​+LIN Scans​

​ ​
​ ​

​MultiScan​

​ ​
​ ​

​同时运行​​collect​​和​​AutoBalance Jobs​

​ ​
​ ​

​LIN Scan​

​ ​
​ ​

​PermissionRepair​

​ ​
​ ​

​更正文件和目录的权限​

​ ​
​ ​

​Treewalk​

​ ​
​ ​

​QuotaScan​

​ ​
​ ​

​为现有目录路径创建的域更新额度账单​

​ ​
​ ​

​Treewalk​

​ ​
​ ​

​SetProtectPlus​

​ ​
​ ​

​应用默认的文件政策。如果群集上​​smartpool​​被激活,该​​Job​​被禁用。​

​ ​
​ ​

​LIN Scan​

​ ​
​ ​

​ShadowStoreDelete​

​ ​
​ ​

​释放与​​shadow​​存储相关的空间​

​ ​
​ ​

​LIN Scan​

​ ​
​ ​

​SmartPools​

​ ​
​ ​

​在同一群集的节点层之间运行和移动数据​

​ ​
​ ​

​LIN Scan​

​ ​
​ ​

​SnapRevert​

​ ​
​ ​

​恢复整个快照​

​ ​
​ ​

​ ​

​ ​
​ ​

​SnapshotDelete​

​ ​
​ ​

​释放与已删除快照相关联的磁盘空间​

​ ​
​ ​

​LIN Scan​

​ ​
​ ​

​TreeDelete​

​ ​
​ ​

​从集群中删除文件系统中的路径​

​ ​
​ ​

​Treewalk​

​ ​
​ ​

​ ​

​ ​

​ ​

​ ​

​虽然文件系统维护工作在默认情况下运行,但是​​Job Engine​​中的​​Job​​可以通过配置优先级和作用策略进行管理。一个产生作用的策略可以由一个或多个作用间隔(​​intervals​​)组成,​​Job engine​​的作用级别可以分为:​

​ ​

​ ​

​ ​

​·​​ ​​停止​

​ ​

​·​​ ​​低级​

​ ​

​·​​ ​​中级​

​ ​

​·​​ ​​高级​

​ ​

​ ​

​ ​

​ ​

​ ​

​从​​OneFS 7.1​​版本开始,​​Job Engine​​允许最多三个​​Job​​同时运行,并发​​Job​​按照下列管理标准进行:​

​ ​

​ ​

​ ​

​·​​ ​​Job​​优先级​

​ ​

​·​​ ​​Exclusion Sets ​​— 不能同时运行的​​Jobs ​​(例如:​​FlexProtect​​和​​AutoBalance​​)​

​ ​

​·​​ ​​Cluster health ​​—当群集处于降级状态,大部分​​Jobs​​无法运行。​

​ ​


​ ​

Jobs.png

​ ​


​ ​

​ ​

​ ​

​ ​

​ ​
​ ​

​参考​

​ ​
​ ​

​ ​

​ ​

​文档《​​EMC Isilon OneFS: A Technical Overview​​》​

​ ​


​ ​
​ ​

​应用于​

​ ​
​ ​

​ ​

​ ​

​了解​​OneFS​​操作系统的​​Jobs​​工作原理​

​ ​

​ ​

​ ​

​ ​

​ ​

​ ​

​ ​

​ ​

​ ​

​ ​

​ ​

​ ​

​ ​

196 消息

2014年1月16日 17:00

说实话,7.1以下的版本只能由一个Job进程在跑。很是不方便的

找不到事件!

Top