​ ​​ ​

​ ​

​转载请在文首保留原文出处：​​EMC​​中文支持论坛​​https://community.emc.com/go/chinese​​ ​

​ ​​ ​

​ ​

​ 如今，各个业务领域的大中小型组织都面临着同一类问题：随着基于文件的数据不断生成，其数量呈现爆炸性激增，各组织因而必须设法加以妥善管理。面对这种非结构化数据（通常称为“大数据”）的剧增，传统的存储体系结构已然无法满足增长需求，开发新一代存储技术势在必行。此外，更广泛的数据保留要求、法规遵从性要求、同内部​​/​​外部客户签订的更严格的可用性服务级别协议​​(SLA) ​​以及云计算和虚拟化计划，都进一步让这个问题雪上加霜。​

​ ​

​ 本文将详细介绍​​EMC Isilon NAS​​群集在高可用性方面的机制和采取的措施。​

​ ​​ ​

​ ​

​群集组管理​​:​

​ ​

​ ​

​ 群集一致性和群集仲裁由​​ OneFS​​组管理协议​​ (GMP) ​​处理。面临的挑战就是要组合多个磁头的不同元素 — 性能、一致性、客户端访问协议。​​GMP ​​建立在几种分布式算法的基础上，同时严格遵守布鲁尔定理；该定理表示，分布式计算机系统无法同时确保如下三项功能：一致性、可用性及分区容错性。​​OneFS ​​不影响一致性或可用性。​

​ ​

​ 据此，包含一半以上群集节点的仲裁组必须在任何给定时间处于活动状态且可响应。如果某个节点处于活动状态且可响应，但并非仲裁组成员，则将强制此节点进入只读状态。​

​ ​

​ OneFS​​ ​​利用仲裁的这个特点，防止因临时群集划分可能导致的“裂脑”状况。另外，仲裁还规定了支持给定数据保护级别所需的最小节点数。例如，要支持​​N+3 ​​配置，群集需要七个或更多节点。这能够在同时失去三个节点时仍保持四个节点的仲裁，从而使群集保持运行。​

​ ​

​ 组管理协议将保持跟踪所有被视为此群集一部分的节点和驱动器的状态。每当以主动或被动方式向群集添加设备或从中删除设备时，都会广播组更改，递增组​​ ID​​，并解决任何未提交的日志写入事务。​

​ ​

​ ​

​并发与锁定：​

​ ​

​ ​

​ OneFS​​ ​​采用分布式锁定管理器，此管理器利用专有的散列算法，跨存储群集中的所有节点协调完成数据的一致性锁定。其设计是锁定协调器的结束节点始终不同于启动节点，并根据需要授权共享锁定或独占锁定。相同的分布式锁定管理器机制还用于协调文件系统结构锁定，以及整个群集中的协议和建议锁定。另外，​​OneFS ​​还支持委派锁定（即，​​SMB ​​伺机锁定和​​ NFSv4 ​​委派）和字节范围锁定。​

​ ​

​ ​

​文件布局​​：​

​ ​

​ ​

​ OneFS​​ ​​是一个具有大型可扩展命名空间的单一文件系统 — 不存在多个卷连结或单点故障。因此，所有节点都通过相同的数据块地址访问群集上的相同结构，所有目录都是源于该根信息节点的信息节点号链接。​

​ ​

​ 数据在群集内所有节点及相应磁盘上的布局方式对​​ OneFS​​功能很重要。正如前面提到的，​​OneFS ​​使用​​ 8 KB ​​大小的数据块，并用十六个这样的数据块组合创建一个​​ 128 KB ​​的条带单元。根据逐文件策略，文件在所有节点上分条后，最多可以使用二十个节点的资源（磁盘轴和缓存）。​

​ ​

​ BAM ​​在启动特殊写入操作的节点上，利用上述​​ 2PC ​​做出布局决定。​​BAM ​​安全写入​​ (BSW) ​​代码获取​​ GMP ​​中的群集组信息和文件所需的保护策略，然后做出数据块最佳写入位置的明智决定，从而确保文件得到妥善保护。为此，​​BSW ​​生成一项写入计划，此计划包括在整个保护组中安全写入新数据块所需的所有步骤。完成之后，​​BSW ​​将执行此写入计划，并确保计划顺利完成。​

​ ​

​ OneFS​​ ​​内的所有文件、信息节点以及其他元数据结构（​​B-​​树等）被镜像最多八次，或受奇偶校验保护，这些数据遍布在多个节点的不同磁盘柱面组上。奇偶校验保护采用​​ N+M ​​方案，​​N ​​表示节点数 — 条带宽度，​​M ​​表示奇偶校验数据块数。下面的“灵活保护”章节中将更详细地介绍此内容。​

​ ​

​ OneFS​​ ​​不会在低于要求的保护级别上写入文件，但是，如果条带宽度不足以支持特定的前向纠错​​(FEC) ​​保护级别，​​BAM ​​将尝试使用等效镜像布局。​

​ ​

​ ​

​灵活保护​​：​

​ ​

​ ​

​ OneFS​​ ​​设计为能够承受多个组件（当前为四个）同时发生故障，但仍然丝毫不受影响地访问整个文件系统和数据集。数据保护在文件系统级别实施，因此，它不依赖于任何硬件​​RAID ​​控制器。这提供许多好处，包括能够随着市场条件或硬件属性和特点的演变而添加新的数据保护方案。由于应用的是文件级别保护，因此，要使新的保护和性能方案可用，只需执行​​OneFS ​​软件升级即可。​

​ ​

​ OneFS​​ ​​采用主流的​​ Reed-Solomon ​​擦除编码算法来完成奇偶校验保护计算。在文件级别应用保护，使得群集可以快速高效地恢复数据。信息节点、目录和其他元数据在与其所参考的数据块相同或更高的级别进行保护。由于所有数据、元数据及​​FEC ​​数据块跨多个节点进行分条，因此无需专用的奇偶校验驱动器。这不仅可以防止出现单点故障和瓶颈，还使文件重建成为一个高度并行化的过程。目前，​​OneFS ​​提供了​​ N+1 ​​到​​N+4 ​​奇偶校验保护级别，最多可分别为四个同时发生的组件故障提供保护。单个故障可能只是个别磁盘发生故障，也可能是整个节点发生故障。​

​ ​

​ OneFS​​ ​​还支持多种混合保护方案。这包括​​ N+2:1 ​​和​​ N+3:1​​，前者可针对两个驱动器故障或一个节点故障提供保护，后者可针对三个驱动器故障或一个节点故障提供保护。对于高密度节点配置（其中，每个节点包含多达​​36 ​​个数​​ TB SATA ​​驱动器）而言，这些保护方案特别有用。这里，多个驱动器发生故障的概率大大超过了整个节点发生故障的概率。万一发生多个设备同时出现故障的情况，以至于文件“超出了其保护级别”，则​​OneFS ​​将尽可能重新保护所有可保护的内容，并且将与受影响的个别文件相关的错误报告到群集日志。​

​ ​​ ​
​ ​

​ OneFS​​ ​​混合奇偶校验保护方案​​ (N+M:x)​

​ ​

​ 如前所述，​​OneFS​​ ​​还提供​​ 2 ​​到​​ 8 ​​次的不同镜像选项，从而允许指定内容具有二到八个镜像。例如，默认情况下，元数据的镜像级别比​​ FEC ​​高一级。如果文件的保护级别为​​ N+1​​，其关联元数据对象将镜像​​ 3 ​​次。​

​ ​

​ 分条的分布式元数据结合了持续自动平衡功能，可实现​​ OneFS ​​真正的线性性能特性，而无论文件系统的填充程度为何。元数据和文件数据分布在整个群集中，可始终保持群集的平衡。​

​ ​​ ​

​ ​

​EMC​​技术白皮书​

​ ​

​《​​High Availability and Data Protection with EMC Isilon Scale-Out NAS​​》​

​ ​​ ​

​ ​

​EMC Isilon​

​ ​
​ ​