PowerScale、Isilon、OneFS：如何正确关闭群集电源

简介

流程

• 阶段 1：执行预防性维护
• 阶段 2：关闭群集中的每个节点
• 阶段 3：验证节点是否已成功关闭
• 第 4 阶段：断开电源
• 第 5 阶段：打开群集中每个节点的电源
• 第 6 阶段：在群集上运行运行状况检查

1. 如果需要，上传日志以供历史参考。

# isi_gather_info

2. 执行或请求 Isilon 运行状况检查。
   • 这将评估群集的运行状况，以确保其处于良好的可支持、可运行状态。
   • 客户可以使用 PowerScale 执行此操作：如何运行 IOCA 群集分析工具
   • 它可以由远程响应（客户支持）团队执行。这适用于针对受支持代码版本的群集签订有效维护协议的所有客户。如果您满足这些要求，请在戴尔在线支持网站上打开服务请求 （SR），请求“Isilon 运行状况检查”。通过运行此命令，提供运行状况检查的完整日志

# isi_gather_info             

*运行状况检查不用于修复群集问题或评估群集的配置、性能或工作流。

3. 通过执行以下步骤，对每个节点执行“冷重新启动”。应为此活动安排维护窗口。

1. 逐个关闭群集中的每个节点。要关闭每个节点，请执行以下操作：
   1. 打开与任何节点的 SSH 连接。通过运行以下命令关闭每个节点

isi config
shutdown <node_lnn>

2. 通过确认节点背面的绿色电源指示灯 LED 不再亮起，验证每个节点是否已关闭电源。
3. 按下电源按钮以重新打开节点电源。
4. 通过运行以下命令，验证节点是否已重新加入群集且运行状况良好 isi status -q 命令，然后在输出的 Health DASR 列中查找 OK 。
5. 如果节点遇到 HealthDASR列中指示的问题，或者无法重新加入群集，请在关闭下一个节点之前解决这些问题。

已选择问题的示例。节点 1 已成功重新加入群集，但 Health DASR列指示它需要注意。

mycluster-1# isi status -q

Cluster Name: mycluster
Cluster Health:     [ ATTN]
Cluster Storage:  HDD                 SSD           
Size:             11G (23G Raw)       0 (0 Raw)     
VHS Size:         11G                
Used:             7.9G (69%)          0 (n/a)       
Avail:            3.5G (31%)          0 (n/a)       
                   Health  Throughput (bps)  HDD Storage      SSD Storage
ID |IP Address     |DASR |  In   Out  Total| Used / Size     |Used / Size
-------------------+-----+-----+-----+-----+-----------------+-----------------
  1|10.1.16.141    |-A-- |    0| 150K| 150K| 2.0G/ 2.8G( 69%)|    (No SSDs)   
  2|10.1.16.142    |-OK- |  98K|  13K| 112K| 2.0G/ 2.8G( 69%)|    (No SSDs)   
  3|10.1.16.143    |-OK- |    0|  44K|  44K| 2.0G/ 2.8G( 69%)|    (No SSDs)   
  4|10.1.16.144    |-OK- |    0|  512|  512| 2.0G/ 2.8G( 69%)|    (No SSDs)   
-------------------+-----+-----+-----+-----+-----------------+-----------------
Cluster Totals:          |  98K| 208K| 306K| 7.9G/  11G( 69%)|    (No SSDs)   
Health Fields: D = Down, A = Attention, S = Smartfailed, R = Read-Only   

2. 重新启动每个节点后，仔细检查整个群集的运行状况。打开与任何节点的 SSH 连接，然后运行以下命令：

 isi status -q

isi config
reboot <node_lnn>

但是， 戴尔强烈建议 使用冷重新启动方法更有效地识别潜在的硬件问题。
 

阶段 2：关闭群集中的每个节点。
这些步骤将在您关闭 Isilon 群集的当天执行。在群集范围关闭期间，某些因素可能会影响或延迟关闭过程。例如，对节点的未完成数据写入可能会影响关闭。步骤 1-2 的目的是确保所有客户端都与群集断开连接，并且在运行 shutdown 命令之前，数据已从节点日志正确保存到文件系统。如果您有 iSCSI 客户端，请确保在禁用 iSCSI 服务之前关闭客户端。

步骤 3 介绍了如何使用串行控制台按顺序关闭群集中的每个节点。建议使用此方法，因为它使您能够在继续下一个节点之前验证每个节点是否已正确关闭，并根据需要进行调整或修复问题以确保群集正确关闭。但是，此方法可能非常耗时，因为它需要将串行控制台连接到每个节点以运行 shutdown 命令。同时关闭群集中的所有节点部分介绍了如何使用 OneFS 命令行界面或 OneFS Web 管理界面关闭群集。此方法比步骤 3 耗时更少，但使得识别在关闭过程中遇到问题的节点更具挑战性。

1. Isilon 建议将群集与客户端隔离开来，以确保写入频繁的客户端不会妨碍关闭程序。您可以通过禁用群集上运行的面向客户端的服务来执行此操作。执行以下过程以禁用面向客户端的服务：
   1. 通过对每个面向客户端的服务运行以下命令，识别群集上运行的面向客户端的服务或协议：

isi services apache2
isi services isi_hdfs_d
isi services isi_iscsi_d
isi services ndmpd
isi services nfs
isi services smb
isi services vsftpd

mycluster-4# isi services smb
Service 'smb' is enabled.
mycluster-4# isi services nfs
Service 'nfs' is disabled.
mycluster-4#

3. 禁用面向客户端的服务。完成此步骤后，所有客户端会立即失去与群集的连接。要禁用某项服务，请运行以下与您已启用的服务相关的命令。

isi services apache2 disable
isi services isi_hdfs_d disable
isi services isi_iscsi_d disable
isi services ndmpd disable
isi services nfs disable
isi services smb disable
isi services vsftpd disable

如果您有 iSCSI 客户端，请确保 iSCSI 客户端在执行步骤 2 之前已卸载其 LUN。运行 isi iscsi list 命令确认所有 iSCSI 客户端都已与群集断开连接。

2. 通过运行 isi_for_array isi_flush 命令启用和配置 SRS。每个节点上将显示如下输出：

mycluster-4# isi_for_array isi_flush
mycluster-1: Flushing cache...
mycluster-1: Cache flushing complete.

mycluster-4# isi_for_array isi_flush
mycluster-1: Flushing cache...
vinvalbuf: flush failed, 1 clean and 0 dirty bufs remaining
mycluster-2: Flushing cache...
fsync: giving up on dirty

运行 isi_for_array isi_flush 命令。如果任何节点刷新失败，请联系戴尔 Isilon 技术支持。在继续执行下一步之前，所有节点都必须成功刷新。

3. 按顺序关闭群集中的每个节点并监视输出。建议使用此方法，因为它使您能够在关闭群集中的下一个节点之前识别并解决任何问题。通过执行以下步骤关闭每个节点：

1. 将串行控制台连接到每个节点。
2. 运行以下命令：

isi config
shutdown

Powering the system off using ACPI

3. 三. 监视控制台并查找与硬件相关的故障事件。在以下输出变体中，选择成功保存节点日志：

2014-03-22T00:35:19Z <1.5> mycluster-3(id11) isi_save_journal[44868]: Attempting to save journal to default location
2014-03-22T00:35:19Z <1.5> mycluster-3(id11) isi_save_journal[44868]: Saving journal to /var/journal/journal.gz
2014-03-22T00:35:19Z <1.5> mycluster-3(id11) isi_save_journal[44868]: All data saved successfully

2014-03-22T00:37:29Z <1.5> mycluster-3(id11) isi_save_journal[45074]: Attempting to save journal to default location
2014-03-22T00:37:29Z <1.5> mycluster-3(id11) isi_save_journal[45074]: A valid backup journal already exists. Not saving.

An example of a node journal save failure is highlighted in the output below:
2014-03-21T23:39:09Z <1.4> mycluster-3(id11) /sbin/shutdown: ERROR: Validation failed for backup journal. Shutdown aborted
2014-03-21T23:39:09Z <1.4> mycluster-3(id11) /sbin/shutdown: Failed command output:

如果您收到节点日志未保存的错误，您可以通过执行 阶段 3 中的步骤手动保存日志。
 

同时关闭群集中的所有节点。

如果发生紧急情况，您可以同时关闭群集中的所有节点。但是，不建议使用此方法，因为它无法在出现问题时监视每个节点的状态和输出。如果您选择执行这些步骤，戴尔强烈建议执行 第 3 阶段 中的所有步骤，以验证在执行以下步骤后所有节点均已正确关闭。

# isi config shutdown all

1. 要手动保存日志并关闭节点，请执行以下步骤：
   1. 如果节点响应命令行界面，请通过运行以下命令重新启动节点：

# isi config reboot

2. 如果节点对命令行界面没有响应，请通过按住节点背面的电源按钮手动重新启动节点。这会导致节点关闭电源。等待 30 秒，然后按一次电源按钮以再次启动节点备份。转至下一个步骤。

2. 重新启动节点后，重新登录并使用以下步骤保存日志：
   1. 通过运行以下命令，尝试再次正常关闭节点：

# isi config shutdown

2. 如果输出仍指示日志未保存，请通过运行以下命令手动保存日志：

# isi_save_journal

3. 如果日志仍未保存，请卸载文件系统 /ifs，然后通过运行以下命令强制保存日志：

# isi_kill_busy && umount /ifs

4. 通过运行 isi_checkjournal 命令验证日志是否已保存。

# isi_checkjournal

5. 在输出指示日志已成功保存之前，请勿转至下一步。

如果需要，请联系 戴尔技术支持 。
 

1. 恢复每个节点的电源。
2. 按每个节点的前面板或背面的电源按钮以启动它们。
3. 所有节点均已开机后，运行 isi status -q 命令来检查群集的运行状况。在继续操作之前，请验证“运行状况”DASR列中的所有节点是否 正常 ，并且未处于只读 （R） 模式。对于运行状况良好的群集，应显示类似于以下内容的输出：

Cluster Name: mycluster
Cluster Health:     [ OK ]
Cluster Storage:  HDD                 SSD           
Size:             11G (23G Raw)       0 (0 Raw)     
VHS Size:         11G                
Used:             7.9G (69%)          0 (n/a)       
Avail:            3.5G (31%)          0 (n/a)       
                   Health  Throughput (bps)  HDD Storage      SSD Storage
ID |IP Address     |DASR |  In   Out  Total| Used / Size     |Used / Size
-------------------+-----+-----+-----+-----+-----------------+-----------------
  1|10.1.16.141    |-OK- |    0| 150K| 150K| 2.0G/ 2.8G( 69%)|    (No SSDs)   
  2|10.1.16.142    |-OK- |  98K|  13K| 112K| 2.0G/ 2.8G( 69%)|    (No SSDs)   
  3|10.1.16.143    |-OK- |    0|  44K|  44K| 2.0G/ 2.8G( 69%)|    (No SSDs)   
  4|10.1.16.144    |-OK- |    0|  512|  512| 2.0G/ 2.8G( 69%)|    (No SSDs)   
-------------------+-----+-----+-----+-----+-----------------+-----------------
Cluster Totals:          |  98K| 208K| 306K| 7.9G/  11G( 69%)|    (No SSDs)   
Health Fields: D = Down, A = Attention, S = Smartfailed, R = Read-Only   

4. 查看 在第 2 阶段步骤 1b 中创建的已启用服务的列表，并通过运行以下一个或多个命令启用已禁用的服务：

isi services apache2 enable
isi services isi_hdfs_d enable
isi services isi_iscsi_d enable
isi services ndmpd enable
isi services nfs enable
isi services smb enable
isi services vsftpd enable

5. 验证您的客户端是否可以连接到群集并执行其常规工作流。您的群集应正常运行。

1. 上传并收集完整日志

# isi_gather_info --esrs

2. 由远程响应（客户支持）团队执行或请求 Isilon 运行状况检查。

运行运行状况检查的步骤。

PowerScale：如何运行 IOCA 聚类分析工具。

3. 使用远程响应支持团队请求运行状况检查

这适用于针对受支持代码版本的群集签订有效维护协议的所有客户。

如果您满足这些要求，请在戴尔在线支持网站上打开服务请求 （SR），请求“Isilon 运行状况检查”。

*运行状况检查不用于修复群集问题或评估群集的配置、性能或工作流。

• PowerScale：如何运行 IOCA 群集分析工具
• PowerScale：Isilon：如何查找 PowerScale/Isilon 节点的序列号。