PowerFlex：PowerFlex MDMの頻繁な切断

現象

MDMコンポーネントの頻繁な切断と再接続を示すMDMイベント ログ:
 

2023-xx-xx 00:00:21.316 MDM_CLUSTER_LOST_CONNECTION WARNING        The MDM,  (ID ), has lost connection to the cluster.
2023-xx-xx 00:00:21.419 MDM_CLUSTER_CONNECTED     INFO             The MDM,  (ID ), connected after 100ms
2023-xx-xx 00:00:23.480 MDM_CLUSTER_LOST_CONNECTION WARNING        The MDM,  (ID ), has lost connection to the cluster.
2023-xx-xx 00:00:23.584 MDM_CLUSTER_CONNECTED     INFO             The MDM,  (ID ), connected after 110ms

切断中のMDMサーバーからのSar出力が、高いTCP再送信を示しています。
 

sar -n ETCP 1 -t -f sar.0
                 atmptf/s  estres/s retrans/s  isegerr/s orsts/s
00:00:27 AM      0.00      0.00     62.00      0.00      0.00
00:00:28 AM      0.00      0.00     88.12      0.00      0.00
00:00:29 AM      0.00      3.00    100.00      0.00      0.00
00:00:30 AM      0.00      0.00     71.29      0.00      0.00
00:00:31 AM      0.00      0.00     71.00      0.00      0.00
...
00:01:02 AM      0.00      0.00     48.51      0.00      0.00
00:01:03 AM      0.00      0.00     15.00      0.00      0.00
00:01:04 AM      0.00      0.00    207.00      0.00      0.00
00:01:05 AM      0.00      0.00     36.00      0.00      0.00
00:01:06 AM      0.00      0.99    105.94      0.00      0.00

問題

MDMクラスターの縮退イベントの概要

パフォーマンスの低下
 

根本的な原因

MDMサーバーにパッチが適用され、Linuxカーネルが3.xから5.xにアップグレードされました。このカーネル アップグレードでは、デフォルトのOSパラメーターの多くが異なる値に変更されます。この例では、TCPパラメーター「net.ipv4.tcp_fack」が無効になっていますが、これは高いTCP再送信を引き起こしているようです。

SDS RPMは、/opt/emc/scaleio/sds/cfg/ディレクトリにemc.confという構成ファイルを提供します。このファイルには、Dell EMCから推奨される多くのOSパラメーターが含まれています。

これがPowerFlexラック/アプライアンス環境の場合、PowerFlex Managerはemc.confファイル を「/opt/emc/scaleio/sds/cfg」 からサーバーの各systcl.confに自動的にコピーして適用します。これは、最初のノード導入時にのみ発生します。sysctl.confが正しくアップデートされていない可能性があります。sysctl.confファイルが正しい値で存在しない場合、カーネルを5.xにアップグレードした後、いくつかの重要なパラメーターが変更される可能性があります。

対策

PowerFlexラック/アプライアンス環境では、sysctl.confにemc.confのすべてのパラメーターが含まれていない場合は、emc.confを介して各サーバー/etc/sysctl.confファイルにコピーすることをお勧めします。サーバーに変更を適用します。  サーバーを再起動するか、「sysctl -p」コマンドを実行して/etc/sysctl.confからの変更を適用することができます。これらの変更を行う場合は、適切なメンテナンスのベスト プラクティスが実行されていることを確認してください。

ソフトウェアのみの環境では、これらのLinuxパラメーターを各サーバーに適用することをお勧めしますが、最終的にはビジネスにかかっています。ベスト プラクティスについては、OSベンダーにお問い合わせください。質問がある場合は、
 

問題が発生するバージョン

すべてのPowerFlexバージョン