PowerFlex: 자주 PowerFlex MDM 연결 해제

증상

MDM 구성 요소의 잦은 연결 해제 및 재연결을 보여주는 MDM 이벤트 로그:
 

2023-xx-xx 00:00:21.316 MDM_CLUSTER_LOST_CONNECTION WARNING        The MDM,  (ID ), has lost connection to the cluster.
2023-xx-xx 00:00:21.419 MDM_CLUSTER_CONNECTED     INFO             The MDM,  (ID ), connected after 100ms
2023-xx-xx 00:00:23.480 MDM_CLUSTER_LOST_CONNECTION WARNING        The MDM,  (ID ), has lost connection to the cluster.
2023-xx-xx 00:00:23.584 MDM_CLUSTER_CONNECTED     INFO             The MDM,  (ID ), connected after 110ms

높은 TCP 재전송을 표시하는 분리 중인 MDM 서버의 Sar 출력:
 

sar -n ETCP 1 -t -f sar.0
                 atmptf/s  estres/s retrans/s  isegerr/s orsts/s
00:00:27 AM      0.00      0.00     62.00      0.00      0.00
00:00:28 AM      0.00      0.00     88.12      0.00      0.00
00:00:29 AM      0.00      3.00    100.00      0.00      0.00
00:00:30 AM      0.00      0.00     71.29      0.00      0.00
00:00:31 AM      0.00      0.00     71.00      0.00      0.00
...
00:01:02 AM      0.00      0.00     48.51      0.00      0.00
00:01:03 AM      0.00      0.00     15.00      0.00      0.00
00:01:04 AM      0.00      0.00    207.00      0.00      0.00
00:01:05 AM      0.00      0.00     36.00      0.00      0.00
00:01:06 AM      0.00      0.99    105.94      0.00      0.00

영향

간략한 MDM 클러스터 성능 저하 이벤트

성능 저하
 

근본 원인

MDM 서버가 패치되었고 Linux 커널이 3.x에서 5.x로 업그레이드되었습니다. 이 커널 업그레이드는 많은 기본 OS 매개변수를 서로 다른 값으로 변경합니다. 이 경우 TCP 매개변수 "net.ipv4.tcp_fack"가 비활성화되었지만 이 매개변수로 인해 높은 TCP 재전송이 발생한 것으로 보였습니다.

SDS RPM은 /opt/emc/scaleio/sds/cfg/ 디렉토리에 emc.conf라는 구성 파일을 제공합니다. 이 파일에는 Dell EMC의 많은 권장 OS 매개변수가 포함되어 있습니다.

PowerFlex Rack/Appliance 환경인 경우 PowerFlex Manager는 emc.conf 파일을 "/opt/emc/scaleio/sds/cfg" 에서 서버의 각 systcl.conf에 자동으로 복사하여 적용합니다. 이 문제는 초기 노드 구축에서만 발생합니다. sysctl.conf가 올바르게 업데이트되지 않았을 가능성이 있습니다. sysctl.conf 파일이 올바른 값으로 존재하지 않는 경우 커널을 5.x로 업그레이드한 후 몇 가지 중요한 매개변수가 변경될 수 있습니다.

해결 방법

PowerFlex 랙/어플라이언스 환경에서 sysctl.conf에 emc.conf에 있는 모든 매개변수가 포함되지 않은 경우 emc.conf를 통해 각 서버 /etc/sysctl.conf 파일에 복사하는 것이 좋습니다. 서버에 변경 사항을 적용합니다.  서버를 재부팅하거나 "sysctl -p" 명령을 실행하여 /etc/sysctl.conf의 변경 사항을 적용할 수 있습니다. 이러한 변경을 수행할 때 적절한 유지 보수 모범 사례가 수행되었는지 확인합니다.

소프트웨어 전용 환경에서는 이러한 Linux 매개변수를 각 서버에 적용할 것을 권장하지만 궁극적으로는 비즈니스에 달려 있습니다. 모범 사례나 질문이 있는 경우 OS 공급업체에 문의하십시오.
 

영향을 받는 버전

모든 PowerFlex 버전