클러스터 노드 재부팅 후 발생하는 SMB 클라이언트 오류

클러스터 노드 재부팅 후 SMB 클라이언트 오류 발생

2/1/2018

업데이트- 이 문제는 Mellanox CX4 펌웨어 및 드라이버의 업데이트된 릴리스에서 해결되었습니다.

• 펌웨어: http://www.dell.com/support/home/us/en/04/drivers/driversdetails?driverId=WY9X0
• 드라이버: http://www.dell.com/support/home/us/en/04/drivers/driversdetails?driverId=TNN0

문제 설명

스토리지 트래픽용 Dell EMC PowerEdge R740xd 및 Mellanox CX4 LX 어댑터와 함께 Dell EMC Microsoft Storage Spaces Direct Ready Node를 사용하여 구현된 하이퍼 컨버지드 클러스터에서는 클러스터 노드가 재부팅될 때 Windows 이벤트 뷰어(애플리케이션 및 서비스 로그 -> Microsoft - Windows ->> SMB 클라이언트 -> 연결)에 SMB 클라이언트 오류(이벤트 ID 30803)가 표시될 수 있습니다.

노드를 재부팅하는 동안 페일오버 클러스터에서는 정상이지만, 모든 클러스터 노드가 완전히 작동한 후에도 이러한 오류가 클러스터 노드에 정기적으로 다시 나타나는 경우가 있을 수 있습니다. 이 동작은 재시작된 노드의 모든 스토리지 인터페이스에 대해 SMB Listener를 생성하는 데 실패했기 때문입니다. 이러한 오류는 재시작된 노드가 아니라 클러스터의 활성 노드에 나타납니다. 오류 설명은 SMB 클라이언트가 연결하려고 시도하는 서버를 나타내고 설명의 서버 주소는 방금 재시작된 노드를 나타냅니다.

클러스터 노드가 정상적으로 작동하는 상태에서 노드를 재부팅한 후 netstat –xan을 실행하면 노드의 모든 스토리지 인터페이스와 연결된 IPv4 및 IPv6 수신기가 표시되어야 합니다. 다음 netstat.exe 출력은 두 개의 스토리지 어댑터가 있는 노드에 수집되었습니다.

활성 NetworkDirect 연결, 수신기, SharedEndpoints

모드 IfIndex 유형 로컬 주소 외부 주소PID

커널 4 연결 10.128.100.101:445 10.128.100.100:61476 0

커널 4 연결 10.128.100.101:445 10.128.100.100:62244 0

커널 4 연결 10.128.100.101:445 10.128.100.100:61988 0

커널 4 연결 10.128.100.101:445 10.128.100.100:62756 0

커널 4 연결 10.128.100.101:12541 10.128.100.100:445 0

커널 4 연결 10.128.100.101:12797 10.128.100.100:445 0

커널 4 연결 10.128.100.101:14077 10.128.100.100:445 0

커널 4 연결 10.128.100.101:14333 10.128.100.100:445 0

커널 14 연결 10.128.100.133:445 10.128.100.132:27454 0

커널 14 연결 10.128.100.133:445 10.128.100.132:27198 0

커널 14 연결 10.128.100.133:237510.128.100.132:445 0

커널 14 연결 10.128.100.133:62535 10.128.100.132:445 0

커널 14 연결 10.128.100.133:62791 10.128.100.132:445 0

커널 14 연결 10.128.100.133:64071 10.128.100.132:445 0

커널 14 연결 10.128.100.133:64327 10.128.100.132:445 0

커널 4 수신기 [fe80::4cae:cb05:4932:f226%4]:445 NA 0

커널 4 수신기 10.128.100.101:445 NA 0

커널 14 수신기 10.128.100.133:445 NA 0

커널 14 수신기 [fe80::5180:55b6:c0f0:ae8d%14]:445 NA 0

출력 목록 1 - 모든 기능을 갖춘 SMB 스택

그러나 클러스터에 SMB 클라이언트 오류가 표시되기 시작하면 재부팅된 노드에 시스템의 모든 스토리지 인터페이스와 연결된 모든 수신기가 없을 수 있습니다.

활성 NetworkDirect 연결, 수신기, SharedEndpoints

모드 IfIndex 유형 로컬 주소 외부 주소PID

커널 4 연결 10.128.100.101:445 10.128.100.100:61476 0

커널 4 연결 10.128.100.101:445 10.128.100.100:62244 0

커널 4 연결 10.128.100.101:445 10.128.100.100:61988 0

커널 4 연결 10.128.100.101:445 10.128.100.100:62756 0

커널 4 연결 10.128.100.101:12541 10.128.100.100:445 0

커널 4 연결 10.128.100.101:12797 10.128.100.100:445 0

커널 4 연결 10.128.100.101:14077 10.128.100.100:445 0

커널 4 연결 10.128.100.101:14333 10.128.100.100:445 0

커널 14 연결 10.128.100.133:2375 10.128.100.132:445 0

커널 14 연결 10.128.100.133:62535 10.128.100.132:445 0

커널 14 연결 10.128.100.133:62791 10.128.100.132:445 0

커널 14 연결 10.128.100.133:64071 10.128.100.132:445 0

커널 14 연결 10.128.100.133:64327 10.128.100.132:445 0

커널 4 수신기 [fe80::4cae:cb05:4932:f226%4]:445 NA 0

커널 4 수신기 10.128.100.101:445 NA 0

출력 목록 2 - 리스너가 누락된 SMB 스택

따라서 위의 예에서 인터페이스 인덱스 14에서 연결을 시도하는 SMB 클라이언트는 결국 RDMA와 관련된 연결 거부 메시지 및 SMB 클라이언트 오류(이벤트 ID 30803)를 발생시킵니다
 

영향

Dell EMC Microsoft Ready Node 네트워크 아키텍처는 모든 클러스터 노드당 2개의 스토리지 어댑터를 권장합니다. 이 문제가 발생해도 클러스터 기능은 중단되지 않습니다. 또한 리스너가 누락된 어댑터를 사용하여 RDMA 트래픽을 전송할 수 있습니다. 그러나 스토리지 어댑터 중 하나에 수신기가 없으므로 RDMA를 사용한 쓰기를 수행할 수 없습니다. 이 어댑터는 모든 쓰기 또는 수신 트래픽에 TCP를 사용하도록 대체합니다. 이로 인해 워크로드에 따라 쓰기 성능이 저하될 수 있습니다. 이 문제가 발생해도 데이터 손실이나 기능 제한은 없습니다.
 

어디에 문제가 있습니까?

이 문제는 Mellanox CX4 LX WinOF2 드라이버 버전 1.70 이하에서 버그로 확인되었습니다.

문제 해결 단계

재부팅 후 연결된 SMB Listener가 없는 가상 스토리지 어댑터를 다시 시작하여 SMB Listener를 다시 생성할 수 있습니다. 아래에 설명된 단계에 따라 재시작할 올바른 가상 어댑터를 식별할 수 있습니다.

 

인터페이스 인덱스를 기반으로 어댑터 식별

netstat -xan 출력에서 스토리지 어댑터 중 하나에 대해 누락된 수신기가 있음을 확인할 수 있습니다. 누락된 어댑터의 인터페이스 인덱스는 Get-NetAdapter cmdlet을 사용하여 찾을 수 있습니다.

PS C:\> NetAdapter 가져오기

Name InterfaceDescription ifIndex Status MacAddress LinkSpeed

vEthernet(Storage2) Hyper-V 가상 이더넷 어댑터 #3 14 Up 00-15-5D-09-C4-0210Gbps

vEthernet(Storage1) Hyper-V 가상 이더넷 어댑터 #2 4 Up 00-15-5D-09-C4-0110Gbps

vEthernet (관리) Hyper-V 가상 이더넷 어댑터 10 Up 00-15-5D-09-C4-0010Gbps

이더넷 원격 NDIS 호환 디바이스 9 없음 50-9A-4C-A7-F9-DF 0bps

NIC2 인텔(R) 이더넷 10G X710 rNDC 6 연결 끊김 24-6E-96-52-CC-A410Gbps

NIC4 인텔(R) I350 기가비트 네트워크 연결... 15 연결 끊김 24-6E-96-52-CC-C3 0bps

NIC3 인텔(R) I350 기가비트 네트워크 연결... #2 8 연결 끊김 24-6E-96-52-CC-C2 0bps

NIC1 인텔(R) 이더넷 10G 4P X710/I350 rNDC 13 연결 끊김 24-6E-96-52-CC-A210Gbps

슬롯 1 포트 2 Mellanox ConnectX-4 Lx 이더넷 애드... #2 2 최대 24-8A-07-59-4C-6910Gbps

슬롯 1 포트 1 Mellanox ConnectX-4 Lx 이더넷 어댑터 11 Up 24-8A-07-59-4C-6810Gbps

연결된 수신기가 없는 인터페이스 식별 및 재시작

netstat –xan 출력(출력 목록 2에 표시됨)을 보면 인덱스 14가 있는 인터페이스에 연결된 리스너가 없음을 알 수 있습니다. Get-NetAdapter cmdlet에서 인터페이스 인덱스 14가 가상 어댑터 vEthernet(Storage2)임을 확인할 수 있습니다. 

이제 누락된 수신기로 인터페이스를 재시작할 수 있습니다.

Restart-NetAdapter –Name 'vEthernet(Storage2)'

이 프로세스가 완료되면 netstat –xan을 확인하여 리스너가 생성되었는지 확인할 수 있습니다. This process may take a few minutes. 수신기가 생성되면 클러스터 노드가 RDMA를 통해 정상적으로 통신하기 시작하고 새 SMB 클라이언트 오류가 이벤트 뷰어에 더 이상 나타나지 않습니다.