SMB-Clientfehler nach einem Neustart eines Cluster-Nodes
Summary: Während dies in einem Failover-Cluster während eines Node-Neustarts normal ist, können diese Fehler gelegentlich in regelmäßigen Abständen erneut auf den Cluster-Nodes angezeigt werden, selbst wenn alle Cluster-Nodes voll funktionsfähig sind. ...
Symptoms
SMB-Clientfehler nach dem Neustart eines Cluster-Nodes
Aktualisierung 01.02.2018
– Dieses Problem wurde in einer aktualisierten Version der Mellanox CX4-Firmware und des Treibers behoben
Cause
Problembeschreibung
In einem hyperkonvergenten Cluster, das mit den Dell EMC Microsoft Storage Spaces Direct Ready Nodes mit Dell EMC PowerEdge R740xd- und Mellanox CX4 LX-Adaptern für Speicherdatenverkehr implementiert wurde, werden möglicherweise SMB-Client-Fehler (Ereignis-ID 30803) in der Windows-Ereignisanzeige (Anwendungs- und Serviceprotokolle -> Microsoft - Windows ->> SMB-Client -> Konnektivität) angezeigt, wenn ein Cluster-Node neu gestartet wird.
Während dies in einem Failover-Cluster während eines Node-Neustarts normal ist, können diese Fehler gelegentlich in regelmäßigen Abständen erneut auf den Cluster-Nodes angezeigt werden, selbst wenn alle Cluster-Nodes voll funktionsfähig sind. Dieses Verhalten ist auf einen Fehler beim Erstellen der SMB-Listener für jede Speicherschnittstelle im Node zurückzuführen, der neu gestartet wurde. Diese Fehler werden auf den verbleibenden Nodes im Cluster angezeigt und nicht auf dem Node, der neu gestartet wurde. Die Fehlerbeschreibung gibt den Server an, mit dem der SMB-Client versucht, eine Verbindung herzustellen, und die Serveradresse in der Beschreibung gibt den Node an, der gerade neu gestartet wurde.
In einem normalen Funktionszustand der Cluster-Nodes sollte nach einem Node-Neustart die Ausführung von netstat –xan einen IPv4- und IPv6-Listener anzeigen, der jeder Storage-Schnittstelle auf dem Node zugeordnet ist. Die folgende Ausgabe von netstat.exe wurde auf einem Node mit zwei Storage-Adaptern erfasst.
Aktive NetworkDirect-Verbindungen, Listener, SharedEndpoints
Modus: IfIndex-Typ, Lokale Adresse, FremdadressePID
Kernel 4-Verbindung 10.128.100.101:445 10.128.100.100:61476 0
Kernel 4-Verbindung 10.128.100.101:445 10.128.100.100:62244 0
Kernel 4-Verbindung 10.128.100.101:445 10.128.100.100:61988 0
Kernel 4-Verbindung 10.128.100.101:445 10.128.100.100:62756 0
Kernel 4-Verbindung 10.128.100.101:12541 10.128.100.100:445 0
Kernel 4-Verbindung 10.128.100.101:12797 10.128.100.100:445 0
Kernel 4-Verbindung 10.128.100.101:14077 10.128.100.100:445 0
Kernel 4-Verbindung 10.128.100.101:14333 10.128.100.100:445 0
Kernel 14-Verbindung 10.128.100.133:445 10.128.100.132:27454 0
Kernel 14-Verbindung 10.128.100.133:445 10.128.100.132:27198 0
Kernel 14-Verbindung 10.128.100.133:237510.128.100.132:445 0
Kernel 14-Verbindung 10.128.100.133:62535 10.128.100.132:445 0
Kernel 14-Verbindung 10.128.100.133:62791 10.128.100.132:445 0
Kernel 14-Verbindung 10.128.100.133:64071 10.128.100.132:445 0
Kernel 14-Verbindung 10.128.100.133:64327 10.128.100.132:445 0
Kernel 4-Listener [fe80::4cae:cb05:4932:f226%4]:445 NA 0
Kernel 4-Listener 10.128.100.101:445 NA 0
Kernel 14 Listener 10.128.100.133:445 NA 0
Kernel 14-Listener [fe80::5180:55b6:c0f0:ae8d%14]:445 NA 0
Ausgabeliste 1 – voll funktionsfähiger SMB-Stack
Wenn die SMB-Clientfehler jedoch im Cluster auftreten, sind auf dem neu gestarteten Node möglicherweise nicht alle Listener mit jeder Speicherschnittstelle im System verknüpft.
Aktive NetworkDirect-Verbindungen, Listener, SharedEndpoints
Modus: IfIndex-Typ, Lokale Adresse, FremdadressePID
Kernel 4-Verbindung 10.128.100.101:445 10.128.100.100:61476 0
Kernel 4-Verbindung 10.128.100.101:445 10.128.100.100:62244 0
Kernel 4-Verbindung 10.128.100.101:445 10.128.100.100:61988 0
Kernel 4-Verbindung 10.128.100.101:445 10.128.100.100:62756 0
Kernel 4-Verbindung 10.128.100.101:12541 10.128.100.100:445 0
Kernel 4-Verbindung 10.128.100.101:12797 10.128.100.100:445 0
Kernel 4-Verbindung 10.128.100.101:14077 10.128.100.100:445 0
Kernel 4-Verbindung 10.128.100.101:14333 10.128.100.100:445 0
Kernel 14-Verbindung 10.128.100.133:2375 10.128.100.132:445 0
Kernel 14-Verbindung 10.128.100.133:62535 10.128.100.132:445 0
Kernel 14-Verbindung 10.128.100.133:62791 10.128.100.132:445 0
Kernel 14-Verbindung 10.128.100.133:64071 10.128.100.132:445 0
Kernel 14-Verbindung 10.128.100.133:64327 10.128.100.132:445 0
Kernel 4-Listener [fe80::4cae:cb05:4932:f226%4]:445 NA 0
Kernel 4-Listener 10.128.100.101:445 NA 0
Ausgabeauflistung 2 – SMB-Stack ohne Listener
Daher führt im obigen Beispiel der Versuch des SMB-Clients, eine Verbindung mit dem Schnittstellenindex 14 herzustellen, letztendlich zu Verbindungsablehnungsmeldungen und SMB-Clientfehlern (Ereignis-ID 30803) im Zusammenhang mit RDMA
Auswirkungen
Die Dell EMC Microsoft Ready Node-Netzwerkarchitektur empfiehlt zwei Storage-Adapter pro Cluster-Node. Wenn dieses Problem auftritt, wird die Clusterfunktionalität nicht unterbrochen. Außerdem kann der Adapter, dem ein Listener fehlt, weiterhin zum Senden von RDMA-Datenverkehr verwendet werden. Da jedoch kein Listener auf einem der Storage-Adapter vorhanden ist, können keine Schreibvorgänge über RDMA durchgeführt werden. Dieser Adapter verwendet TCP für Schreib- oder Empfangsdatenverkehr. Dies kann je nach Workload zu einer niedrigeren Schreibperformance führen. Es gibt keinen Datenverlust oder Funktionseinschränkungen, wenn dieses Problem auftritt.
Wo ist das Problem?
Dies wurde als Fehler in den Mellanox CX4 LX WinOF2-Treiberversionen 1.70 und niedriger identifiziert.
Resolution
Schritte zur Korrektur
Der SMB-Listener kann neu erstellt werden, indem der virtuelle Speicheradapter, dem nach einem Neustart kein SMB-Listener zugeordnet ist, neu gestartet wird. Sie können den richtigen virtuellen Adapter identifizieren, der neu gestartet werden soll, indem Sie die unten beschriebenen Schritte ausführen.
Identifizieren des Adapters anhand des Schnittstellenindex
In der Ausgabe von netstat -xan können Sie sehen, dass ein Listener für einen der Storage-Adapter fehlt. Der Schnittstellenindex für den fehlenden Adapter kann mit dem Cmdlet Get-NetAdapter ermittelt werden.
PS C:\> Get-NetAdapter
Name InterfaceDescription ifIndex Status MacAdresse LinkSpeed
______________ __ ___________________ ____ ______vEthernet (Storage2) Hyper-V Virtual Ethernet Adapter #3 14 Bis zu 00-15-5D-09-C4-0210 Gbit/s
vEthernet (Storage1) Hyper-V Virtual Ethernet Adapter #2 4 Bis zu 00-15-5D-09-C4-0110 Gbit/s
vEthernet (Management) Hyper-V Virtual Ethernet Adapter 10 bis 00-15-5D-09-C4-0010 Gbit/s
Ethernet-Remote-NDIS-kompatibles Gerät 9 Nicht vorhanden 50-9A-4C-A7-F9-DF 0 Bit/s
NIC2 Intel(R) Ethernet 10G X710 rNDC 6 getrennt 24-6E-96-52-CC-A410 Gbit/s
NIC4 Intel(R) I350 Gigabit-Netzwerkanschluss ... 15 getrennt 24-6E-96-52-CC-C3 0 bps
NIC3 Intel(R) I350 Gigabit-Netzwerkanschluss ... #2 8 getrennt 24-6E-96-52-CC-C2 0 bps
NIC1 Intel(R) Ethernet 10G 4P X710/I350 rNDC 13 getrennt 24-6E-96-52-CC-A210 Gbit/s
SLOT 1 Port 2 Mellanox ConnectX-4 Lx Ethernet-Ad... #2 2 bis zu 24-8A-07-59-4C-6910 Gbit/s
STECKPLATZ 1 Port 1 Mellanox ConnectX-4 Lx Ethernet-Adapter 11 bis 24-8A-07-59-4C-6810 Gbit/s
Identifizieren und starten Sie die Schnittstelle ohne zugehörigen Listener neu
Wenn Sie sich die Ausgabe von netstat –xan ansehen (siehe Ausgabe-Listing 2), können Sie sehen, dass der Schnittstelle mit Index 14 kein Listener zugeordnet ist. Im Cmdlet Get-NetAdapter können Sie sehen, dass der Schnittstellenindex 14 der virtuelle Adapter-vEthernet (Storage2) ist.
Hinweis: Dieser Netzwerkadaptername kann unterschiedlich sein, je nachdem, wie Sie Speicheradapter im Managementbetriebssystem benannt haben.
Sie können jetzt die Schnittstelle mit einem fehlenden Listener neu starten.
Restart-NetAdapter – Name 'vEthernet (Storage2)'
Sobald dieser Prozess abgeschlossen ist, können Sie netstat –xan überprüfen, um sicherzustellen, dass der Listener erstellt wurde. Dieser Vorgang kann einige Minuten dauern. Sobald der Listener erstellt wurde, beginnen die Cluster-Nodes mit der normalen Kommunikation über RDMA und neue SMB-Clientfehler werden nicht mehr in der Ereignisanzeige angezeigt.