SMB-clientfouten na opnieuw opstarten van een clusterknooppunt
Summary: Hoewel dit normaal is in een failovercluster tijdens het opnieuw opstarten van een knooppunt, kunnen deze fouten af en toe met een regelmatig interval opnieuw worden weergegeven op de clusterknooppunten, zelfs nadat alle clusterknooppunten volledig functioneel zijn. ...
Symptoms
SMB-clientfouten nadat een clusterknooppunt opnieuw is opgestart
Bijgewerkt op 1-2-2018
- Dit probleem is opgelost in een bijgewerkte release van de Mellanox CX4 firmware en driver
Cause
Beschrijving van het probleem
In een hypergeconvergeerd cluster dat is geïmplementeerd met behulp van de Dell EMC Microsoft Storage Spaces Direct Ready Nodes met Dell EMC PowerEdge R740xd en Mellanox CX4 LX adapters voor storageverkeer, ziet u mogelijk SMB-clientfouten (gebeurtenis-id 30803) in Windows-logboeken (logboeken van toepassingen en services -> Microsoft -> Windows -> SMB-client -> Connectiviteit) wanneer een clusterknooppunt opnieuw wordt opgestart.
Hoewel dit normaal is in een failovercluster tijdens het opnieuw opstarten van een knooppunt, kunnen deze fouten af en toe met een regelmatig interval opnieuw worden weergegeven op de clusterknooppunten, zelfs nadat alle clusterknooppunten volledig functioneel zijn. Dit gedrag is te wijten aan een fout bij het maken van de SMB-listeners voor elke storage-interface in het knooppunt die opnieuw is opgestart. Deze fouten verschijnen op de overgebleven knooppunten in het cluster en niet op het knooppunt dat opnieuw is opgestart. De foutbeschrijving geeft de server aan waarmee de SMB-client verbinding probeert te maken en het serveradres in de beschrijving geeft het knooppunt aan dat zojuist opnieuw is opgestart.
In een normale functionele status van de clusterknooppunten zou na het opnieuw opstarten van een knooppunt bij het uitvoeren van netstat –xan een IPv4- en IPv6-listener moeten worden weergegeven die is gekoppeld aan elke storage-interface op het knooppunt. De volgende uitvoer van netstat.exe is verzameld op een knooppunt met twee storageadapters.
Active NetworkDirect Connections, Listeners, SharedEndpoints
Modus IfIndex-type, lokaal adres, buitenlands adresPID
Kernel 4 Connection 10.128.100.101:445 10.128.100.100:61476 0
Kernel 4 Connection 10.128.100.101:445 10.128.100.100:62244 0
Kernel 4 Connection 10.128.100.101:445 10.128.100.100:61988 0
Kernel 4 Connection 10.128.100.101:445 10.128.100.100:62756 0
Kernel 4 Connection 10.128.100.101:12541 10.128.100.100:445 0
Kernel 4 Connection 10.128.100.101:12797 10.128.100.100:445 0
Kernel 4 Connection 10.128.100.101:14077 10.128.100.100:445 0
Kernel 4 Connection 10.128.100.101:14333 10.128.100.100:445 0
Kernel 14 Verbinding 10.128.100.133:445 10.128.100.132:27454 0
Kernel 14 Verbinding 10.128.100.133:445 10.128.100.132:27198 0
Kernel 14 Connection 10.128.100.133:237510.128.100.132:445 0
Kernel 14 Connection 10.128.100.133:62535 10.128.100.132:445 0
Kernel 14 Connection 10.128.100.133:62791 10.128.100.132:445 0
Kernel 14 Verbinding 10.128.100.133:64071 10.128.100.132:445 0
Kernel 14 Connection 10.128.100.133:64327 10.128.100.132:445 0
Kernel 4 Listener [fe80::4cae:cb05:4932:f226%4]:445 NA 0
Kernel 4 Luisteraar 10.128.100.101:445 NA 0
Kernel 14 Luisteraar 10.128.100.133:445 NA 0
Kernel 14 Listener [fe80::5180:55b6:c0f0:ae8d%14]:445 NA 0
Uitvoerlijst 1 - Volledig functionele SMB-stack
Wanneer u echter de SMB-clientfouten in het cluster begint te zien, heeft het knooppunt dat opnieuw is opgestart mogelijk niet alle listeners die zijn gekoppeld aan elke storage-interface in het systeem.
Active NetworkDirect Connections, Listeners, SharedEndpoints
Modus IfIndex-type, lokaal adres, buitenlands adresPID
Kernel 4 Connection 10.128.100.101:445 10.128.100.100:61476 0
Kernel 4 Connection 10.128.100.101:445 10.128.100.100:62244 0
Kernel 4 Connection 10.128.100.101:445 10.128.100.100:61988 0
Kernel 4 Connection 10.128.100.101:445 10.128.100.100:62756 0
Kernel 4 Connection 10.128.100.101:12541 10.128.100.100:445 0
Kernel 4 Connection 10.128.100.101:12797 10.128.100.100:445 0
Kernel 4 Connection 10.128.100.101:14077 10.128.100.100:445 0
Kernel 4 Connection 10.128.100.101:14333 10.128.100.100:445 0
Kernel 14 Verbinding 10.128.100.133:2375 10.128.100.132:445 0
Kernel 14 Connection 10.128.100.133:62535 10.128.100.132:445 0
Kernel 14 Connection 10.128.100.133:62791 10.128.100.132:445 0
Kernel 14 Verbinding 10.128.100.133:64071 10.128.100.132:445 0
Kernel 14 Connection 10.128.100.133:64327 10.128.100.132:445 0
Kernel 4 Listener [fe80::4cae:cb05:4932:f226%4]:445 NA 0
Kernel 4 Luisteraar 10.128.100.101:445 NA 0
Uitvoerlijst 2 - SMB-stack mist een listener
Daarom zal in het bovenstaande voorbeeld een SMB-client die probeert verbinding te maken met interface-index 14 uiteindelijk resulteren in berichten over geweigerde verbindingen en SMB-clientfouten (gebeurtenis-ID 30803) met betrekking tot RDMA
Impact
De Dell EMC Microsoft Ready Node netwerkarchitectuur beveelt twee storageadapters per clusterknooppunt aan. Er zal geen onderbreking in de clusterfunctionaliteit zijn wanneer dit probleem zich voordoet. Ook kan de adapter die een luisteraar mist, nog steeds worden gebruikt om RDMA-verkeer te verzenden. Omdat er echter geen listener op een van de storageadapters aanwezig is, kan er niet met RDMA worden geschreven. Deze adapter is gebaseerd op het gebruik van TCP voor schrijf- of ontvangstverkeer. Dit kan resulteren in lagere schrijfprestaties, afhankelijk van de workload. Er is geen dataverlies of functionaliteitsbeperkingen wanneer dit probleem zich voordoet.
Waar zit het probleem?
Dit is geïdentificeerd als een bug in de Mellanox CX4 LX WinOF2 driverversies 1.70 en lager.
Resolution
Stappen om te herstellen
De SMB-listener kan opnieuw worden gemaakt door de virtuele storageadapter zonder gekoppelde SMB-listener na een herstart opnieuw op te starten. U kunt de juiste virtuele adapter identificeren om opnieuw op te starten door de onderstaande stappen te volgen.
Identificeer de adapter op basis van de interface-index
In de netstat -xan-uitvoer kunt u zien dat er een listener ontbreekt voor een van de opslagadapters. De interface-index voor de ontbrekende adapter kan worden gevonden met behulp van de cmdlet Get-NetAdapter.
PS C:\> Get-NetAdapter
Naam InterfaceBeschrijving alsIndexstatus MacAddress LinkSpeed
______________ __ ___________________ ____ ______vEthernet (Storage2) Hyper-V Virtual Ethernet adapter #3 14 tot 00-15-5D-09-C4-0210 Gbps
vEthernet (Storage1) Hyper-V Virtual Ethernet adapter #2 4 tot 00-15-5D-09-C4-0110 Gbps
vEthernet (beheer)Hyper-V Virtual Ethernet Adapter 10 Up 00-15-5D-09-C4-0010 Gbps
Ethernet extern NDIS-compatibel apparaat 9 niet aanwezig 50-9A-4C-A7-F9-DF 0 bps
NIC2 Intel(R) Ethernet 10G X710 rNDC 6 Niet verbonden 24-6E-96-52-CC-A410 Gbps
NIC4 Intel(R) I350 Gigabit netwerkverbinding ... 15 Niet verbonden 24-6E-96-52-CC-C3 0 bps
NIC3 Intel(R) I350 Gigabit netwerkverbinding ... #2 8 Niet verbonden 24-6E-96-52-CC-C2 0 bps
NIC1 Intel(R) Ethernet 10G 4P X710/I350 rNDC 13 Niet verbonden 24-6E-96-52-CC-A210 Gbps
SLOT 1 Poort 2 Mellanox ConnectX-4 Lx Ethernet-ad... #2 2 omhoog 24-8A-07-59-4C-6910 Gbps
SLOT 1: Poort 1 Mellanox ConnectX-4 Lx ethernetadapter 11 tot 24-8A-07-59-4C-6810 Gbps
Identificeer en start de interface opnieuw zonder gekoppelde listener
Door te kijken naar de netstat –xan-uitvoer (weergegeven in uitvoerlijst 2), kunt u zien dat er geen listener is gekoppeld aan de interface met index 14. In de cmdlet Get-NetAdapter kunt u zien dat interface-index 14 de virtuele adapter vEthernet (Storage2) is.
Opmerking: De naam van deze netwerkadapter kan verschillen afhankelijk van de naam die u storageadapters hebt gegeven in het beheerbesturingssysteem.
U kunt de interface nu opnieuw opstarten met een ontbrekende luisteraar.
Restart-NetAdapter – Naam 'vEthernet (Storage2)'
Zodra dit proces is voltooid, kunt u netstat –xan controleren om er zeker van te zijn dat de listener is gemaakt. Dit proces kan enkele minuten duren. Zodra de listener is gemaakt, zullen de clusterknooppunten normaal via RDMA gaan communiceren en zullen nieuwe SMB-clientfouten niet meer worden weergegeven in de Event Viewer.