SMB-klientfeil etter omstart av en klyngenode
Summary: Selv om dette er normalt i en failover-klynge under en omstart av en node, kan du av og til se at disse feilene dukker opp igjen på klyngenodene med jevne mellomrom, selv etter at alle klyngenodene fungerer som de skal. ...
Symptoms
SMB-klientfeil etter at en klyngenode har startet på nytt
Oppdatering 01.02.2018
– Dette problemet er løst i en oppdatert versjon av Mellanox CX4-fastvare og -driver
Cause
Problembeskrivelse
I en hyperkonvergert klynge implementert ved hjelp av Dell EMC Microsoft Storage Spaces Direct Ready Nodes med Dell EMC PowerEdge R740xd- og Mellanox CX4 LX-adaptere for lagringstrafikk, kan du se SMB-klientfeil (hendelses-ID 30803) i Windows hendelsesliste (program- og tjenestelogger –> Microsoft –> Windows –> SMB-klient –> tilkobling) når en klyngenode starter på nytt.
Selv om dette er normalt i en failover-klynge under en omstart av en node, kan du av og til se at disse feilene dukker opp igjen på klyngenodene med jevne mellomrom, selv etter at alle klyngenodene fungerer som de skal. Dette problemet skyldes en feil ved oppretting av SMB-lyttere for hvert lagringsgrensesnitt i noden som startet på nytt. Disse feilene vises på de gjenværende nodene i klyngen, og ikke på noden som startet på nytt. Feilbeskrivelsen angir serveren som SMB-klienten prøver å koble til, og serveradressen i beskrivelsen indikerer noden som nettopp startet på nytt.
I en normal funksjonell tilstand av klyngenodene, etter en nodeomstart, skal kjøring av netstat -xan vise en IPv4- og IPv6-lytter tilknyttet hvert lagringsgrensesnitt på noden. Følgende utdata av netstat.exe ble samlet inn på en node med to lagringsadaptere.
Active NetworkDirect-tilkoblinger, lyttere, SharedEndpoints
Modus: IfIndekstype, Lokal adresse, Utenlandsk adressePID
Kernel 4 Connection 10.128.100.101:445 10.128.100.100:61476 0
Kernel 4 Connection 10.128.100.101:445 10.128.100.100:62244 0
Kernel 4 Connection 10.128.100.101:445 10.128.100.100:61988 0
Kernel 4 Connection 10.128.100.101:445 10.128.100.100:62756 0
Kernel 4 Connection 10.128.100.101:12541 10.128.100.100:445 0
Kernel 4 Connection 10.128.100.101:12797 10.128.100.100:445 0
Kernel 4 Connection 10.128.100.101:14077 10.128.100.100:445 0
Kernel 4 Connection 10.128.100.101:14333 10.128.100.100:445 0
Kernel 14 Connection 10.128.100.133:445 10.128.100.132:27454 0
Kjerne 14 Tilkobling 10.128.100.133:445 10.128.100.132:27198 0
Kernel 14 Connection 10.128.100.133:237510.128.100.132:445 0
Kernel 14 Connection 10.128.100.133:62535 10.128.100.132:445 0
Kjerne 14 Tilkobling 10.128.100.133:62791 10.128.100.132:445 0
Kernel 14 Connection 10.128.100.133:64071 10.128.100.132:445 0
Kernel 14 Connection 10.128.100.133:64327 10.128.100.132:445 0
Kernel 4 Listener [fe80::4cae:cb05:4932:f226%4]:445 NA 0
Kernel 4 Lytter 10.128.100.101:445 NA 0
Kernel 14 Lytter 10.128.100.133:445 NA 0
Kernel 14 Listener [fe80::5180:55b6:c0f0:ae8d%14]:445 NA 0
Utdataliste 1 – fullt funksjonell SMB-stakk
Når du begynner å se SMB-klientfeil i klyngen, kan det imidlertid hende at noden som startet på nytt, ikke har alle lytterne som er tilknyttet hvert lagringsgrensesnitt i systemet.
Active NetworkDirect-tilkoblinger, lyttere, SharedEndpoints
Modus: IfIndekstype, Lokal adresse, Utenlandsk adressePID
Kernel 4 Connection 10.128.100.101:445 10.128.100.100:61476 0
Kernel 4 Connection 10.128.100.101:445 10.128.100.100:62244 0
Kernel 4 Connection 10.128.100.101:445 10.128.100.100:61988 0
Kernel 4 Connection 10.128.100.101:445 10.128.100.100:62756 0
Kernel 4 Connection 10.128.100.101:12541 10.128.100.100:445 0
Kernel 4 Connection 10.128.100.101:12797 10.128.100.100:445 0
Kernel 4 Connection 10.128.100.101:14077 10.128.100.100:445 0
Kernel 4 Connection 10.128.100.101:14333 10.128.100.100:445 0
Kjerne 14 Tilkobling 10.128.100.133:2375 10.128.100.132:445 0
Kernel 14 Connection 10.128.100.133:62535 10.128.100.132:445 0
Kjerne 14 Tilkobling 10.128.100.133:62791 10.128.100.132:445 0
Kernel 14 Connection 10.128.100.133:64071 10.128.100.132:445 0
Kernel 14 Connection 10.128.100.133:64327 10.128.100.132:445 0
Kernel 4 Listener [fe80::4cae:cb05:4932:f226%4]:445 NA 0
Kernel 4 Lytter 10.128.100.101:445 NA 0
Utdataoppføring 2 – SMB-stakken mangler en lytter
Derfor, i eksemplet ovenfor, vil SMB-klient som prøver å koble til grensesnittindeksen 14, til slutt resultere i nektede meldinger og SMB-klientfeil (hendelses-ID 30803) relatert til RDMA
Innvirkning
Nettverksarkitekturen for Dell EMC Microsoft Ready Node anbefaler to lagringsadaptere per hver klyngenode. Det vil ikke være noen avbrudd i klyngefunksjonaliteten når dette problemet oppstår. Adapteren som mangler en lytter, kan også fortsatt brukes til å sende RDMA-trafikk. Siden det ikke er noen lytter på et av lagringskortene, kan det imidlertid ikke utføres skriving ved hjelp av RDMA. Dette kortet går tilbake til å bruke TCP for alle skriveoperasjoner eller mottak av trafikk. Dette kan føre til lavere skriveytelse avhengig av arbeidsmengden. Det er ingen begrensninger på tap av data eller funksjonalitet når dette problemet oppstår.
Hvor er problemet?
Dette er identifisert som en feil i Mellanox CX4 LX WinOF2-driverversjon 1.70 og eldre.
Resolution
Trinn for å utbedre
SMB-lytteren kan opprettes på nytt ved å starte den virtuelle lagringsadapteren som ikke har noen tilknyttet SMB-lytter, på nytt etter en omstart. Du kan identifisere den riktige virtuelle adapteren for å starte på nytt ved å følge trinnene som er beskrevet nedenfor.
Identifiser adapteren basert på grensesnittindeksen
Fra netstat -xan-utgangen kan du se at det mangler en lytter for et av lagringsadapterne. Grensesnittindeksen for den manglende adapteren finner du ved hjelp av Get-NetAdapter-cmdleten.
PS C:\> Get-NetAdapter
Navn GrensesnittBeskrivelse ifIndex Status MacAddress LinkSpeed
______________ __ ___________________ ____ ______vEthernet (lagring2) Hyper-V virtuell Ethernet-adapter #3 14 opp 00-15-5D-09-C4-0210 Gbps
vEthernet (lagring1) Hyper-V virtuell Ethernet-adapter #2 4 opp 00-15-5D-09-C4-0110 Gbps
vEthernet (administrasjon) Hyper-V virtuell Ethernet-adapter 10 opp 00-15-5D-09-C4-0010 Gbps
Ekstern Ethernet-NDIS-kompatibel enhet 9 finnes ikke 50-9A-4C-A7-F9-DF 0 bps
NIC2 Intel(R) Ethernet 10G X710 rNDC 6 frakoblet 24-6E-96-52-CC-A410 Gbps
NIC4 Intel(R) I350 Gigabit Network Connec... 15 Frakoblet 24-6E-96-52-CC-C3 0 bps
NIC3 Intel(R) I350 Gigabit Network Conn... #2 8 Frakoblet 24-6E-96-52-CC-C2 0 bps
NIC1 Intel(R) Ethernet 10G 4P X710/I350 rNDC 13 frakoblet 24-6E-96-52-CC-A210 Gbps
SPOR 1 Port 2 Mellanox ConnectX-4 Lx Ethernet Ad... #2 2 Opp 24-8A-07-59-4C-6910 Gbps
SPOR 1 Port 1 Mellanox ConnectX-4 Lx Ethernet-adapter 11 Up: 24-8A-07-59-4C-6810 Gbps
Identifiser og start grensesnittet på nytt uten tilknyttet lytter
Ved å se på netstat-xan-utgangen (vist i Output Listing 2), kan du se at grensesnittet med indeks 14 ikke har noen lytter knyttet til den. Fra cmdleten Get-NetAdapter kan du se at grensesnittindeksen 14 er den virtuelle adapteren vEthernet (Storage2).
Merk: Dette nettverkskortnavnet kan variere avhengig av hvordan du har navngitt lagringskort i administrasjonsoperativsystemet.
Du kan nå starte grensesnittet på nytt med manglende lytter.
Restart-NetAdapter – navn 'vEthernet (Storage2)'
Når denne prosessen er fullført, kan du sjekke netstat –xan for å sikre at lytteren er opprettet. Denne prosessen kan ta noen minutter. Når lytteren er opprettet, begynner klyngenodene å kommunisere normalt over RDMA, og nye SMB-klientfeil slutter å vises i hendelseslisten.