SMB-asiakasvirheet klusterisolmun uudelleenkäynnistyksen jälkeen
Summary: Tämä on normaalia vikasietoklusterissa solmun uudelleenkäynnistyksen yhteydessä, mutta virheitä saattaa joskus ilmetä uudelleen klusterisolmuissa säännöllisin väliajoin, vaikka kaikki klusterisolmut olisivat täysin toiminnassa. ...
Symptoms
SMB-asiakasvirheet klusterisolmun uudelleenkäynnistyksen jälkeen
Päivitys 1.2.2018
- Tämä ongelma on korjattu Mellanox CX4 -laiteohjelmiston ja -ohjaimen päivitetyssä versiossa
Cause
Ongelman kuvaus
Hyperkonvergoidussa klusterissa, joka on toteutettu Dell EMC Microsoft Storage Spaces Direct Ready -solmuilla Dell EMC PowerEdge R740xd- ja Mellanox CX4 LX -sovittimien kanssa tallennusliikennettä varten, saatat nähdä SMB-asiakasvirheitä (tapahtumatunnus 30803) Windowsin tapahtumienvalvonnassa (Sovellus- ja palvelulokit -> Microsoft -> Windows -> SMB Client -> Yhteydet), kun klusterisolmu käynnistyy uudelleen.
Tämä on normaalia vikasietoklusterissa solmun uudelleenkäynnistyksen yhteydessä, mutta virheitä saattaa joskus ilmetä uudelleen klusterisolmuissa säännöllisin väliajoin, vaikka kaikki klusterisolmut olisivat täysin toiminnassa. Tämä johtuu siitä, että SMB-kuuntelijoita ei ole luotu jokaiselle uudelleen käynnistetyn solmun tallennusliittymälle. Nämä virheet näkyvät klusterin eloonjääneissä solmuissa eivätkä uudelleen käynnistyneessä solmussa. Virheen kuvaus ilmaisee palvelimen, johon SMB-asiakas yrittää muodostaa yhteyden, ja kuvauksessa näkyvä palvelimen osoite ilmaisee solmun, joka käynnistyi uudelleen.
Klusterisolmujen normaalissa toimintatilassa solmun uudelleenkäynnistyksen jälkeen komennolla netstat –xan pitäisi näkyä IPv4- ja IPv6-kuuntelija, joka on liitetty solmun jokaiseen tallennusliittymään. Seuraava netstat.exe tulos kerättiin solmuun, jossa oli kaksi tallennussovitinta.
Active NetworkDirect -yhteydet, kuuntelijat, SharedEndpoints
Tila IfIndex Tyyppi Paikallinen osoite Vieras osoitePID
Ytimen 4 yhteys 10.128.100.101:445 10.128.100.100:61476 0
Ytimen 4 yhteys 10.128.100.101:445 10.128.100.100:62244 0
Ytimen 4 yhteys 10.128.100.101:445 10.128.100.100:61988 0
Ytimen 4 yhteys 10.128.100.101:445 10.128.100.100:62756 0
Ytimen 4 yhteys 10.128.100.101:12541 10.128.100.100:445 0
Ytimen 4 yhteys 10.128.100.101:12797 10.128.100.100:445 0
Ytimen 4 yhteys 10.128.100.101:14077 10.128.100.100:445 0
Ytimen 4 yhteys 10.128.100.101:14333 10.128.100.100:445 0
Ytimen 14 yhteys 10.128.100.133:445 10.128.100.132:27454 0
Ytimen 14 yhteys 10.128.100.133:445 10.128.100.132:27198 0
Ytimen 14 yhteys 10.128.100.133:237510.128.100.132:445 0
Ytimen 14 yhteys 10.128.100.133:62535 10.128.100.132:445 0
Ytimen 14 yhteys 10.128.100.133:62791 10.128.100.132:445 0
Ytimen 14 yhteys 10.128.100.133:64071 10.128.100.132:445 0
Ytimen 14 yhteys 10.128.100.133:64327 10.128.100.132:445 0
Ytimen 4 kuuntelija [fe80::4cae:cb05:4932:f226%4]:445 NA 0
Ytimen 4 kuuntelija 10.128.100.101:445 NA 0
Ydin 14 Kuuntelija 10.128.100.133:445 NA 0
Ytimen 14 kuuntelija [fe80::5180:55b6:c0f0:ae8d%14]:445 NA 0
Tuloslistaus 1 – Täysin toimiva PK-yrityspino
Kun klusterissa alkaa näkyä SMB-asiakasvirheitä, uudelleenkäynnistetyssä solmussa ei ehkä ole kaikkia järjestelmän kaikkiin tallennusliittymiin liittyviä kuuntelijoita.
Active NetworkDirect -yhteydet, kuuntelijat, SharedEndpoints
Tila IfIndex Tyyppi Paikallinen osoite Vieras osoitePID
Ytimen 4 yhteys 10.128.100.101:445 10.128.100.100:61476 0
Ytimen 4 yhteys 10.128.100.101:445 10.128.100.100:62244 0
Ytimen 4 yhteys 10.128.100.101:445 10.128.100.100:61988 0
Ytimen 4 yhteys 10.128.100.101:445 10.128.100.100:62756 0
Ytimen 4 yhteys 10.128.100.101:12541 10.128.100.100:445 0
Ytimen 4 yhteys 10.128.100.101:12797 10.128.100.100:445 0
Ytimen 4 yhteys 10.128.100.101:14077 10.128.100.100:445 0
Ytimen 4 yhteys 10.128.100.101:14333 10.128.100.100:445 0
Ytimen 14 yhteys 10.128.100.133:2375 10.128.100.132:445 0
Ytimen 14 yhteys 10.128.100.133:62535 10.128.100.132:445 0
Ytimen 14 yhteys 10.128.100.133:62791 10.128.100.132:445 0
Ytimen 14 yhteys 10.128.100.133:64071 10.128.100.132:445 0
Ytimen 14 yhteys 10.128.100.133:64327 10.128.100.132:445 0
Ytimen 4 kuuntelija [fe80::4cae:cb05:4932:f226%4]:445 NA 0
Ytimen 4 kuuntelija 10.128.100.101:445 NA 0
Output Listing 2 - PK-pinosta puuttuu kuuntelija
Tämän vuoksi edellä olevassa esimerkissä SMB-asiakas, joka yrittää muodostaa yhteyden liittymän indeksiin 14, aiheuttaa lopulta yhteyden hylkäyssanomia ja RDMA:han liittyviä SMB-asiakasvirheitä (tapahtumatunnus 30803)
Vaikutus
Dell EMC Microsoft Ready Node -verkkoarkkitehtuuri suosittelee kahta tallennussovitinta jokaista klusterisolmua kohden. Tällöin klusterin toiminnassa ei ole häiriöitä. Myös sovitinta, josta puuttuu kuuntelija, voidaan silti käyttää RDMA-liikenteen lähettämiseen. Koska jossakin tallennussovittimessa ei kuitenkaan ole kuuntelijaa, kirjoittamista RDMA:lla ei voi suorittaa. Tämä sovitin käyttää TCP:tä tietojen kirjoittamiseen tai vastaanottamiseen. Tämä voi heikentää kirjoitustehoa kuormituksen mukaan. Ongelman ilmetessä ei ole tietojen menetystä eikä toiminnallisia rajoituksia.
Missä on ongelma?
Tämä on havaittu virheeksi Mellanox CX4 LX WinOF2 -ajuriversioissa 1.70 ja aiemmissa.
Resolution
Vaiheet korjaamiseksi
SMB-kuuntelutoiminnon voi luoda uudelleen käynnistämällä uudelleenkäynnistyksen jälkeen virtuaalisen tallennussovittimen, johon ei ole liitetty SMB-kuuntelutoimintoa. Voit tunnistaa oikean uudelleenkäynnistystä varten tarvittavan virtuaalisovittimen noudattamalla alla olevia ohjeita.
Sovittimen tunnistaminen liittymän hakemiston perusteella
Netstat -xan-lähdöstä näet, että yhdestä tallennussovittimesta puuttuu kuuntelija. Puuttuvan sovittimen liittymäindeksi löytyy Get-NetAdapter-cmdlet-komennolla.
PS C:\> Get-NetAdapter
Nimi LiitäntäKuvaus ifIndex Status MacAddress LinkSpeed
______________ __ ___________________ ____ ______vEthernet (tallennus2) Hyper-V Virtual Ethernet -sovitin #3 14 Jopa 00-15-5D-09-C4-0210 Gbps
vEthernet (tallennus 1) Hyper-V Virtual Ethernet -sovitin #2 4 Jopa 00-15-5D-09-C4-0110 Gbps
vEthernet (hallinta)Hyper-V Virtual Ethernet -sovitin 10 Jopa 00-15-5D-09-C4-0010 Gb/s
Ethernet-etä-NDIS-yhteensopiva laite 9 ei ole 50-9A-4C-A7-F9-DF 0 bps
NIC2: Intel(R) Ethernet 10G X710 rNDC 6 irrotettu 24-6E-96-52-CC-A410 Gb/s
NIC4 Intel(R) I350 Gigabit Network Connec... 15 Irrotettu 24-6E-96-52-CC-C3 0 bps
NIC3 Intel(R) I350 Gigabit Network Conn... #2 8 Irrotettu 24-6E-96-52-CC-C2 0 bps
NIC1 Intel(R) Ethernet 10G 4P X710/I350 rNDC 13 Irrotettu 24-6E-96-52-CC-A210 Gb/s
PAIKKA 1 Portti 2 Mellanox ConnectX-4 Lx Ethernet -mainos... #2 2 Jopa 24-8A-07-59-4C-6910 Gbps
PAIKKA 1 Portti 1 Mellanox ConnectX-4 Lx -Ethernet-sovitin 11 Jopa 24-8A-07-59-4C-6810 Gb/s
Tunnista käyttöliittymä ja käynnistä se uudelleen ilman liitettyä kuuntelijaa
Tarkastelemalla netstat –xan-lähtöä (näkyy tulosluettelossa 2) näet, että indeksin 14 käyttöliittymään ei liity kuuntelijaa. Get-NetAdapter-cmdlet-komennosta näet, että liittymän indeksi 14 on virtuaalisovitin vEthernet (Storage2).
Huomautus: Verkkosovittimen nimi voi vaihdella sen mukaan, miten tallennussovittimet on nimetty hallintakäyttöjärjestelmässä.
Voit nyt käynnistää käyttöliittymän uudelleen puuttuvalla kuuntelijalla.
Restart-NetAdapter – Nimi 'vEthernet (Storage2)'
Kun tämä prosessi on valmis, voit tarkistaa netstat –xan varmistaaksesi, että kuuntelija on luotu. Tämä voi kestää muutaman minuutin. Kun kuuntelija on luotu, klusterisolmut alkavat kommunikoida normaalisti RDMA:n kautta ja uudet SMB-asiakasvirheet lakkaavat näkymästä tapahtumienvalvonnassa.