SMB-asiakasvirheet klusterisolmun uudelleenkäynnistyksen jälkeen

SMB-asiakasvirheet klusterisolmun uudelleenkäynnistyksen jälkeen

Päivitys 1.2.2018

- Tämä ongelma on korjattu Mellanox CX4 -laiteohjelmiston ja -ohjaimen päivitetyssä versiossa

• Laiteohjelmisto: http://www.dell.com/support/home/us/en/04/drivers/driversdetails?driverId=WY9X0
• Kuljettaja: http://www.dell.com/support/home/us/en/04/drivers/driversdetails?driverId=TNN0

Ongelman kuvaus

Hyperkonvergoidussa klusterissa, joka on toteutettu Dell EMC Microsoft Storage Spaces Direct Ready -solmuilla Dell EMC PowerEdge R740xd- ja Mellanox CX4 LX -sovittimien kanssa tallennusliikennettä varten, saatat nähdä SMB-asiakasvirheitä (tapahtumatunnus 30803) Windowsin tapahtumienvalvonnassa (Sovellus- ja palvelulokit -> Microsoft -> Windows -> SMB Client -> Yhteydet), kun klusterisolmu käynnistyy uudelleen.

Tämä on normaalia vikasietoklusterissa solmun uudelleenkäynnistyksen yhteydessä, mutta virheitä saattaa joskus ilmetä uudelleen klusterisolmuissa säännöllisin väliajoin, vaikka kaikki klusterisolmut olisivat täysin toiminnassa. Tämä johtuu siitä, että SMB-kuuntelijoita ei ole luotu jokaiselle uudelleen käynnistetyn solmun tallennusliittymälle. Nämä virheet näkyvät klusterin eloonjääneissä solmuissa eivätkä uudelleen käynnistyneessä solmussa. Virheen kuvaus ilmaisee palvelimen, johon SMB-asiakas yrittää muodostaa yhteyden, ja kuvauksessa näkyvä palvelimen osoite ilmaisee solmun, joka käynnistyi uudelleen.

Klusterisolmujen normaalissa toimintatilassa solmun uudelleenkäynnistyksen jälkeen komennolla netstat –xan pitäisi näkyä IPv4- ja IPv6-kuuntelija, joka on liitetty solmun jokaiseen tallennusliittymään. Seuraava netstat.exe tulos kerättiin solmuun, jossa oli kaksi tallennussovitinta.

Active NetworkDirect -yhteydet, kuuntelijat, SharedEndpoints

Tila IfIndex Tyyppi Paikallinen osoite Vieras osoitePID

Ytimen 4 yhteys 10.128.100.101:445 10.128.100.100:61476 0

Ytimen 4 yhteys 10.128.100.101:445 10.128.100.100:62244 0

Ytimen 4 yhteys 10.128.100.101:445 10.128.100.100:61988 0

Ytimen 4 yhteys 10.128.100.101:445 10.128.100.100:62756 0

Ytimen 4 yhteys 10.128.100.101:12541 10.128.100.100:445 0

Ytimen 4 yhteys 10.128.100.101:12797 10.128.100.100:445 0

Ytimen 4 yhteys 10.128.100.101:14077 10.128.100.100:445 0

Ytimen 4 yhteys 10.128.100.101:14333 10.128.100.100:445 0

Ytimen 14 yhteys 10.128.100.133:445 10.128.100.132:27454 0

Ytimen 14 yhteys 10.128.100.133:445 10.128.100.132:27198 0

Ytimen 14 yhteys 10.128.100.133:237510.128.100.132:445 0

Ytimen 14 yhteys 10.128.100.133:62535 10.128.100.132:445 0

Ytimen 14 yhteys 10.128.100.133:62791 10.128.100.132:445 0

Ytimen 14 yhteys 10.128.100.133:64071 10.128.100.132:445 0

Ytimen 14 yhteys 10.128.100.133:64327 10.128.100.132:445 0

Ytimen 4 kuuntelija [fe80::4cae:cb05:4932:f226%4]:445 NA 0

Ytimen 4 kuuntelija 10.128.100.101:445 NA 0

Ydin 14 Kuuntelija 10.128.100.133:445 NA 0

Ytimen 14 kuuntelija [fe80::5180:55b6:c0f0:ae8d%14]:445 NA 0

Tuloslistaus 1 – Täysin toimiva PK-yrityspino

Kun klusterissa alkaa näkyä SMB-asiakasvirheitä, uudelleenkäynnistetyssä solmussa ei ehkä ole kaikkia järjestelmän kaikkiin tallennusliittymiin liittyviä kuuntelijoita.

Active NetworkDirect -yhteydet, kuuntelijat, SharedEndpoints

Tila IfIndex Tyyppi Paikallinen osoite Vieras osoitePID

Ytimen 4 yhteys 10.128.100.101:445 10.128.100.100:61476 0

Ytimen 4 yhteys 10.128.100.101:445 10.128.100.100:62244 0

Ytimen 4 yhteys 10.128.100.101:445 10.128.100.100:61988 0

Ytimen 4 yhteys 10.128.100.101:445 10.128.100.100:62756 0

Ytimen 4 yhteys 10.128.100.101:12541 10.128.100.100:445 0

Ytimen 4 yhteys 10.128.100.101:12797 10.128.100.100:445 0

Ytimen 4 yhteys 10.128.100.101:14077 10.128.100.100:445 0

Ytimen 4 yhteys 10.128.100.101:14333 10.128.100.100:445 0

Ytimen 14 yhteys 10.128.100.133:2375 10.128.100.132:445 0

Ytimen 14 yhteys 10.128.100.133:62535 10.128.100.132:445 0

Ytimen 14 yhteys 10.128.100.133:62791 10.128.100.132:445 0

Ytimen 14 yhteys 10.128.100.133:64071 10.128.100.132:445 0

Ytimen 14 yhteys 10.128.100.133:64327 10.128.100.132:445 0

Ytimen 4 kuuntelija [fe80::4cae:cb05:4932:f226%4]:445 NA 0

Ytimen 4 kuuntelija 10.128.100.101:445 NA 0

Output Listing 2 - PK-pinosta puuttuu kuuntelija

Tämän vuoksi edellä olevassa esimerkissä SMB-asiakas, joka yrittää muodostaa yhteyden liittymän indeksiin 14, aiheuttaa lopulta yhteyden hylkäyssanomia ja RDMA:han liittyviä SMB-asiakasvirheitä (tapahtumatunnus 30803)
 

Vaikutus

Dell EMC Microsoft Ready Node -verkkoarkkitehtuuri suosittelee kahta tallennussovitinta jokaista klusterisolmua kohden. Tällöin klusterin toiminnassa ei ole häiriöitä. Myös sovitinta, josta puuttuu kuuntelija, voidaan silti käyttää RDMA-liikenteen lähettämiseen. Koska jossakin tallennussovittimessa ei kuitenkaan ole kuuntelijaa, kirjoittamista RDMA:lla ei voi suorittaa. Tämä sovitin käyttää TCP:tä tietojen kirjoittamiseen tai vastaanottamiseen. Tämä voi heikentää kirjoitustehoa kuormituksen mukaan. Ongelman ilmetessä ei ole tietojen menetystä eikä toiminnallisia rajoituksia.
 

Missä on ongelma?

Tämä on havaittu virheeksi Mellanox CX4 LX WinOF2 -ajuriversioissa 1.70 ja aiemmissa.

Vaiheet korjaamiseksi

SMB-kuuntelutoiminnon voi luoda uudelleen käynnistämällä uudelleenkäynnistyksen jälkeen virtuaalisen tallennussovittimen, johon ei ole liitetty SMB-kuuntelutoimintoa. Voit tunnistaa oikean uudelleenkäynnistystä varten tarvittavan virtuaalisovittimen noudattamalla alla olevia ohjeita.

 

Sovittimen tunnistaminen liittymän hakemiston perusteella

Netstat -xan-lähdöstä näet, että yhdestä tallennussovittimesta puuttuu kuuntelija. Puuttuvan sovittimen liittymäindeksi löytyy Get-NetAdapter-cmdlet-komennolla.

PS C:\> Get-NetAdapter

Nimi LiitäntäKuvaus ifIndex Status MacAddress LinkSpeed

vEthernet (tallennus2) Hyper-V Virtual Ethernet -sovitin #3 14 Jopa 00-15-5D-09-C4-0210 Gbps

vEthernet (tallennus 1) Hyper-V Virtual Ethernet -sovitin #2 4 Jopa 00-15-5D-09-C4-0110 Gbps

vEthernet (hallinta)Hyper-V Virtual Ethernet -sovitin 10 Jopa 00-15-5D-09-C4-0010 Gb/s

Ethernet-etä-NDIS-yhteensopiva laite 9 ei ole 50-9A-4C-A7-F9-DF 0 bps

NIC2: Intel(R) Ethernet 10G X710 rNDC 6 irrotettu 24-6E-96-52-CC-A410 Gb/s

NIC4 Intel(R) I350 Gigabit Network Connec... 15 Irrotettu 24-6E-96-52-CC-C3 0 bps

NIC3 Intel(R) I350 Gigabit Network Conn... #2 8 Irrotettu 24-6E-96-52-CC-C2 0 bps

NIC1 Intel(R) Ethernet 10G 4P X710/I350 rNDC 13 Irrotettu 24-6E-96-52-CC-A210 Gb/s

PAIKKA 1 Portti 2 Mellanox ConnectX-4 Lx Ethernet -mainos... #2 2 Jopa 24-8A-07-59-4C-6910 Gbps

PAIKKA 1 Portti 1 Mellanox ConnectX-4 Lx -Ethernet-sovitin 11 Jopa 24-8A-07-59-4C-6810 Gb/s

Tunnista käyttöliittymä ja käynnistä se uudelleen ilman liitettyä kuuntelijaa

Tarkastelemalla netstat –xan-lähtöä (näkyy tulosluettelossa 2) näet, että indeksin 14 käyttöliittymään ei liity kuuntelijaa. Get-NetAdapter-cmdlet-komennosta näet, että liittymän indeksi 14 on virtuaalisovitin vEthernet (Storage2). 

Voit nyt käynnistää käyttöliittymän uudelleen puuttuvalla kuuntelijalla.

Restart-NetAdapter – Nimi 'vEthernet (Storage2)'

Kun tämä prosessi on valmis, voit tarkistaa netstat –xan varmistaaksesi, että kuuntelija on luotu. Tämä voi kestää muutaman minuutin. Kun kuuntelija on luotu, klusterisolmut alkavat kommunikoida normaalisti RDMA:n kautta ja uudet SMB-asiakasvirheet lakkaavat näkymästä tapahtumienvalvonnassa.