Erreurs du client SMB après le redémarrage d’un nœud de cluster

Erreurs du client SMB après le redémarrage d’un nœud de cluster

Mise à jour 01/02/2018

- Ce problème a été corrigé dans une version mise à jour du firmware et du pilote Mellanox CX4

• Firmware : http://www.dell.com/support/home/us/en/04/drivers/driversdetails?driverId=WY9X0
• Conducteur : http://www.dell.com/support/home/us/en/04/drivers/driversdetails?driverId=TNN0

Description du problème

Dans un cluster hyperconvergé implémenté à l’aide des nœuds Dell EMC Microsoft Storage Spaces Direct Ready Nodes avec les adaptateurs Dell EMC PowerEdge R740xd et Mellanox CX4 LX pour le trafic de stockage, des erreurs du client SMB (ID d’événement 30803) peuvent s’afficher dans l’observateur d’événements Windows (Journaux Applications et services -> Microsoft -> Windows -> Client SMB -> Connectivité) lorsqu’un nœud de cluster redémarre.

Bien que cela soit normal dans un cluster de basculement lors du redémarrage d’un nœud, vous pouvez parfois voir ces erreurs réapparaître sur les nœuds de cluster à intervalle régulier, même lorsque tous les nœuds de cluster sont entièrement fonctionnels. Ce comportement est dû à une défaillance lors de la création des écouteurs SMB pour chaque interface de stockage du nœud qui a redémarré. Ces erreurs s’affichent sur les nœuds restants du cluster et non sur le nœud qui a redémarré. La description de l’erreur indique le serveur auquel le client SMB tente de se connecter et l’adresse du serveur dans la description indique le nœud qui vient de redémarrer.

Dans un état fonctionnel normal des nœuds de cluster, après le redémarrage d’un nœud, l’exécution de netstat –xan doit afficher un écouteur IPv4 et IPv6 associé à chaque interface de stockage du nœud. La sortie suivante de netstat.exe a été collectée sur un nœud avec deux adaptateurs de stockage.

Active NetworkDirect Connections, Listeners, SharedEndpoints

Mode IfIndex Type Local Address Foreign AddressPID

Kernel 4 Connection 10.128.100.101:445 10.128.100.100:61476 0

Kernel 4 Connection 10.128.100.101:445 10.128.100.100:62244 0

Kernel 4 Connection 10.128.100.101:445 10.128.100.100:61988 0

Kernel 4 Connection 10.128.100.101:445 10.128.100.100:62756 0

Kernel 4 Connection 10.128.100.101:12541 10.128.100.100:445 0

Kernel 4 Connection 10.128.100.101:12797 10.128.100.100:445 0

Kernel 4 Connection 10.128.100.101:14077 10.128.100.100:445 0

Kernel 4 Connection 10.128.100.101:14333 10.128.100.100:445 0

Kernel 14 Connection 10.128.100.133:445 10.128.100.132:27454 0

Kernel 14 Connection 10.128.100.133:445 10.128.100.132:27198 0

Kernel 14 Connection 10.128.100.133:237510.128.100.132:445 0

Kernel 14 Connection 10.128.100.133:62535 10.128.100.132:445 0

Kernel 14 Connection 10.128.100.133:62791 10.128.100.132:445 0

Kernel 14 Connection 10.128.100.133:64071 10.128.100.132:445 0

Kernel 14 Connection 10.128.100.133:64327 10.128.100.132:445 0

Kernel 4 Listener [fe80 ::4cae :cb05:4932 :f226%4] :445 NA 0

Kernel 4 Listener 10.128.100.101:445 NA 0

Kernel 14 Listener 10.128.100.133:445 NA 0

Kernel 14 Listener [fe80 ::5180:55b6 :c0f0 :ae8d%14] :445 NA 0

Liste de sortie 1 - Pile SMB entièrement fonctionnelle

Toutefois, lorsque vous commencez à voir les erreurs du client SMB dans le cluster, le nœud qui a redémarré peut ne pas avoir tous les écouteurs associés à chaque interface de stockage du système.

Active NetworkDirect Connections, Listeners, SharedEndpoints

Mode IfIndex Type Local Address Foreign AddressPID

Kernel 4 Connection 10.128.100.101:445 10.128.100.100:61476 0

Kernel 4 Connection 10.128.100.101:445 10.128.100.100:62244 0

Kernel 4 Connection 10.128.100.101:445 10.128.100.100:61988 0

Kernel 4 Connection 10.128.100.101:445 10.128.100.100:62756 0

Kernel 4 Connection 10.128.100.101:12541 10.128.100.100:445 0

Kernel 4 Connection 10.128.100.101:12797 10.128.100.100:445 0

Kernel 4 Connection 10.128.100.101:14077 10.128.100.100:445 0

Kernel 4 Connection 10.128.100.101:14333 10.128.100.100:445 0

Kernel 14 Connection 10.128.100.133:2375 10.128.100.132:445 0

Kernel 14 Connection 10.128.100.133:62535 10.128.100.132:445 0

Kernel 14 Connection 10.128.100.133:62791 10.128.100.132:445 0

Kernel 14 Connection 10.128.100.133:64071 10.128.100.132:445 0

Kernel 14 Connection 10.128.100.133:64327 10.128.100.132:445 0

Kernel 4 Listener [fe80 ::4cae :cb05:4932 :f226%4] :445 NA 0

Kernel 4 Listener 10.128.100.101:445 NA 0

Liste de sortie 2 - pile SMB sans écouteur

Par conséquent, dans l’exemple ci-dessus, si le client SMB tente de se connecter à l’index d’interface 14, des messages de connexion sont refusés et des erreurs du client SMB (ID d’événement 30803) liées à RDMA
 

Impact

L’architecture réseau Dell EMC Microsoft Ready Node recommande deux adaptateurs de stockage par nœud de cluster, afin qu’il n’y ait aucune interruption de fonctionnement du cluster si ce problème se produit. En outre, l’adaptateur auquel il manque un écouteur peut toujours être utilisé pour envoyer le trafic RDMA. Toutefois, étant donné qu’il n’y a pas d’écouteur sur l’un des adaptateurs de stockage, les écritures à l’aide de RDMA ne peuvent pas être effectuées. Cet adaptateur revient à l’utilisation du protocole TCP pour tout trafic d’écriture ou de réception. Cela peut entraîner une baisse des performances d’écriture en fonction de la charge applicative. Il n’y a aucune perte de données ou limitation des fonctionnalités lorsque ce problème se produit.
 

Où est le problème ?

Cela a été identifié comme un bogue dans les versions 1.70 et antérieures du pilote WinOF2 Mellanox CX4 LX.

Mesures correctives

L’écouteur SMB peut être recréé en redémarrant l’adaptateur de stockage virtuel qui n’a pas d’écouteur SMB associé après un redémarrage. Vous pouvez identifier l’adaptateur virtuel approprié à redémarrer en suivant les étapes décrites ci-dessous.

 

Identifier l’adaptateur en fonction de l’index de l’interface

Dans la sortie netstat -xan, vous pouvez voir qu’il manque un écouteur pour l’un des adaptateurs de stockage. L’index d’interface de l’adaptateur manquant est disponible à l’aide de la cmdlet Get-NetAdapter.

PS C :\> Get-NetAdapter

Name InterfaceDescription ifIndex Status MacAddress LinkSpeed

Adaptateur Ethernet virtuel Hyper-V vEthernet (Storage2) #3 14 Up 00-15-5D-09-C4-0210 Gbps

vEthernet (Storage1) Adaptateur Ethernet virtuel Hyper-V #2 4 Vers le haut 00-15-5D-09-C4-0110 Gbit/s

vEthernet (gestion)Adaptateur Ethernet virtuel Hyper-V 10 vers le haut 00-15-5D-09-C4-0010 Gbit/s

Ethernet Remote NDIS Compatible Device 9 Not Present 50-9A-4C-A7-F9-DF 0 bps

Carte NIC2 Intel(R) Ethernet 10G X710 rNDC 6 déconnecté 24-6E-96-52-CC-A410 Gbps

Carte réseau NIC4 Intel(R) I350 Gigabit Connec... 15 Déconnecté 24-6E-96-52-CC-C3 0 bps

Carte réseau NIC3 Intel(R) I350 Gigabit Conn... #2 8 Déconnecté 24-6E-96-52-CC-C2 0 bps

Carte réseau NIC1 Intel(R) Ethernet 10G 4P X710/I350 rNDC 13 Déconnecté 24-6E-96-52-CC-A210 Gbit/s

LOGEMENT 1 Port 2 Mellanox ConnectX-4 Lx Ethernet Ad... #2 2 Up 24-8A-07-59-4C-6910 Gbps

LOGEMENT 1 Port 1 Carte Ethernet Mellanox ConnectX-4 Lx 11 vers le haut 24-8A-07-59-4C-6810 Gbit/s

Identifiez et redémarrez l’interface sans écouteur associé

En regardant la sortie netstat –xan (illustrée dans la liste de sortie 2), vous pouvez voir que l’interface avec l’index 14 n’a pas d’écouteur qui lui est associé. À partir de la cmdlet Get-NetAdapter, vous pouvez voir que l’index d’interface 14 est l’adaptateur virtuel vEthernet (Storage2). 

Vous pouvez maintenant redémarrer l’interface avec écouteur manquant.

Restart-NetAdapter –Name 'vEthernet (Storage2)'

Une fois ce processus terminé, vous pouvez vérifier netstat –xan pour vous assurer que l’écouteur est créé. This process may take a few minutes. Une fois l’écouteur créé, les nœuds du cluster commencent à communiquer normalement via RDMA et les nouvelles erreurs du client SMB cessent d’apparaître dans l’observateur d’événements.