Erreurs du client SMB après le redémarrage d’un nœud de cluster
Summary: Bien que cela soit normal dans un cluster de basculement lors du redémarrage d’un nœud, vous pouvez parfois voir ces erreurs réapparaître sur les nœuds de cluster à intervalle régulier, même lorsque tous les nœuds de cluster sont entièrement fonctionnels. ...
Symptoms
Erreurs du client SMB après le redémarrage d’un nœud de cluster
Mise à jour 01/02/2018
- Ce problème a été corrigé dans une version mise à jour du firmware et du pilote Mellanox CX4
Cause
Description du problème
Dans un cluster hyperconvergé implémenté à l’aide des nœuds Dell EMC Microsoft Storage Spaces Direct Ready Nodes avec les adaptateurs Dell EMC PowerEdge R740xd et Mellanox CX4 LX pour le trafic de stockage, des erreurs du client SMB (ID d’événement 30803) peuvent s’afficher dans l’observateur d’événements Windows (Journaux Applications et services -> Microsoft -> Windows -> Client SMB -> Connectivité) lorsqu’un nœud de cluster redémarre.
Bien que cela soit normal dans un cluster de basculement lors du redémarrage d’un nœud, vous pouvez parfois voir ces erreurs réapparaître sur les nœuds de cluster à intervalle régulier, même lorsque tous les nœuds de cluster sont entièrement fonctionnels. Ce comportement est dû à une défaillance lors de la création des écouteurs SMB pour chaque interface de stockage du nœud qui a redémarré. Ces erreurs s’affichent sur les nœuds restants du cluster et non sur le nœud qui a redémarré. La description de l’erreur indique le serveur auquel le client SMB tente de se connecter et l’adresse du serveur dans la description indique le nœud qui vient de redémarrer.
Dans un état fonctionnel normal des nœuds de cluster, après le redémarrage d’un nœud, l’exécution de netstat –xan doit afficher un écouteur IPv4 et IPv6 associé à chaque interface de stockage du nœud. La sortie suivante de netstat.exe a été collectée sur un nœud avec deux adaptateurs de stockage.
Active NetworkDirect Connections, Listeners, SharedEndpoints
Mode IfIndex Type Local Address Foreign AddressPID
Kernel 4 Connection 10.128.100.101:445 10.128.100.100:61476 0
Kernel 4 Connection 10.128.100.101:445 10.128.100.100:62244 0
Kernel 4 Connection 10.128.100.101:445 10.128.100.100:61988 0
Kernel 4 Connection 10.128.100.101:445 10.128.100.100:62756 0
Kernel 4 Connection 10.128.100.101:12541 10.128.100.100:445 0
Kernel 4 Connection 10.128.100.101:12797 10.128.100.100:445 0
Kernel 4 Connection 10.128.100.101:14077 10.128.100.100:445 0
Kernel 4 Connection 10.128.100.101:14333 10.128.100.100:445 0
Kernel 14 Connection 10.128.100.133:445 10.128.100.132:27454 0
Kernel 14 Connection 10.128.100.133:445 10.128.100.132:27198 0
Kernel 14 Connection 10.128.100.133:237510.128.100.132:445 0
Kernel 14 Connection 10.128.100.133:62535 10.128.100.132:445 0
Kernel 14 Connection 10.128.100.133:62791 10.128.100.132:445 0
Kernel 14 Connection 10.128.100.133:64071 10.128.100.132:445 0
Kernel 14 Connection 10.128.100.133:64327 10.128.100.132:445 0
Kernel 4 Listener [fe80 ::4cae :cb05:4932 :f226%4] :445 NA 0
Kernel 4 Listener 10.128.100.101:445 NA 0
Kernel 14 Listener 10.128.100.133:445 NA 0
Kernel 14 Listener [fe80 ::5180:55b6 :c0f0 :ae8d%14] :445 NA 0
Liste de sortie 1 - Pile SMB entièrement fonctionnelle
Toutefois, lorsque vous commencez à voir les erreurs du client SMB dans le cluster, le nœud qui a redémarré peut ne pas avoir tous les écouteurs associés à chaque interface de stockage du système.
Active NetworkDirect Connections, Listeners, SharedEndpoints
Mode IfIndex Type Local Address Foreign AddressPID
Kernel 4 Connection 10.128.100.101:445 10.128.100.100:61476 0
Kernel 4 Connection 10.128.100.101:445 10.128.100.100:62244 0
Kernel 4 Connection 10.128.100.101:445 10.128.100.100:61988 0
Kernel 4 Connection 10.128.100.101:445 10.128.100.100:62756 0
Kernel 4 Connection 10.128.100.101:12541 10.128.100.100:445 0
Kernel 4 Connection 10.128.100.101:12797 10.128.100.100:445 0
Kernel 4 Connection 10.128.100.101:14077 10.128.100.100:445 0
Kernel 4 Connection 10.128.100.101:14333 10.128.100.100:445 0
Kernel 14 Connection 10.128.100.133:2375 10.128.100.132:445 0
Kernel 14 Connection 10.128.100.133:62535 10.128.100.132:445 0
Kernel 14 Connection 10.128.100.133:62791 10.128.100.132:445 0
Kernel 14 Connection 10.128.100.133:64071 10.128.100.132:445 0
Kernel 14 Connection 10.128.100.133:64327 10.128.100.132:445 0
Kernel 4 Listener [fe80 ::4cae :cb05:4932 :f226%4] :445 NA 0
Kernel 4 Listener 10.128.100.101:445 NA 0
Liste de sortie 2 - pile SMB sans écouteur
Par conséquent, dans l’exemple ci-dessus, si le client SMB tente de se connecter à l’index d’interface 14, des messages de connexion sont refusés et des erreurs du client SMB (ID d’événement 30803) liées à RDMA
Impact
L’architecture réseau Dell EMC Microsoft Ready Node recommande deux adaptateurs de stockage par nœud de cluster, afin qu’il n’y ait aucune interruption de fonctionnement du cluster si ce problème se produit. En outre, l’adaptateur auquel il manque un écouteur peut toujours être utilisé pour envoyer le trafic RDMA. Toutefois, étant donné qu’il n’y a pas d’écouteur sur l’un des adaptateurs de stockage, les écritures à l’aide de RDMA ne peuvent pas être effectuées. Cet adaptateur revient à l’utilisation du protocole TCP pour tout trafic d’écriture ou de réception. Cela peut entraîner une baisse des performances d’écriture en fonction de la charge applicative. Il n’y a aucune perte de données ou limitation des fonctionnalités lorsque ce problème se produit.
Où est le problème ?
Cela a été identifié comme un bogue dans les versions 1.70 et antérieures du pilote WinOF2 Mellanox CX4 LX.
Resolution
Mesures correctives
L’écouteur SMB peut être recréé en redémarrant l’adaptateur de stockage virtuel qui n’a pas d’écouteur SMB associé après un redémarrage. Vous pouvez identifier l’adaptateur virtuel approprié à redémarrer en suivant les étapes décrites ci-dessous.
Identifier l’adaptateur en fonction de l’index de l’interface
Dans la sortie netstat -xan, vous pouvez voir qu’il manque un écouteur pour l’un des adaptateurs de stockage. L’index d’interface de l’adaptateur manquant est disponible à l’aide de la cmdlet Get-NetAdapter.
PS C :\> Get-NetAdapter
Name InterfaceDescription ifIndex Status MacAddress LinkSpeed
______________ __ ___________________ ____ ______Adaptateur Ethernet virtuel Hyper-V vEthernet (Storage2) #3 14 Up 00-15-5D-09-C4-0210 Gbps
vEthernet (Storage1) Adaptateur Ethernet virtuel Hyper-V #2 4 Vers le haut 00-15-5D-09-C4-0110 Gbit/s
vEthernet (gestion)Adaptateur Ethernet virtuel Hyper-V 10 vers le haut 00-15-5D-09-C4-0010 Gbit/s
Ethernet Remote NDIS Compatible Device 9 Not Present 50-9A-4C-A7-F9-DF 0 bps
Carte NIC2 Intel(R) Ethernet 10G X710 rNDC 6 déconnecté 24-6E-96-52-CC-A410 Gbps
Carte réseau NIC4 Intel(R) I350 Gigabit Connec... 15 Déconnecté 24-6E-96-52-CC-C3 0 bps
Carte réseau NIC3 Intel(R) I350 Gigabit Conn... #2 8 Déconnecté 24-6E-96-52-CC-C2 0 bps
Carte réseau NIC1 Intel(R) Ethernet 10G 4P X710/I350 rNDC 13 Déconnecté 24-6E-96-52-CC-A210 Gbit/s
LOGEMENT 1 Port 2 Mellanox ConnectX-4 Lx Ethernet Ad... #2 2 Up 24-8A-07-59-4C-6910 Gbps
LOGEMENT 1 Port 1 Carte Ethernet Mellanox ConnectX-4 Lx 11 vers le haut 24-8A-07-59-4C-6810 Gbit/s
Identifiez et redémarrez l’interface sans écouteur associé
En regardant la sortie netstat –xan (illustrée dans la liste de sortie 2), vous pouvez voir que l’interface avec l’index 14 n’a pas d’écouteur qui lui est associé. À partir de la cmdlet Get-NetAdapter, vous pouvez voir que l’index d’interface 14 est l’adaptateur virtuel vEthernet (Storage2).
Remarque : Ce nom de carte réseau peut être différent selon la façon dont vous avez nommé les adaptateurs de stockage dans le système d’exploitation de gestion.
Vous pouvez maintenant redémarrer l’interface avec écouteur manquant.
Restart-NetAdapter –Name 'vEthernet (Storage2)'
Une fois ce processus terminé, vous pouvez vérifier netstat –xan pour vous assurer que l’écouteur est créé. This process may take a few minutes. Une fois l’écouteur créé, les nœuds du cluster commencent à communiquer normalement via RDMA et les nouvelles erreurs du client SMB cessent d’apparaître dans l’observateur d’événements.