Помилки клієнта SMB після перезавантаження вузла кластера
Summary: Хоча це нормально для відмовостійкого кластера під час перезавантаження вузла, іноді ви можете побачити, що ці помилки знову з'являються на вузлах кластера через регулярний проміжок часу, навіть після того, як усі вузли кластера повністю функціонують. ...
Symptoms
Помилки клієнта SMB після перезавантаження вузла кластера
Оновлено 01.02.2018
- Цю проблему виправлено в оновленому випуску мікропрограми та драйвера Mellanox CX4
Cause
Опис проблеми
У гіперконвергентному кластері, реалізованому за допомогою прямих готових вузлів Dell EMC Microsoft Storage Spaces з адаптерами Dell EMC PowerEdge R740xd і Mellanox CX4 LX для трафіку сховища, ви можете побачити помилки клієнта SMB (ідентифікатор події 30803) у переглядачі подій Windows (журнали програм і служб -> Microsoft -> Windows -> SMB-клієнт -> Підключення) під час перезавантаження вузла кластера.
Хоча це нормально для відмовостійкого кластера під час перезавантаження вузла, іноді ви можете побачити, що ці помилки знову з'являються на вузлах кластера через регулярний проміжок часу, навіть після того, як усі вузли кластера повністю функціонують. Така поведінка пов'язана з помилкою під час створення обробників SMB для кожного інтерфейсу зберігання даних у вузлі, який перезапустився. Ці помилки з'являються на вцілілих вузлах кластера, а не на вузлі, який перезапустився. В описі помилки вказується сервер, до якого SMB-клієнт намагається підключитися, а Server Address (Адреса сервера) в описі вказує на вузол, який щойно перезапустився.
У нормальному функціональному стані вузлів кластера, після перезавантаження вузла, запущений netstat –xan повинен показувати прослуховувач IPv4 та IPv6, пов'язаний з кожним інтерфейсом зберігання на вузлі. Наступний вихід netstat.exe був зібраний на вузлі з двома адаптерами зберігання.
Активна мережаПрямі підключення, слухачі, спільні кінцеві точки
Режим IfIndex Тип локальної адреси Foreign AddressPID
Зв'язок з ядром 4 10.128.100.101:445 10.128.100.100:61476 0
Зв'язок ядра 4 10.128.100.101:445 10.128.100.100:62244 0
Зв'язок ядра 4 10.128.100.101:445 10.128.100.100:61988 0
Зв'язок ядра 4 10.128.100.101:445 10.128.100.100:62756 0
Зв'язок ядра 4 10.128.100.101:12541 10.128.100.100:445 0
З'єднання ядра 4 10.128.100.101:12797 10.128.100.100:445 0
З'єднання ядра 4 10.128.100.101:14077 10.128.100.100:445 0
Зв'язок ядра 4 10.128.100.101:14333 10.128.100.100:445 0
Зв'язок ядра 14 10.128.100.133:445 10.128.100.132:27454 0
Зв'язок ядра 14 10.128.100.133:445 10.128.100.132:27198 0
Зв'язок ядра 14 10.128.100.133:237510.128.100.132:445 0
Зв'язок з ядром 14 10.128.100.133:62535 10.128.100.132:445 0
З'єднання ядра 14 10.128.100.133:62791 10.128.100.132:445 0
Зв'язок ядра 14 10.128.100.133:64071 10.128.100.132:445 0
З'єднання ядра 14 10.128.100.133:64327 10.128.100.132:445 0
Прослуховувач ядра 4 [fe80::4cae:cb05:4932:f226%4]:445 NA 0
Ядро 4 Слухач 10.128.100.101:445 NA 0
Ядро 14 Слухач 10.128.100.133:445 NA 0
Прослуховувач ядра 14 [fe80::5180:55b6:c0f0:ae8d%14]:445 NA 0
Вихідний лістинг 1 - Повнофункціональний стек малого та середнього бізнесу
Однак, коли ви починаєте бачити помилки клієнта SMB у кластері, вузол, який перезавантажився, може не мати всіх прослуховувачів, пов'язаних із кожним інтерфейсом зберігання в системі.
Активна мережаПрямі підключення, слухачі, спільні кінцеві точки
Режим IfIndex Тип локальної адреси Foreign AddressPID
Зв'язок з ядром 4 10.128.100.101:445 10.128.100.100:61476 0
Зв'язок ядра 4 10.128.100.101:445 10.128.100.100:62244 0
Зв'язок ядра 4 10.128.100.101:445 10.128.100.100:61988 0
Зв'язок ядра 4 10.128.100.101:445 10.128.100.100:62756 0
Зв'язок ядра 4 10.128.100.101:12541 10.128.100.100:445 0
З'єднання ядра 4 10.128.100.101:12797 10.128.100.100:445 0
З'єднання ядра 4 10.128.100.101:14077 10.128.100.100:445 0
Зв'язок ядра 4 10.128.100.101:14333 10.128.100.100:445 0
Зв'язок ядра 14 10.128.100.133:2375 10.128.100.132:445 0
Зв'язок з ядром 14 10.128.100.133:62535 10.128.100.132:445 0
З'єднання ядра 14 10.128.100.133:62791 10.128.100.132:445 0
Зв'язок ядра 14 10.128.100.133:64071 10.128.100.132:445 0
З'єднання ядра 14 10.128.100.133:64327 10.128.100.132:445 0
Прослуховувач ядра 4 [fe80::4cae:cb05:4932:f226%4]:445 NA 0
Ядро 4 Слухач 10.128.100.101:445 NA 0
Вихідний лістинг 2 - у стеку SMB відсутній слухач
Таким чином, у наведеному вище прикладі спроба клієнта SMB підключитися за індексом інтерфейсу 14 зрештою призведе до повідомлень про відмову в підключенні та помилок клієнта SMB (ідентифікатор події 30803), пов'язаних із RDMA
Вплив
Мережева архітектура Dell EMC Microsoft Ready Node рекомендує два адаптери зберігання даних на кожен вузол кластера, при виникненні цієї проблеми не буде жодних збоїв у функціональності кластера. Крім того, адаптер, у якому відсутній прослуховувач, все ще можна використовувати для надсилання трафіку RDMA. Однак, оскільки на одному з адаптерів пам'яті немає прослуховувача, запис за допомогою RDMA не може бути виконаний. Цей адаптер повертається до використання TCP для будь-якого запису або отримання трафіку. Це може призвести до зниження продуктивності запису залежно від робочого навантаження. При виникненні цієї проблеми немає втрати даних або обмежень функціональності.
У чому проблема?
Це було виявлено як помилку у драйвері Mellanox CX4 LX WinOF2 версії 1.70 і нижче.
Resolution
Кроки для виправлення
Прослуховувач SMB можна відтворити, перезапустивши адаптер віртуального сховища, з яким не пов'язано прослуховувач SMB після перезавантаження. Ви можете визначити правильний віртуальний адаптер для перезавантаження, виконавши наведені нижче дії.
Визначте адаптер на основі індексу інтерфейсу
З виводу netstat -xan можна побачити, що для одного з адаптерів зберігання даних відсутній прослуховувач. Індекс інтерфейсу для відсутнього адаптера можна знайти за допомогою командлета Get-NetAdapter.
PS C:\> Get-NetAdapter
Ім'я ІнтерфейсОпис ifIndex Status MacАдреса LinkSpeed
______________ __ ___________________ ____ ______vEthernet (Storage2) Адаптер віртуального Ethernet Hyper-V #3 14 до 00-15-5D-09-C4-0210 Гбіт/с
vEthernet (Storage1) Адаптер віртуального Ethernet Hyper-V #2 4 вгору 00-15-5D-09-C4-0110 Гбіт/с
vEthernet (керування)Адаптер віртуального Ethernet Hyper-V 10 до 00-15-5D-09-C4-0010 Гбіт/с
Віддалений NDIS-сумісний пристрій Ethernet 9 Відсутній 50-9A-4C-A7-F9-DF 0 біт/с
NIC2 Intel(R) Ethernet 10G X710 rNDC 6 Відключено 24-6E-96-52-CC-A410 Гбіт/с
NIC4 Intel(R) I350 Гігабітний мережевий зв'язок... 15 Відключено 24-6E-96-52-CC-C3 0 біт/с
NIC3 Intel(R) I350 Гігабітна мережа... #2 8 Відключено 24-6E-96-52-CC-C2 0 біт/с
NIC1 Intel(R) Ethernet 10G 4P X710/I350 rNDC 13 Відключено 24-6E-96-52-CC-A210 Гбіт/с
СЛОТ 1 Порт 2 Mellanox ConnectX-4 Lx Ethernet Ad... #2 2 Вгору 24-8A-07-59-4C-6910 Гбіт/с
СЛОТ 1 Порт 1 Адаптер Ethernet Mellanox ConnectX-4 Lx 11 до 24-8A-07-59-4C-6810 Гбіт/с
Визначте та перезапустіть інтерфейс без асоційованого слухача
Подивившись на вихідні дані netstat –xan (показані у списку виводу 2), ви можете побачити, що інтерфейс з індексом 14 не має обробника, пов'язаного з ним. З командлета Get-NetAdapter можна побачити, що індекс інтерфейсу 14 - це віртуальний адаптер vEthernet (Storage2).
Примітка: Це ім'я мережного адаптера може відрізнятися залежно від імен адаптерів сховища в ОС керування.
Тепер ви можете перезапустити інтерфейс із відсутнім слухачем.
Restart-NetAdapter –Назва "vEthernet (Storage2)"
Після завершення цього процесу ви можете перевірити netstat –xan, щоб переконатися, що слухач створено. Цей процес може зайняти кілька хвилин. Після створення прослуховувача вузли кластера почнуть нормально обмінюватися даними через RDMA, а нові помилки клієнтів SMB перестануть з'являтися в переглядачі подій.