【Isilon】在 Mellanox 前端以太网 40Gb nic 更换和重新启动之后，无法识别 nic (000529619)

​版本：4​

​文章类型：中断修复​

​目标受众：级别 30 = 客户​

​上次发布时间：2019 年 6 月 19 日（星期三），13:38:33 GMT​

​总结：​

​在 Mellanox 40Gb VPI nic 更换和重新启动之后，40Gb 前端 nic​

​无法正常工作，未在 WebUI 或 isi 网络中显示，但是会在 ifconfig 中列出。​

​问题：​

​更换了 Mellanox 40Gb VPI nic 适配器并重新启动了第 6 代节点之后，40Gb 前端 nic 适配器无法正常工作。​

​症状：​

​· 新更换的 nic 适配器无法在 WebUI 中显示​

​· 适配器不会在 isi 网络接口 list --verbose 的输出中列出​

​· Mellanox 适配器会在 ifconfig 中正确显示为 mlxenX​

​· lni.xml 文件会缺少 40Gb 设备的 Mellanox 条目​

​· 重新启动节点不会修复该问题​

​· 重新创建 lni.xml 文件不会解决该问题​

​ ​

​ ​

​原因：​

​有两种类型的 40G mellanox 卡，一种用于 Infiniband 连接，一种用于以太网连接。​

​在此情况下，无意中安装了 Infiniband HCA 来代替外部部件，这导致节点认为它没有外部 40G 接口。​

​ ​

​注意：MCX354A 卡 (IB HCA) 可以在三种模式下运行，即 VPI（默认）、Infiniband 或以太网。 在 VPI 模式下运行时，如果将 NIC 端口插入 40Gb 以太网交换机，则这些端口会出现，您会看到 mlxenX 设备显示在 ifconfig 中。 但是，这些卡专门用于 Infiniband，我们不支持使用以太网连接。​

​ ​

​更改：​

​要了解是否安装了错误的卡/适配器：​

​从 CLI：cat /etc/ifs/firmware_versions​
​从 isi_gather logset：nodename/etc.tar/etc/ifs/firmware_versions​

​ ​

​如果可疑 Mellanox 适配器列为以下版本，则安装了​​正确​​的适配器。​

​Mellanox-EN1 40GigE 2.40.5030+EMC1090111023 [node#]​

​ ​

​如果问题 Mellanox 适配器列为以下版本，则​​不正确​​的适配器​

​安装在节点中：​

​Mellanox0 Network 2.40.5030+EMC0000000004 [node#}​

​ ​

​标识：​

​EMC1090111023 is a Mellanox MCX314A - 40Gb Ethernet card​

​EMC0000000004 is a Mellanox MCX354A-FCBT - FDR Infiniband VPI card​

​ ​

​将此部件： 105-001-013-00​

​Mellanox Dual 40GbE/IB VPI card​

​ ​

​更换为正确的部件： 105-000-492-00 ​

​FE 2X40GbE (QSFP+) Mellanox MCX314A-BCC​

​ ​

​ ​

​ ​

​ ​

​解决方案：​

​如果将不正确的适配器卡更换为正确的适配器，则应该可解决该问题。 ​

​ ​

​ ​

​ ​

​ ​

​ ​

​ ​

​ ​

​ ​

​备注：​

​参考资料：​
​支持和部署服务产品支持公告 EMC Isilon 第 6 代平台 A200、A2000、H400、H500、H600 和 F800​
​部分：9.0 部件和物流信息：第 8 页​
​https://support.emc.com/docu84749_Isilon-Gen6-Platforms-Product-Support-Bulletin.pdf?language=en_US​

​105-000-492-00 2X40GbE (QSFP+) Mellanox FRU​
​105-000-711-00 2X40GbE (QSFP+) Mellanox FRU​
​105-000-844-00 2X40GbE (QSFP+) Mellanox FRU​

​Mellanox VPI​
​https://www.mellanox.com/related-docs/products/IB_Adapter_card_brochure.pdf​
​通过提供虚拟协议互连® (VPI)，Mellanox HCA 可在同一适配器中为 InfiniBand 和以太网协议提供连接灵活性。​

​虚拟协议互连 VPI 灵活性使任何标准网络、群集、存储和管理协议可以在任何融合网络上无缝运行，从而可利用整合软件堆栈。每个端口都可以在 InfiniBand 或以太网结构上运行，并支持基于 InfiniBand 的 IP (IPoIB) 和基于融合以太网的 RDMA (RoCE)。VPI 可简化 I/O 系统设计，使 IT 经理更轻松地部署可应对动态数据中心挑战的基础架构​
​ ​

​ ​

​主要产品：​

​Isilon Gen6​

​ ​

​产品：​

​Isilon Gen6、Isilon H500、Isilon OneFS​

​ ​