OneFS 嘗試使用 Apache Hadoop YARN 節點標籤功能失敗
摘要: OneFS 嘗試使用 Apache Hadoop YARN 節點標籤功能失敗
本文章適用於
本文章不適用於
本文無關於任何特定產品。
本文未識別所有產品版本。
症狀
問題 |
嘗試使用 Apache Hadoop YARN 節點標籤功能時,動作會失敗,且 OneFS 會產生錯誤訊息。
嘗試在 OneFS 7.2.1.x 和 Apache Hadoop 2.7 上使用 YARN 節點標籤功能時,使用者可能會收到 -appendToFile:嚴重的內部錯誤訊息。 |
環境 |
| OneFS 7.2.1.x 和 Hadoop 2.7 |
原因
原因
默認情況下,Hadoop 將節點標籤資訊存儲在 HDFS 集群上的目錄中。 Isilon OneFS 7.2.1.x 無法辨識從 Hadoop 2.7 傳送的 appendtofile 參數,並且可能會在使用者嘗試使用 YARN 節點標籤功能時產生錯誤。解析度
解析度
若要解決此問題,請執行下列其中一項操作:
-
OneFS 7.2.1.2
- 實施下面提供的解決方法
-
OneFS 7.2.1.1
- 請先套用修補程式 164059,然後再實作下列因應措施
因應措施
實施以下因應措施,以手動建立和使用位於 OneFS 叢集而非 HDFS 叢集上的 YARN 節點標籤目錄。 注意:如果 已在 GitHub 上運行isilon_hadoop_tools腳本,則無需遵循此解決方法,因為腳本會自動創建正確的目錄並授予許可權。
第 1 步。準備 OneFS 以儲存節點標籤資訊
在 OneFS 叢集上執行下列步驟。
注意:在下列程序中,HDFS_ROOT_DIR 是指 OneFS 叢集上的 HDFS 根目錄。
- 在 OneFS 上建立新目錄以代管節點標籤儲存區。
- mkdir -p HDFS_ROOT_DIR/system/yarn/node-label
- 確認用戶紗線存在。注意:如果您尚未創建名為 yarn 的使用者,請立即創建一個。 如需建立使用者的相關資訊,請參閱 Isilon OneFS CLI 管理指南的管理本機使用者與群組一節。
- isi auth 使用者清單
- 使用戶成為新目錄的所有者。
- 喬恩紗線HDFS_ROOT_DIR/系統/紗線/節點標籤
- 更改目錄的許可權級別以允許擁有者讀取、寫入和執行。
- Chmod 700 HDFS_ROOT_DIR/系統/紗線/節點標籤
(選擇性)第 2 步:直接使用 Apache Hadoop,將節點標籤資訊儲存在 OneFS 上
在 HDFS 叢集上執行下列步驟。
- 使用瀏覽器登入 HDFS 叢集上的 Ambari Manager。
- 在 Ambari 儀表板的頂部橫幅中,按一下 服務。
- 在左側面板中,按一下 YARN。
- 按 一下設定 標籤。
- 按一下 設定 標籤。
- 在 「YARN 功能」下,確認節點標籤已啟用。
- 按一下儲存。
- 按一下 「進階 」標籤。
- 展開「高級紗線網站」部分。
- 在 yarn.node-labels.fs-store.root-dir 欄位中,確認已列出預設的 /system/yarn/node-labels。
- 按一下儲存。
其他資訊
其他資訊
Hadoop 2.7 問題的 Apache 資訊:
issues.apache.org/jira/browse/HDFS-9290如何使用 Yarn 節點標籤功能的 Apache 文件:
hadoop.apache.org/docs/stable/hadoop-yarn/hadoop-yarn-site/NodeLabel.htmlHortonworks 有關如何使用 Yarn 節點標籤功能的文件:
docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.4.2/bk_yarn_resource_mgt/content/ch_node_labels.html
Hadoop 2.7 問題的 Apache 資訊:
issues.apache.org/jira/browse/HDFS-9290如何使用 Yarn 節點標籤功能的 Apache 文件:
hadoop.apache.org/docs/stable/hadoop-yarn/hadoop-yarn-site/NodeLabel.htmlHortonworks 有關如何使用 Yarn 節點標籤功能的文件:
docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.4.2/bk_yarn_resource_mgt/content/ch_node_labels.html
受影響的產品
Isilon產品
Isilon文章屬性
文章編號: 000052203
文章類型: Solution
上次修改時間: 26 3月 2025
版本: 4
向其他 Dell 使用者尋求您問題的答案
支援服務
檢查您的裝置是否在支援服務的涵蓋範圍內。