OneFS 嘗試使用 Apache Hadoop YARN 節點標籤功能失敗

摘要: OneFS 嘗試使用 Apache Hadoop YARN 節點標籤功能失敗

本文章適用於 本文章不適用於 本文無關於任何特定產品。 本文未識別所有產品版本。

症狀



問題

嘗試使用 Apache Hadoop YARN 節點標籤功能時,動作會失敗,且 OneFS 會產生錯誤訊息。


症狀

嘗試在 OneFS 7.2.1.x 和 Apache Hadoop 2.7 上使用 YARN 節點標籤功能時,使用者可能會收到 -appendToFile:嚴重的內部錯誤訊息。
 

環境

OneFS 7.2.1.x 和 Hadoop 2.7

原因

原因

默認情況下,Hadoop 將節點標籤資訊存儲在 HDFS 集群上的目錄中。  Isilon OneFS 7.2.1.x 無法辨識從 Hadoop 2.7 傳送的 appendtofile 參數,並且可能會在使用者嘗試使用 YARN 節點標籤功能時產生錯誤。

解析度


解析度

若要解決此問題,請執行下列其中一項操作:
  • OneFS 7.2.1.2

    • 實施下面提供的解決方法
  • OneFS 7.2.1.1

    • 請先套用修補程式 164059,然後再實作下列因應措施

因應措施

實施以下因應措施,以手動建立和使用位於 OneFS 叢集而非 HDFS 叢集上的 YARN 節點標籤目錄。  注意:如果 已在 GitHub 上運行isilon_hadoop_tools腳本,則無需遵循此解決方法,因為腳本會自動創建正確的目錄並授予許可權。

第 1 步。準備 OneFS 以儲存節點標籤資訊
在 OneFS 叢集上執行下列步驟。
注意:在下列程序中,HDFS_ROOT_DIR 是指 OneFS 叢集上的 HDFS 根目錄。

  1. 在 OneFS 上建立新目錄以代管節點標籤儲存區。
    • mkdir -p HDFS_ROOT_DIR/system/yarn/node-label
  2. 確認用戶紗線存在。注意:如果您尚未創建名為 yarn 的使用者,請立即創建一個。  如需建立使用者的相關資訊,請參閱 Isilon OneFS CLI 管理指南的管理本機使用者與群組一節。
    • isi auth 使用者清單
  3. 使用戶成為新目錄的所有者。
    • 喬恩紗線HDFS_ROOT_DIR/系統/紗線/節點標籤
  4. 更改目錄的許可權級別以允許擁有者讀取、寫入和執行。
    • Chmod 700 HDFS_ROOT_DIR/系統/紗線/節點標籤
 
(選擇性)第 2 步:直接使用 Apache Hadoop,將節點標籤資訊儲存在 OneFS 上
在 HDFS 叢集上執行下列步驟。
  1. 使用瀏覽器登入 HDFS 叢集上的 Ambari Manager。
  2. 在 Ambari 儀表板的頂部橫幅中,按一下 服務
  3. 在左側面板中,按一下 YARN
  4. 一下設定 標籤。
  5. 按一下 設定 標籤。
  6. 「YARN 功能」下,確認節點標籤已啟用。
  7. 按一下儲存
  8. 按一下 「進階 」標籤。
  9. 展開「高級紗線網站」部分。
  10. yarn.node-labels.fs-store.root-dir 欄位中,確認已列出預設的 /system/yarn/node-labels。
  11. 按一下儲存

其他資訊

其他資訊

Hadoop 2.7 問題的 Apache 資訊:


issues.apache.org/jira/browse/HDFS-9290如何使用 Yarn 節點標籤功能的 Apache 文件:


hadoop.apache.org/docs/stable/hadoop-yarn/hadoop-yarn-site/NodeLabel.htmlHortonworks 有關如何使用 Yarn 節點標籤功能的文件:
docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.4.2/bk_yarn_resource_mgt/content/ch_node_labels.html  

受影響的產品

Isilon

產品

Isilon
文章屬性
文章編號: 000052203
文章類型: Solution
上次修改時間: 26 3月 2025
版本:  4
向其他 Dell 使用者尋求您問題的答案
支援服務
檢查您的裝置是否在支援服務的涵蓋範圍內。