IsilonianTech 第16回 PowerScaleとデータアナリティクス～CDP編～

みなさまいかがお過ごしでしょうか？
本日は、Cloudera Data Platform Private Cloud BaseとPowerScaleについてご紹介いたします。

データはあらゆる場所で増加の一途をたどっています。データの価値を最大限に解き放つためにPowerScaleでは以前からCloudera社のエンタープライズデータ管理プラットフォームとの連携を行ってまいりました。

PowerScaleとの連携に関しては、以前「IsilonianTech 第7回 Isilonとデータアナリティクス～Cloudera編～」や「IsilonianTech 第10回 Isilonとデータアナリティクス～Isilon Ambari Management Pack～」でご紹介しましたが、今回新たにCloudera Data Platform Private Cloud BaseとPowerScaleにおいても従来のCDHやHDPと同様のことが出来るようになりました。

最新のCloudera Data Platformを利用することにより場所を問わずデータの取り込みから分析までのライフサイクル全体にわたって管理および保護が出来るようになりますが、爆発的にデータが増える環境下において更に運用効率を高めるというニーズに対しては、引き続きPowerScaleのマルチプロトコル、インプレースデータ分析、データ保護の簡素化、運用コストの低減などがお役に立てると考えております。

なお、2021年3月にはDell TechnologiesがCloudera社の全体的な成功にとって絶対的に重要なパートナであるというコメントと共に2021年 Global Partner of the Yearを受賞いたしました。

1. 事前準備（PowerScale設定など）

今回、私のほうで準備した環境はあくまでテスト目的ですのでOneFSシミュレータ1ノードとCloudera Data Platform Private Cloud Base用のLinux仮想マシン1台となります。なお、各製品のバージョンですが、Cloudera Manager 7.3.1、Cloudera Runtime 7.1.6、OneFS 8.2.2、PowerScale Custom Service Descriptor（CSD）1.0.0で確認しています。

PowerScaleの設定に関しては基本的に過去の内容と変わりませんので割愛いたします。また、PowerScale用の拡張機能であるPowerScale Custom Service Descriptorを利用するにあたりKerberized（ケルベロス化）が推奨となり（Apatch Rangerなど一部のサービスでは必須）PowerScaleおよびCloudera Data Platform Private Cloud Base共にKerberizedが必要になりますが、MIT KDCまたはActive Directoryの環境によってPowerScaleでの実装方法も異なってきますので、ここでは割愛いたします。

なお、最新の情報に関しては「Using Hadoop with OneFS Info Hub」をご参照ください。

2.isilon_hadoop_tools

isilon_hadoop_toolsに関しても過去にご紹介しましたが当時と比べて少しアップデートされています。以前ご紹介したisilon_hadoop_toolsはローカルユーザを作成する際、最初にスクリプトを生成してじゃらCDHやHDPのサーバとPowerScaleそれぞれで実行する必要がありました。
現在のisilon_hadoop_toolsはユーザ作成のコマンドを実行すると実行したサーバとPowerScaleの両方に同時にユーザを作成し、実行したディレクトリにスクリプトを残す動作になっています。また、pipxを使って簡単にインストールできるようになりました。（そしてCDPにも対応しました。）

[root@cdp ~]# python3 -m pip install --user pipx
[root@cdp ~]# python3 -m pipx ensurepath

[root@cdp ~]# pipx install isilon_hadoop_tools
  installed package isilon-hadoop-tools 4.1.2, Python 3.6.8
  These apps are now globally available
    - isilon_create_directories
    - isilon_create_users
done!

下記はPowerScaleに接続してユーザを作成するコマンドの例となります。（CDPで使用するAccess Zoneを指定します。）

isilon_create_users --dist cdp --zone zone1-cdp --onefs-user root --onefs-password <パスワード> --no-verify

Access Zoneで定義したルートディレクトリ配下に必要なディレクトリを作成します。

isilon_create_directories --dist cdp --zone zone1-cdp --onefs-user root --onefs-password <パスワード> --no-verify

なお、isilon_hadoop_toolsの使い方や詳細はGitHubをご参照ください。

3.PowerScale Custom Service Descriptorのインストール

次にPowerScale Custom Service DescriptorをCloudera Managerにインストールします。
PowerScale Custom Service Descriptorは、Cloudera ManagerからPowerScaleをHDFSとして設定したりOneFSの状態を確認することができます。
PowerScale Custom Service Descriptorは、こちらからダウンロード可能です。

既にCloudera Manager 7.3.1には/opt/cloudera/cm/csdディレクトリにISILON-7.3.1.jarというCustom Service Descriptorが入っていますがISILON-7.3.1.jarを削除してサポートサイトからダウンロードしたPowerScale-1.0.0.jarに入れ替えます。

ダウンロードしたPowerScale-1.0.0.jarを/opt/cloudera/cm/csd配下にコピーします。

[root@cdp ~]# ll /opt/cloudera/cm/csd/ISILON*
-rw-r--r-- 1 root root 5451  3月 13 00:40 /opt/cloudera/cm/csd/ISILON-7.3.1.jar

[root@cdp ~]# rm /opt/cloudera/cm/csd/ISILON-7.3.1.jar
rm: 通常ファイル `/opt/cloudera/cm/csd/ISILON-7.3.1.jar' を削除しますか? yes

[root@cdp ~]# cp /root/PowerScale-1.0.0.jar /opt/cloudera/cm/csd/
[root@cdp ~]# ll /opt/cloudera/cm/csd/PowerScale-1.0.0.jar
-rw-r--r-- 1 root root 79067  4月 20 19:23 /opt/cloudera/cm/csd/PowerScale-1.0.0.jar

4.Cloudera Managerの起動とクラスタの構築

実際にPowerScale Custom Service DescriptorをインストールしたCloudera Managerの画面を幾つかご紹介いたします。なお、ハードウェアリソースがあればOneFSシミュレータやPowerScale Custom Service Descriptorなどをダウンロードしてテスト頂くことは可能ですが、現時点（2021年4月23日）ではCloudera社のサイトからTrialダウンロード可能なCloudera Data Platform Private Cloud Baseは7.1.4ですので7.1.6の入手が難しいかもしれません。（もちろんサブスクリプションがあれば問題ないですが。）

Cloudera ManagerのURLにアクセスします。「ようこそ」画面が表示されますのでKerberized環境の場合は"here to setup a KDC"を選択して次へ進みます。

クラスタ名、ホストの選択などを行い「リポジトリの選択」画面で、Cloudera Runtimeが7.1.6であるか確認します。

JDKの選択、クレデンシャルの登録、エージェントインストール、環境の検査が終了すると「サービスの選択」画面になりますのでカスタムサービスを選択します。PowerScale Custom Service Descriptorが正常に機能しているとサービスのタイプに"DellEMC PowerScale"が表示されます。