ECS解説 第15回　ECS バージョン3.7のご紹介

皆様、こんにちは。

今年のゴールデンウィークはどのようにお過ごしになられたでしょうか。平日の5月2日と6日にお休みを取得された方には久しぶりの大型連休を、そうでない方もコロナ対策措置のない3年ぶりのゴールデンウィークを満喫されたかもしれません。

デル・テクノロジーズは毎年この時期にデル・テクノロジーズ・ワールド（DTW）を開催しており、今年は3年ぶりのオンサイト開催ということで多数のお客様が開催地のラスベガスに集われたそうです。併せて、オンラインでもコンテンツを提供させていただき、私もこのゴールデンウィークの中、いくつか気になるコンテンツを視聴しておりました。

お陰様でオブジェクトストレージも以前よりわずかですが露出が増えたと感じた今回のDTWでしたので、社内の情報もさらに収集して、今後のブログのトピックとして取り上げていきたいと思います。

今回はECS バージョン3.7についてご紹介をしたいと思います。このバージョンは2月下旬にリリースされております。ほぼ同時にECS3.6.2と同様にCommunity EditionもOVA形式でGitHubにて公開されております。このCommunity Editionの導入手順は、ECS3.6.2と同様にECS3.7もインストールできましたので過去の記事を参考にお試しいただければと思います。（参考: ECS解説第11回 Community Edition 最新版（v3.6.2.0）リリースのご案内 - Dell Community）

2月にリリースされたV3.7.0.0は、主に下記のような拡張を含んでおります。

• ソフトウェア
  1. ECS S3 Select
  2. メタデータ検索のトークン化
• ハードウェア
  1. EX500での2TB, 4TBディスクのサポート
  2. 同一VDC内でのHDD搭載ノードとSSD搭載ノードの混在構成のサポート
  3. 大型ECSノード EX5000S、EX5000Dのサポート

 

ECS S3 Selectについて

Amazon S3で2018年からサポートされているS3 SelectがECSでもサポートされることになりました。バケット内に保管されているオブジェクトファイルの内部をSQLで検索して条件に合致するデータ行をリストアップすることができる機能です。対象のオブジェクトファイルはCSV、JSONまたはParquetフォーマットで記述されたテーブル型のデータファイルになります。HiveやSparkから大量のデータセットをフィルタリングして処理をする際に、該当のデータセットを含むオブジェクトファイルをECSのバケットに保管し、S3 Selectを使用し「クエリープッシュダウン」にてコンピュートノードで条件に合致するデータのサブセットを検索する代わりにECS側に抽出処理をオフロードし、抽出されたサブセットデータのみを使用して後続処理を行うことが可能です。

ただし、S3 Selectを使用するためにハードウェア要件があり、ECSの各ノードが192GBのメモリを搭載していないと機能がイネーブルになりません。現在リリースされているEXF900、またはこの後にご紹介するEX5000シリーズがこの機能が利用可能なノードになります。この機能をテストしてみようと思いましたが、テストに使用できる機材がなく、残念ながら結果をご報告できません。

メタデータ検索のトークン化

メタデータ検索（Metadata Search）については、ECS解説第4回にも説明をしておりますので、どのような機能か詳しくお知りになりたい方は、下記のリンクからご確認ください。

ECS解説第4回 s3curlによるECSの操作について(2/2)

今回のアップデートで検索キーとして登録したメタデータの値が3つ以上複数に分かれ、かつ場合によっては複数の値がセットで設定されることがある場合、複数の値で検索することができるようになりました。

わかりにくいので、例を挙げて説明したいと思います。

あるオブジェクトファイルに記載されている言語をメタデータとして付与し、検索キーとした場合を想定します。オブジェクトファイルを一つ一つ確認せずにメタデータだけでどの言葉で書かれているかわかるようになりますし、メタデータ検索で、特定の言語で記述されたオブジェクトファイルを一覧にすることができます。

例）

検索キー: x-amz-meta-lang

キー値: 日本語/英語/米語/仏語/独語/ハングル/簡体字/繁体字

オブジェクトファイルの記述言語が二国語や三か国語で記述されている場合、キーの値は複数の言語（例えば、日本語、仏語、独語）がセットされることもあり得ます。

このような場合、「仏語」と「独語」いずれか、または両方の言語がメタデータの値としてセットされているオブジェクトファイルを見つけられると、便利な場合があります。今回の拡張ではこのような複数の値（仏語、独語）で検索し、「仏語」または「独語」の値がセットされたオブジェクトファイルや「仏語、独語」の両方がセットされたオブジェクトファイルが検索できるようになりました。

実際の動作は今後の回でご紹介したいと思います。

 

EX500での2TB, 4TBディスク、EXF900での15.4TB NVMe SSDのサポート

これまではEX300でのみサポートしていた2TBまたは4TBのSATAディスクをEX500でもサポートすることができるようになりました。ノード毎に搭載できるディスクの本数は12本または24本を選択できますので、EX300なみの小容量からスタートし、かつノード数を増やさずに容量の増設ができるなど導入後の増設案にも幅が広がります。

また、EXF900では従来の3.84TB, 7.68TBに続いて、15.36TBの容量を持ったNVMe SSDをサポートしました。よりフットプリントの小さい、高速なオブジェクトストレージの実装が可能になりました。

 

同一VDC内でのHDD搭載ノードとSSD搭載ノードの混在構成のサポート

例えばSATAベースのEX500のストレージプール（5ノード以上）とNVMe SSDベースのEXF900（5ノード以上）のストレージプールを同一のVDCとしてまとめSATAとNVMe SSDの混在したVDC内にバケットを作成することができるようになりました。

 

大型ECSノード EX5000S、EX5000Dのサポート

5Uの筐体ですが、1筐体に1コンピュートノードのモデルまたは2ノードのモデルの2種類の構成があり、いずれも筐体内の搭載できるディスクが最大100本（EX5000S の場合、筐体内に25本/50本/75本/100本、EX5000Dの場合、50本/100本）まで構成可能な集約モデルです。

• サポートディスクタイプ：16TB SATA
• ノード毎CPU：28コアx2
• DRAM：192GBメモリ
• メタデータキャッシュ：960GB SSDキャッシュx 2
• ネットワークインターフェース
  • フロントエンド 25Gbps x 2
  • バックエンド 25Gbps x 2

ECS EXシリーズの中ではCPU・メモリとも最も充実したモデルになります。なお、本製品は半導体不足などパーツ不足の影響もあり本格的な出荷までもう少しお時間を要します。

 

ECS V3.7は機能的には地味ながらハードウェアのバリエーションを広げるリリースとなりました。単なるデータアーカイブ領域としての利用だけではなく、最近お客様からもお問い合わせをいただくことが増えてきた、より広範なデータ活用を支援するストレージ利用としてオブジェクトストレージに接続するS3コネクタを採用する各種ツールに最適な規模のご提案をサポートできるようにECSを進化させるバージョンと言えるかもしれません。

ここまでお付き合いいただきありがとうございました。

また次回もよろしくお願いいたします。

 

杉本　直之

デルテクノロジーズ株式会社

UDS事業本部SE部