1 Rookie
•
15 メッセージ
0
23
DDVE on Cloud（メタデータサイズについて)
過去のコミュニティも確認させていただきましたが、認識できない箇所があり質問させていただきます。
質問箇所多いですが、類似内容であるためご了承ください
サイトより確認し、一般的には、全データ量の10%をブロックストレージに確保して、DDVEのファイルシステムのメタデータ（DD Filesystem Metadata）を管理すると読み取ってます。ただ、16TBの10%が約1.6TBとしても上限としては2TBという認識ですので拡張としての上限として気になっています。また、前提として、10倍（10x）の重複排除（データの圧縮）を前提としていると見受けられますが、DDは場合によって、結果的に40,50倍と重複排除がきく事があります。
文書から読み取ると”ファイルレプリケーションなどの場合多く起こるような内容と記載しているように見えますが、
1.
この10%という圧縮はDD Boostが働かない環境などDDVE側で圧縮、重複処理が発生する場合に気を付ける事でしょうか。（結果的に40,50倍の重複排除というのもあるため)
2.
DD Boost環境で、アプリケーション側、バックアップサーバー側等で圧縮等がかかる場合は影響が少ないという認識でよろしいでしょうか。（そもそも重複排除/圧縮されたデータがくるので細い回線でも良い認識）
3.
また、同様にDDVE間のレプリケーションであればあまり気にする範囲は少なるのでしょうか。（上記同様)
4.
因みにDD3300などの場合はこのメタという概念や確保している容量などあるものでしょうか。
よろしくお願いいたします。
https://www.dell.com/community/ja/conversations/%E3%82%B9%E3%83%88%E3%83%AC%E3%83%BC%E3%82%B8-%E3%82%B3%E3%83%9F%E3%83%A5%E3%83%8B%E3%83%86%E3%82%A3/ddve-for-aws%E3%83%A1%E3%82%BF%E3%83%87%E3%83%BC%E3%82%BF%E3%81%A8s3%E9%A0%98%E5%9F%9F%E3%81%AB%E3%81%A4%E3%81%84%E3%81%A6/647f9ebdf4ccf8a8de366404
https://www.dell.com/support/kbdoc/ja-jp/000055464/data-domain-data-domain-virtual-edition-ddve-which-are-cloud-deployed-atos-may-run-out-of-local-metadata-storage?lang=en
Uehara Y.
Community Manager
Community Manager
•
5.1K メッセージ
0
2024年10月1日 06:03
DD Boostの処理という観点からは、重複排除率が高くなっても問題はありません。
重複排除率が高くなると、バックアップサーバ等からDDVEに送信するデータ容量が少なくて済むので細い回線でも効率的にバクアップデータを作成することができるでしょう。
DDVEの観点からは、重複排除率が高くなると全体のドライブ利用容量効率は上がりますが、メタデータは増えていくことが考えられます。
例えば極端な例として、1億個の同じファイルが1億の異なるユーザ（ホスト）からDDVEに保存されるとします。その場合にはDDVE内に保存しなくてはいけないデータ容量は1つのファイル分のデータとなるので重複排除率は1億倍に「近い値」となることが想定されます。
この「近い値」という表現が出てくるのは、ファイル自体は同じものでもそのファイルを保存しているユーザやタイムスタンプの属性が異なるためです。1億のユーザそれぞれが保存した時点の情報のままでリストアしないといけないので、それぞれのユーザ（ホスト）の属性をメタデータとして保存しており、そのためにそのひとつひとつの容量は非常に小さいのですが、1億ユーザ（ホスト）分の情報を保存しておく必要があります（メタデータにはこのような属性データに加えてどのチャンクを組み合わせて元のファイル情報に戻すのかというデータも含まれますが、そのデータは1億ユーザで同じ1つのものを利用可能です）。
SNIA Japanが出しているストレージ初学者のためのホワイトペーパー P.42 8.3 重複排除セクションに記載があるWordフォーマットに関する記述が良い例になると思うのですが、ファイルレプリケーションの場合は対象ファイルの中に同じブロックを持つものが多く存在する可能性が高いためにそのような記載がされていると考えられます。
Uehara Y.
Community Manager
Community Manager
•
5.1K メッセージ
0
2024年9月26日 00:22
はい。DD Boostの利用有無に関わらずDDVE側で気を付けてください。
メタデータはDDVE内に保存されたデータに関するデータであり、バックアップサーバー等からデータ送信される場合の処理とは関係ありません。
DD Boostはバックアップサーバ等からバックアップデータをDDVEに送信する際に、既にDDVE内に存在しているチャンク（＝小さなデータブロック）情報を読み取り、DDVE内にまだ存在していないチャンクのみをDDVEに対して送信する機能です。つまりDDVE内で実施するべき重複排除処理の一部をバックアップサーバ等にオフロードしており、その結果バックアップサーバ等からDDVEへと送信するデータ量を削減することを可能としています。
レプリケーションに関してもメタデータ容量とは直接の関係はないために、レプリケーションの有無を気にする必要はありません。
はい。DDOSに関連している概念なので、DD3300でも同様です。
メタデータがないと、複数チャンク（＝小さなデータブロック）に分かれて保存されているデータを再構築して、それぞれのファイルデータとして復元することができなくなってしまうので、すべてのData Domainシステムがメタデータを持っています。
iRyu
1 Rookie
1 Rookie
•
15 メッセージ
0
2024年10月1日 03:59
ありがとうございます。
DD Boostの利用有無に関わらずDDVE側となる という事となると、"10倍（10x）の重複排除（データの圧縮）を前提"となると、場合によって50倍ぐらいの重複排除となる事があるので、10倍の重複排除の前提を大きく上回る可能があるのですが、問題ないのでしょうか。
また、”ファイルレプリケーションなどの場合多く起こるような内容”とあったのですが、なぜファイルレプリケーションの場合が可能性が高くなるのでしょうか。 よろしくお願いいたします