kenji_yasui

1 Rookie

•

21 メッセージ

1

2281

2021年2月9日 03:00

IsilonianTech 第14回超簡単！ファイルサーバアセスメント～Live Optics Dossier～

みなさま、いかがお過ごしでしょうか？
いきなりですが、Live Opticsというソフトウェアをご存知でしょうか？Live OpticsはDell Technologiesが提供している無料のアセスメントソフトウェアで物理サーバや仮想サーバのインベントリおよび性能情報を収集できるOptical Primeと、ファイルサーバのファイル特性の可視化を行うことができるDossierがあります。今回はLive Optics Dossierについてご紹介します。

Live Opticsは、アカウント登録を行うことによって無料でご利用頂くことができます。また、アセスメントの結果はPowerPoint形式で出力されますので、そのまま稼働状況として報告したりプレゼン資料に盛り込むことができますので非常に便利な製品です。
# 他にも、Live Optics Personal Edition（Live Optics PE）というアカウントの登録無しでダウンロードおよび実行可能なエディションもありますが、Live Optics Optical Primeの限定された機能のみ実行可能で出力もExcelのみです。）

こちらをご参照ください。>

今回Live Optics Dossierをご紹介する背景として、お客様から「現在利用しているファイルサーバを手軽に可視化したい」という相談を頂くことがあります。恒久的なソリューションとしては以前ご紹介したDataIQを使うのが良いのですが、DataIQはDataIQサーバを構築する必要があり他社製ストレージの場合はスキャンするだけでもライセンス費用が発生しますので、ワンショットで手軽にアセスメントというわけにはいきません。
その点Live Optics Dossierはインストール不要で、Windows（NTFS）、Linux（各種ファイルシステム）、SMB、NFSに対応したストレージであればベンダ問わずアセスメントすることができます。Live Optics Dossierは検出から収集、レポート生成までを簡単なオペレーションで提供します。

非構造化データは世界で最も急速に増加しているカテゴリの1つです。お客様のほうでファイルサーバを可視化したいというニーズは様々な思惑がありますが、現状のファイルサーバをより性能が良くコストパフォーマンスに優れたものにしたいというのが一番の理由かと思います。Live Optics Dossierでファイルサーバ内のファイル特性を把握し、ホットデータ（頻繁に利用や参照されているファイル）やコールドデータ（参照されていないファイル）の割合、圧縮や重複排除の有効性を可視化することでインサイト（洞察）を得ることができます。その後、重複排除が効きそうであれば重複排除機能を有効にしたりコールドデータに関してはアーカイブを検討したりと無秩序になりがちな非構造化データを戦略的に管理できるようになります。

例えば企業に存在する身近な非構造化データであるOA系のファイルサーバは70%がコールドデータであると言われていますので、使われていないデータを容量単価が優れているストレージにアーカイブすることによってストレージ全体のコストを抑えることができるようになります。データファーストにおいてデータは企業の重要な財産ですが全てのデータを同じコストで管理する必要はありません。（PowerScaleであれば自動階層化機能によりファイル単位でアーカイブや不必要な拡張子のファイルを保管できないようにフィルタリングすることも可能ですのでシステム更改の際には是非ご検討ください！）

では、早速Live Optics Dossierの使いかたを見ていきたいと思います。
# Live Optics Dossierはファイルサーバの性能情報は取得しません。ファイルサーバの性能情報を取得したい場合は別途Live Optics（LiveOptics.exe）を実行し取得する必要があります。

Live Optics Dossierの使いかた

1. Dossier（Collector）のダウンロード
はじめに、Live Optics Dossierのソフトウェア（Collector）をダウンロードします。ダウンロードはLive Opticsのサイトにログインする必要がありますのでLive Opticsのアカウントが無い場合は、先にhttps://www.liveoptics.com/にアクセスしてアカウントを作成してください。Live Optics Dossier Collectorは、ログイン後に画面左のメニューから、[Collector] -> [Dossier]と辿るとcollectorのダウンロード画面が表示されます。（下記参照）

Windows版とLinux版共に、画面[① Download, extract and run the collector.]のところにある「Download」アイコンからダウンロードができますので、環境に合うほうを選択してダウンロードしてください。（今回はWindows版を例にご説明します。）
LiveOpticsDossier.zipのダウンロードが完了したらzipファイルを任意の場所に展開します。

2. Dossier（Collector）の実行
次に展開したフォルダの中にあるLiveOpticsDossier.exeを実行します。（インストール不要のアプリケーションです。）
Collectorは検出（設定）と収集の2つの機能があり、収集が完了すると数十KBの小さなファイルが生成されます。その後に生成されたファイルをLive Opticsのサイト（Dossierをダウンロードした画面）に手動でアップロードします。なお、Live Optics Dossierは他のLive Opticsソフトウェアとは違いライブストリーミング（リアルタイムにデータを転送する方式）をサポートしていないため、Collector実行後に生成されたファイルをLiveOpticsのポータルに手動でアップロードする必要があります。

Collectorは各ファイルのパスやファイル名などは抜き取らないですしファイル自体も暗号化されておりセキュリティ面でも安全です。（Collectorを実行したホスト名のみレポートの表紙やフッターで使用されます。）

Filesystems
[Filesystems（ファイルシステム）]タブでは、Dossierがスキャンするファイルシステムを選択します。
表示されている各ドライブ（ローカルまたはネットワークドライブ）にチェックを入れるか、[Custom Paths]の[New path:]にパス（UNC名）を入れることでスキャン対象にすることが出来ます。

また、予めパスのリストをテキストファイル形式で作成しておき[Import Text List]からインポートすることも出来ます。テキストファイルを作成する際は、1行毎にパスを指定する必要がありますのでパス毎に改行します。なお、"#"で始まる行はコメントとして無視され、空の行やスペースのみで構成される行は無視されます。[Custom Paths]（テキストファイルのインポート含む）で登録できるパスの最大数は20です。

検出対象の設定が完了したら「Next」をクリックします。

[ファイルシステム]タブ（検出範囲の指定）

Scan Options
次に[Scan Options（スキャンオプション）]タブの設定です。ここではスキャン対象のファイルが圧縮や重複排除が効くか有効性をチェックするか否かの設定を行います。圧縮や重複排除の有効性のチェックはデフォルトでは無効です。圧縮率をチェックする場合はファイルの先頭64KBを読み取りデータの圧縮率をテストします。この際、既に圧縮済みのファイル（圧縮ファイルの拡張子）についてはスキャンされません。また、デフォルトではファイル全体の5%に対してテストを行います。ファイルの特性が異なる場合はスキャンの割合を増やすと見積もりの精度が向上しますが、スキャン時間とファイルシステムの負荷も増加しますのでご注意ください。

重複排除率のチェックはファイルの先頭10MBを読み取りファイルの重複があるかを判断します。この操作を実行すると全体的なスキャン時間とファイルシステムの負荷が大幅に増加します。また、重複排除スキャンを実行するときはDossierに最低4GBのメモリを割り当てることをお勧めします。

[Advanced Collector Settings]では、Collectorに割り当てるメモリやスレッド数の最大値を設定することができます。基本的にデフォルトで問題ありませんがリソースの余裕を見て調整ください。

設定が完了したら「Next」をクリックします。

<[スキャンオプション]タブ（圧縮、重複排除の実行有無、メモリ、スレッド数の設定）>

Scanning Window
続いて[Scanning Window（スキャンウィンドウ）]タブの設定です。
Collectorはデフォルトではファイルのメタデータのみスキャンしますので低負荷ですが、圧縮や重複排除の有効性のチェックを行うとファイルシステムに負荷がかかります。（アンチウィルスソフトでのスキャンに似たワークロードとなります。）

スキャンウィンドウを設定することによりCollectorに制限をかけ、業務時間中のスキャンの負荷（影響）を抑えることができます。但し収集するペースが落ちますので完了するまでに時間がかかります。

設定が完了したら「Begin Scan」をクリックします。

<[スキャンウィンドウ]タブ（検出対象に負荷を与えないようにスケジュールで制限）>

Dossier Collecting
収集フェーズでは、指定したファイルシステムに対して以下のファイル特性をもとにデータを収集します。
・ファイルの作成日、最終更新日、最終アクセス日
・ファイルの種類（拡張子）
・ファイルサイズ、ファイル数
・圧縮および重複排除の可能性（オプション）

凡そ1分で500GB程度スキャンできますので圧縮と重複排除の有効性のチェックを実行しなければ、30TB程度の容量であれば1時間くらいでスキャンが完了します。スキャン速度は環境に依存しますので1分で500GBより早い（もしくは遅い）場合があります。（私が実施した環境では1分で500GB以上スキャンができました。なお、圧縮と重複排除の両方をチェックした場合はメタデータのみのチェックに比べて5倍程度時間を要しました。）

先ずはLive Optics Dossierの特性をご理解頂くのが良いと思いますので、いきなり全データをスキャンするのではなく、dry run的に小さな領域に対してスキャンを行いリソースの消費状況やスキャン速度を把握されることを推奨します。

選択した各パスのStatusが全て[Completed]になると収集が終了した旨のポップアップが表示され、実行したLiveOpticsDossier.exeのフォルダに[LiveOpticsDossier_<実行ホスト名>_<日時>.dossier]ファイルが生成さます。無事に.dossierファイルが生成されていれば収集フェーズは完了です。

3. レポートの生成
続いてLive Opticsのサイトを用いてレポート生成をしていきます。
生成された[LiveOpticsDossier_<実行ホスト名>_<日時>.dossier]ファイルをLive Opticsのサイトにアップロードします。

Dossierサイトの[② Upload the Dossier file to create the reports.]の「Browse for Dossier File」にファイルをアップロードすると、[③ Select the level of report detail.]および[④ Enter contact information.(Optional)]が表示されます。

[③ Select the level of report detail.]では、PowerPointのレポートを生成する際の[Executive　Summary]もしくは、[Full Report]が選択できます。なお、どちらを選択してもExcelレポート（収集した生データ）が付属します。[④ Enter contact information.(Optional)]は、PowerPointの表紙に名前とメールアドレスを埋め込みたい場合は入力してください。

最後に[Create Reports]をクリックすると僅か数秒でレポートが生成されます。

レポートのサンプル

実際に弊社内のPowerScaleや、お客様のファイルサーバで取得したレポートのイメージを幾つかご紹介します。（もちろん機密情報は含まれておりませんのでご安心ください。）
なお、こちらからサンプルのレポート（PowerPointとExcel）のダウンロードが可能です。

Paths Scanned
スキャンしたパス（ファイルシステム）毎のファイル数および容量が表示されます。
お客様のファイルサーバでネットワークドライブ（Q:）にスキャン頂いたところ、ファイル数が約5,100万で総容量が約29TBでした。

Compressibility
圧縮の有効性の判断を実施した場合のみ本レポートが生成されます。
こちらの例は我々UDS事業本部のSEがテスト用として利用しているPowerScaleに対して実施した結果となります。ちなみに、このPowerScaleは圧縮も重複排除も有効にしておりません。
総ファイルサイズは約16TBになるのですが、今回は2.1TBのファイルに対してチェックを行い1.74TBに圧縮可能（圧縮率17.1%）という結果なりました。仮に全ファイル（総容量16TB）に対して17.1%の
圧縮が効いた場合は13.42TB（16TB --> 13.42TB）という結果が出ました。

De-duplication
重複排除の有効性の判断を実施した場合のみレポート生成されます。
こちらの例も我々UDS事業本部のSEがテスト用として利用しているPowerScaleに対して実施した結果となります。
今回は11.66TBのファイルに対してチェックを行い重複排除を行うことにより8.65TB（重複排除率25.8%）になるという結果なりました。仮に全ファイル（総容量16TB）に対して25.8%の
重複排除が効いた場合は11.84TB（16TB --> 11.84TB）という結果が出ました。

なお、圧縮率や重複排除率はあくまでも予測値なのと、ストレージによってアルゴリズムも異なりますので、その点はご了承ください。

Top File Categories by Size
こちらはファイルの種類毎に分類した場合の容量トップ5です。
ファイルの種類毎にファイル数およびファイルの総容量が確認できます。スキャン頂いたのは、一般的なOA系の用途で利用されているファイルサーバでしたのでスプレッドシート（Excel）や、イメージファイル、PDFなどが多く全体の71%を占めていることがわかりました。

Top File Extensions (Top 10 Extensions by Size)
拡張子毎による容量トップ10です。拡張子毎にファイル数、占有率、ファイルの総容量が確認できます。今回スキャンしたことにより、PSTファイル（Outlookのデータファイル）が多く保存されていることがわかり、セキュリティ面やMicrosoft社がファイルサーバ上にPSTファイルを配置することはサポートしていないので削除したいとお話されておりました。

また、11位以下のリストを確認したい場合はPowerPointと同時に生成されたExcelファイルで確認可能です。トップ10には入りませんでしたがExcelファイルを確認したところ現在は利用されていないNSFファイルなども確認ができました。

なお、これと似たレポートで拡張子毎によるファイル数トップ10もあります。

File Sizes
ファイルサイズとファイル数のグラフです。どのくらいのサイズのファイルが何ファイル存在しているかを確認するのに役立ちます。

Files Accessed Details
ファイルのアクセス日時をもとにアクセス（参照）されていないファイルが、どのくらい存在しているかを確認するのに役立ちます。
仮に1年以上参照していないファイルをコールドデータと定義するのであれば、総容量29TBのうち22TBがコールドデータとなります。ホットデータ、コールドデータが適切なストレージに配置されているかを確認しファイルの自動階層化に対応したストレージ（PowerScale）を検討されても良いかもしれません。

これと似たレポートで、作成日時や更新日時をもとにしたレポートもあります。

File Consumption by Accessed Date
アクセス日時毎によるファイル容量のグラフです。先程と同様に1年以上参照していないファイルをコールドデータと定義するのであれば全体の約76%がコールドデータとなります。

これと似たレポートで、作成日時や更新日時毎のレポートもあります。

以上、Live Optics Dossierのご紹介でした。

その他

対応するファイルシステムとOSバージョン

	ローカルファイルシステム	CIFS/SMBファイル共有	NFSエクスポート
Dossier Windows Collector	○（NTFS）	○	✕
Dossier Linux Collector	○（各種ファイルシステム）	✕	○