ブログ原稿 https://www.dell.com/en-us/blog/dell-data-lakehouse/
筆者 Greg Findlen | 2024年3月18日
昨年10月、企業がAIのポテンシャルを最大限に引き出して、優れたビジネス成果を実現することを阻む課題について寄稿しました。その後もAIは台頭し続けており、AI戦略の成功にとって最も重要な要素の1つである「AI対応データ プラットフォーム」が、これまで以上に注目されています。
企業は、データの分散化、複数のレガシー システム、データ主権の懸念、クラウド上のデータのみを対象にしているクラウド ネイティブ アプリケーションなど数多くの課題が存在する環境に、現在も苦慮しています。Boston Consulting Group社の調査では、データリーダーの50%以上が、アーキテクチャーの複雑さは大きな障壁の1つで、組織に大きな煩雑さを強いているとともに、本来であれば回避できるはずのコストが発生し、価値実現までの重要な時間の損失につながっていると回答しています。
データを実務に活用しているユーザーは、困難な課題に直面しています。従来のデータ ウェアハウスでは、データが各社固有の形式に限定され、ユニバーサル アクセスを阻害しています。データレイクは信頼性とガバナンスに欠け、パフォーマンスも高くありません。そして、2層アーキテクチャーが提供するのは、ウェアハウスからの高品質だが古いデータか、レイクから提供される最新ではあるが信頼できないデータという、最適とは言えない2つの選択肢です。データ レイクハウスは、これらの課題を調整することを目的に登場しましたが、選択肢はまだ不十分です。 クラウド ソリューションには移行が必須ですが、大規模な移行には膨大なコストが伴います。オンプレミス ソリューションは、各社独自の旧来のテクノロジーが、柔軟性に欠ける硬直した環境につながっています。 そしてオープンソースは革新的ではあるものの、高い統合コストが伴います。
IT部門も、さまざまな課題に苦慮しています。 複数の異種データソースを信頼できる唯一の情報源（single source of truth、SSOT）に統合することは、終わりのない作業です。増え続けるデータ インフラストラクチャー ツールの管理は、リソースにとって大きな負担となります。複数のコンポーネントを監視することの複雑さは、シンプルな環境の必要性を強調しています。
お客様が、より良い答えを求めていることは明白です。また、データ グラビティーに逆らうことなく、データ グラビティーに沿ったものであることが必要で、シンプルな環境をもたらし、価値実現までの期間を高速化するものであるべきです。
本日は、デル・テクノロジーズが「Dell Data Lakehouse」の提供を開始したマイルストーンとなる日です。今回の最新ソリューションは、デル・テクノロジーズのAI最適化ハードウェアとフルスタック ソフトウェア スイートを基盤に構築され、Starburst社の強力で革新的なクエリ エンジンを搭載した、完全な統合データ プラットフォームを提供します。
Starburst社のCEO（最高経営責任者）、Justin Borgman氏は、次のように述べています。「デル・テクノロジーズが、ストレージとコンピュートのイノベーションをリードし続ける中、Starburstは誇りを持ってハイパフォーマンスなデータ レイクハウス アナリティクスのソリューションと専門知識を提供します。デル・テクノロジーズのストレージ テクノロジーがデータレイクの基盤を形成するように、Starburstはレイクハウスの動的エンジンとして機能し、単なるデータを実用的なインサイトへと調和させます。これらが合わさったのが『Dell Data Lakehouse』で、データ管理とアナリティクスの定義を一新することになるでしょう」 。
「Dell Data Lakehouse」－ 5つの重要な約束
オープンでモダンなデータ レイクハウスのビジョンには、最大のデータ課題に対応するために重要なコンポーネントが含まれています。「Dell Data Lakehouse」は、次の5つの重要な約束を果たします。
1. データ サイロを排除：Starburstを基盤にしたセキュアな連携クエリによって、データ探索を強化し、インサイトを引き出すまでの期間を最大90%高速化するとともに(*1)、利用パターンを明確にすることで、データ レイクハウスへのよりスマートなデータ一元化を実現します。
2. 大規模環境でパフォーマンスを最大化：コンピュートとストレージを分離したカスタマイズ インフラストラクチャー上で動作する分散型の大規模並列化エンジンにより、ニーズの増加に合わせて拡張することが可能なパフォーマンスの高さを実現します。
3. お客様自身がデータをコントロール：100%オープン形式主導であるとともに、ParquetやAvro、ORC などのファイル形式、およびIcebergやDelta Lakeといった表形式など、最新の業界標準に準拠し、将来の変化にも対応します。また内蔵のデータ ガバナンス機能によって、継続して自社データをコントロールできるため、進化・発展する状況に、自信を持って明確に歩調を合わせていくことができます。
4. インサイトの民主化：データ管理部門にセルフサービス型のアクセス環境を提供することで、高品質のデータ プロダクトを生成し、コラボレーションと探索のカルチャーを育み、ビジネスを前進させることができます。ビジネス インテリジェンス（BI）、AI、機械学習（ML）ツールなどの幅広いエコシステムを統合することで、組織全体にイノベーションの幅を広げることが可能になります。
5. 簡素化した単一のプラットフォーム：導入と展開、ライフサイクル管理、サポート サービスを合理化できるように設計・構築され、コンピュート、ソフトウェア、ストレージ コンポーネントを統合したターンキー ソリューションとして、クラウド ベースのオプションに対して優れたコスト効率と予測可能な支出を実現します。「Dell Data Analytics Engine」は、他の同等のテクノロジーの半分のコストで、3倍のスピードで迅速にインサイトを提供します(*2)。「Dell ECSエンタープライズ向けオブジェクト ストレージ」は、パブリック クラウドと比較して、最大76%のTCO（総所有コスト）削減を実現します(*3)。そして、「Dell Lakehouse System Software」は、ライフサイクル全体にわたって手作業の手間を減らすことで、運用コストを大幅に削減します。
今回のテクノロジーと「Dell Services」を組み合わせることにより、すべての段階において、より短時間でAIから成果を引き出すことが可能になります。お客様は、「Forbes 2023 World’s Best Management Consulting Firms（Forbes 誌2023年世界ベスト マネージメント コンサルティング企業）」にも選ばれている、デル・テクノロジーズの信頼できるエキスパートを活用することで、勝利への戦略を実行するとともに、データセットを迅速に検証してデータ プラットフォームを導入し、最適化したセキュアな運用環境を確立することができます。
次世代のAIでは、自社のデータ プラットフォームに新たにアーキテクチャーを採用していくことが必要になります。 デル・テクノロジーズは、プラットフォームはすべてのデータに対して優れた安全性で単一のアクセス ポイントを提供し、オープンでモダンなデータ レイクハウスであるべきだと考えています。「Dell Data Analytics Engine」とコンピュート（「PowerEdge」）、オブジェクト ストレージ（「ECSエンタープライズ向けオブジェクト ストレージ」「ObjectScale」「PowerScale」）、プロフェッショナル サービスの強力な組み合わせによって、ハイパフォーマンスで拡張性に優れたデータ プラットフォームの基盤を確立することが可能になります。
「Dell Data Lakehouse」の詳細は、『NVIDIA GTC』および『Dell Technologies World 2024』をご覧ください。
今回のソリューションを構成する各コンポーネントの詳細は、デル・テクノロジーズのテクニカル ブログおよびWebサイトをご覧ください。また、お客様のデータ ニーズに合わせた「Dell Data Lakehouse」の詳細は、デル・テクノロジーズのアカウント エグゼクティブまでお問い合わせください。
*1. ESGによる経済効果の検証。『Analyzing the Economic Benefits of Starburst Enterprise』（Nathan McAfee氏、2022年4月）
*2. 『Cloud Data Warehouse vs. Cloud Data Lakehouse: A Snowflake vs. Starburst TCO and Performance Comparison』発行: GigaOm
*3. デル・テクノロジーズの委託に基づくESGによる経済効果の検証。『Analyzing the Economic Benefits of Dell ECS: Economic Benefit Analysis of On-premises Object Storage versus Public Cloud』(Tony Palmer氏、2022年7月)。コスト削減効果は、ESGによるアクティブ ストレージ シナリオにおけるECSと大手パブリック クラウドの比較に基づく。