DUG Technology: エクサスケール・フラッシュ・ストレージ
DUG Technology は、ハードディスク・ドライブからインテル® Optane™ テクノロジーを活用したペタバイトのフラッシュ・ストレージに切り替えました。
概要
- DUG Technology は高性能コンピューティングの最前線にあり、革新的なハードウェアとソフトウェア・ソリューションを組み合わせることで、クライアントは大規模で複雑なデータセットを活用できます。
- DUG は、新しい市場への拡大を可能にする、耐障害性と適応性に優れたストレージ環境を構築するために、ハードディスク・ドライブから、第 2 世代インテル® Xeon® スケーラブル・プロセッサー・ファミリー、インテル® Optane SSD、およびインテル® QLC 3D NAND SSD 搭載の VAST Data ユニバーサル・ストレージを備えたペタバイトのフラッシュ・ストレージに切り替え、パフォーマンスと信頼性を向上しました。
地震分析は、音響反射のみから地表下に存在するものを明らかにするハイパフォーマンス・コンピューティング (HPC) の規律です。有用な 3D 分析を行うには、ペタバイト (PB) のデータと数千台の高性能なコンピューターが必要です。大手石油会社でも、この分析を社内で実施するために必要なコンピューティング・リソースをすべて所有しているわけではありません。そのため、DUG Technology などの企業を活用し、大量のデータから詳細を抽出します。
DUG は、この機能を HPC-as-a-service (HPCaaS) と呼んでいます。これにより、専用のフルスタック・エクサスケール・コンピューティングがオンデマンドで利用できます。従来、DUG の compute-as-a-service 技術は、大手石油会社やガス会社などの特定の顧客しか利用できませんでした。市場がその機能に注目するにつれ、DUG はこの同じサービスを利用して、多様な極めて高いコンピューティング・ニーズに取り組む他の産業分野にもサービスを拡大しました。
DUG は、エネルギー分野以外の企業にも、同じ「データを持ち込むだけ」という手軽なサービスを提供することを決定しました。DUG は、HPC 向けの専用 DUG McCloud サービスのおかげで、これらの新しい業界へのサービス提供が商業的に成立することを理解していました。インテル® テクノロジー搭載の VAST Data ユニバーサル・ストレージは、DUG McCloud を補強し、これにより DUG は学術、宇宙物理学、医学とゲノミクス、森林火災モデリング、および新型コロナウイルス研究などの新しい分野への進出に成功しました。しかし、DUG はここに至るまでに、ストレージの扱い方を大きく転換する必要がありました。
チャレンジ
運用開始から最初の 10 年間、DUG は、HDD ベースのストレージを導入および管理し、極めて重大なワークロードが求める規模とコスト経済性を達成しました。その間、DUG はアプリケーションを完全に最適化して機能を活用し、Lustre HDD ベースのインフラストラクチャーの限界を回避しました。ここで、DUG は多くの妥協を遂行する必要があります。例えば、Lustre ファイル・システム・クライアントが特定のワークフローでピーク・スループットに達すると、同じファイルシステムを共有する他のユーザーの体験の質が低下します。復元性の観点から、DUG は HDD 障害から保護するためにソフトウェアを設計しました。しかし、障害が発生したドライブを毎週交換する必要があるため、DUG は常に負担を感じていました。最後に、DUG のアプリケーションは、Lustre と HDD ストレージに最適化されましたが、DUG が進化させた新しいアプリケーションは、処理されたストレージ入出力 (I/O) すべてを別個にサポートするようになりました。ストレージの汎用性とマルチテナンシーは DUG にとって非常に重要になりました。新しいソリューションは、幅広い要件をサポートし、エクサスケールでそれらをサポートする必要があります。DUG は、さまざまなアプリケーションの多用なスループット要件を処理できるストレージを必要としていました。DUG は、より高いパフォーマンスと信頼性を提供するためにソリッド・ステート・ドライブ (SSD) ベースのストレージを検討しました。しかし、Lustre の SSD への移行にはとてつもなくコストがかかり、価格は DUG にとって最も重要でした。
新しい市場への拡大を可能にする耐久性と適応性の高いストレージ環境を構築するために、DUG はストレージへの新しいアプローチを必要としていました。
テスト
ソリューション: VAST Data ユニバーサル・ストレージ
DUG は、ビジネスを拡大し、新しい市場や顧客の幅広いニーズをサポートするために VAST Data ユニバーサル・ストレージを選びました。ユニバーサル・ストレージ・オファリングは、並列ファイル・システムの速度と規模に加え、新しいレベルの手ごろな価格とマルチテナンシーを兼ね備えたことで、DUG の完全な技術的飛躍を実現しました。VAST Data のDASE (disaggregated shared everything) アーキテクチャーは、他のテナントに影響を与えないように最適化されていない I/O を分離することで一貫したパフォーマンスを提供します。DASE アプローチにより、VAST Data は並列ストレージの並列性の課題を排除し、他のワークロードが犠牲にされない特定のワークロードに高いパフォーマンスを提供します。顧客のパフォーマンス体験を大幅に改善するだけでなく、VAST Data は、従来の HPC ストレージ技術では実現できなかった信頼性、管理、サポートの組み合わせを実現します。VAST Data の DASE アーキテクチャーは、エクサスケール拡張性を提供するため、DUG は、アーキテクチャーに単一障害点を発生させることなく、数十ペタバイトにまで拡大し、障害からの迅速な回復も実現できました。DASE アーキテクチャーの信頼性は「無料」です。それは、VAST Data 保護効率とアーキテクチャーのステートレス性が直接的な結果です。VAST Data ユニバーサル・ストレージは、復元性を高めるだけでなく、DUG にダウンタイムが発生しないようにシステムがオンラインになっている間は自動的に適用される新しい機能を一貫してプッシュアウトする統合型スケールアウト・アプライアンスを提供することで、DUG の導入と管理体験を簡素化します。インテルのストレージ技術による VAST Data ユニバーサル・ストレージの概要
VAST Data ユニバーサル・ストレージは、単一のグローバル・ネームスペースを提供するため、各アプリケーションはそのワークロードに関連するすべてのデータにアクセスできます。VAST Data ソリューションは、オールフラッシュ・ドライブ・パフォーマンス、大規模なスケーラビリティー、アーカイブ・ストレージの経済性、およびプラグアンドプレイ・ネットワーク接続ストレージ (NAS) 接続のシンプルさを兼ね備えたものです。インテル® SSD は、VAST Data ユニバーサル・ストレージのコスト効率と信頼性を実現するハードウェア基盤を提供します。インテルは、垂直フローティング・ゲート技術と CMOS (Complementary metal-oxide-semiconductor) アンダーアレイ・アーキテクチャーの組み合わせにより、1 セルあたりの同ビット数において業界最高の面密度 (平方ミリあたりのストレージのギガバイト) を実現します。つまり、インテル® QLC 3D NAND SSD は、前世代のトリプルレベル・セル (TLC) メディアよりも面密度が高く、チャージトラップ技術をベースにした競合のクアッドレベル・セル (QLC) 設計よりも信頼性が高いということです。1 インテルのアーキテクチャー・イノベーションにより、VAST Data ソリューションは、フラッシュドライブ上のすべてのデータを経済的に保存できます。インテル® QLC 3D NAND SSD のコスト効率と高い信頼性は、HDD と比較して最大 85% コストを削減する VAST Data のアーキテクチャーの基盤となり、10 年以上にわたる HDD ベースのシステムと同等のギガバイト (GB) コストを実現します2 3。インテル® Optane™ SSD は、VAST Data ユニバーサル・ストレージ上で実行するワークロードの書き込みパフォーマンスをさらに高速化します。重要なのは、インテル® Optane™ SSD のバッファーはストレージに書き込みを行うため、完全な QLC 消去ブロックの書き込みが可能になる点です。インテル® Optane™ SSD の低レイテンシー、耐久性、高度な 4K ランダムライト・パフォーマンスによって、長期的なデータと短期的なデータが大規模な QLC ブロックに共存しない状態を確保しやすくなります。インテル® Optane™ SSD は、非効率な書き込み動作からインテル® QLC 3D NAND SSD を保護します。それが、VAST Data が 10 年間の SSD 耐久性保証を提供しながら、コスト効率の高い QLC NAND の経済的なメリットも実現できる理由の 1 つです2 3。
しかし、ストレージ容量、コスト、機能は、VAST Data ユニバーサル・ストレージのストーリーの一部にすぎません。 VAST Data ソリューションは、全く新しいレベルのデータ削減とデータ保護効率のパイオニアとなる新しいアルゴリズムの実装においても非常に洗練されています4。 第 2 世代インテル® Xeon® スケーラブル・プロセッサー により、VAST Data ユニバーサル・ストレージは、これらのアーキテクチャーの側面をすべて組み合わせ、DASE クラスターに新しいクラスのグローバル・アルゴリズムを実装することができます4。これらのプロセッサーは、VAST Data ユニバーサル・ストレージと重要なアクセラレーション・ライブラリーの基盤となるコンピューティング能力を提供します。 このストレージ・パフォーマンス・デベロップメント・キット (SPDK) は、VAST Data ユニバーサル・ストレージの高速化要因として機能し、すべての CPU からすべての QLC およびインテル® Optane SSD への低レイテンシー・アクセスを実現します。 SPDK によって、従来のシェアード・ナッシング・アーキテクチャーのスケールを阻害する複雑で揮発性のあるキャッシュ・コヒーレンシー操作が不要になります。 VAST Data ユニバーサル・ストレージは、NVMe over fabrics (NVMe-oF) プロトコルを用いて CPU と NVM Express (NVMe) デバイスを相互接続し、直接接続型ストレージ (DAS) のパフォーマンスとレイテンシーで分散スケールを提供します5。NVMe-oF は、標準的なイーサネットまたは InfiniBand ネットワーク上で動作し、コモディティ・データセンター・ファブリック上でリソースの分割とシェアード・エブリシング・アーキテクチャーを可能にします。 VAST Data 接続は、ネットワーク・ファイル・システム (NFS)、サーバー・メッセージ・ブロック (SMB)、および Amazon S3 互換 API などのユビキタスなプロトコルを通じてシステムを公開するため、ユニバーサル・ストレージを消費するアプリケーションには専用のアダプター、フォーマット、またはプロトコルは必要ありません。
VAST Data による DUG のデータ処理方法の変革
DUG は、2019年12月から、テキサス州ヒューストン、オーストラリアのパースにある DUG のデータセンターで VAST Data との運用を本番稼働しており、さらなる拡大を計画しています。実際、DUG は、2020年と 2021 年には、ヒューストンのコンピューティング機能を 2 倍にし、パースの機能の 2 倍以上にする予定です。幸い、VAST Data ソリューションは、成長を続ける中で、その信頼性は高まり続けています。DUG には、常に大きなデータストレージのニーズがありました。地震処理プロジェクトによって、DUG が保有するデータは 1 PB を超え、処理の規模が 6 ～ 8 倍に拡大しました。ある地震処理プロジェクトで、DUG は最大 50 回データをコピーし、書き込みます。DUG は通常、特定の時間に 100 件を超えるプロジェクトを同時に実行できます。VAST Data ユニバーサル・ストレージは、この種のデータの増加に最適であり、DUG は、競合するアプリケーション間の共有の HPC コンピューティング・リソースにおけるパフォーマンスの公平性を実現しやすくなります。
大量のデータの効率的な処理だけでなく、VAST Data のデータ削減もメリットです。DUG にとって、これはコスト削減要因です。地震データはサイズの削減が非常に困難なことで知られていますが、VAST データの協力なデータ削減機能によって大幅なコスト削減を実現できます。DUG は、グローバルデータ圧縮に対する VAST Data の新しい類似性ベースのアプローチを使用して、さまざまなワークロードでのデータ削減を通じてさらに大幅な節約を実現しています。
DUG にとってのもう 1 つのメリットは、VAST Data が年中無休で DUG のストレージをリモートで管理することです。DUG が、ベンダーによるストレージのリモート・アプライアンス管理によってメリットを実現したのは、これが初めてです。DUG のアップデートのためのダウンタイムがなくなり、IT 管理者は、VAST Data が環境のパフォーマンスと可用性を監視していることで安心できます。このため、DUG は、ストレージ・チームを拡大することなく、ストレージ容量を拡大できます。
戦略的な資産としてのストレージ
DUG は、インテルの技術を活用した VAST Data ユニバーサル・ストレージによって、新しい市場への進出を成功させました。 VAST Data ストレージ・ソリューションは、HDD を排除し、複雑な HPC ファイル・ストレージ技術を超えて移動し、石油およびガス業界にとどまらない幅広い顧客にリーダーシップ・クラスの顧客体験を提供するために、容量、パフォーマンス、信頼性を提供しました。 オールシリコン・ストレージ・オファリングは、高いパフォーマンスの一貫性と多様性を提供し、DUG が次の成長の波に向けてマルチテナント・クラウド環境の効率的な構築を可能にします。 VAST Data が提供するストレージ、信頼性、管理によって、ストレージは DUG にとっての戦略的な資産となり、より幅広いビジネス目標の達成が促されます。
DUG Technology について
パース、ヒューストン、ロンドン、クアラルンプールに 17 年以上にわたる経験とデータセンターを有しており、DUG Technology は HPC の最前線にいます。 これにより、クライアントは大規模で複雑なデータセットを活用できる革新的なハードウェアとソフトウェア・ソリューションを組み合わせています。 DUG Technology の業界における経験と応用物理学分野の強固な基盤によって、クライアントに直接、または DUG McCloud プラットフォームを通じて提供される最先端の HPCaS を提供できるようになりました。