関連情報

DUG Technology: エクサスケール・フラッシュ・ストレージ

DUG Technology は、ハードディスク・ドライブからインテル® Optane™ 技術を活用したペタバイトのフラッシュ・ストレージに切り替えました。

概要
  • DUG Technology は高性能コンピューティングの最前線にあり、革新的なハードウェアとソフトウェア・ソリューションを組み合わせることで、クライアントは大規模で複雑なデータセットを活用できます。

DUG は、新しい市場への拡大を可能にするために、耐障害性に優れ適応性のあるストレージ環境を構築するため、ハードディスクドライブから 第 2 世代 インテル® Xeon® スケーラブル・プロセッサー、インテル® Optane® SSD およびインテル® QLC 3D NAND SSD 搭載の VAST Data ユニバーサル・ストレージによるペタバイト級のフラッシュストレージに切り替え、パフォーマンスと信頼性を向上させました。

地震分析

は、音の反射だけを頼りに地球の表面の下に存在するものを明らかにするハイパフォーマンス・コンピューティング (HPC) 分野です。有用な 3 次元解析を行うには、ペタバイト (PB) のデータと数千台の強力なコンピューターが必要となります。大手石油会社でも、このような解析を自社で実施するために必要なコンピューティング・リソースをすべて所有しているわけではありません。そのため、DUG Technology などの企業を活用して、大量のデータから詳細を抽出しています。 DUG では、このような機能を HPC-as-a-service (HPCaaS) と呼び、専門的でフルスタックのエクサスケール計算をオンデマンドで提供しています。従来、DUG の compute-as-a-service テクノロジーは、大手石油・ガス会社など特定の顧客のみに提供されていました。しかし、その性能に市場が注目するにつれ、DUG はこの同じサービスを利用して、多様な極めて高いコンピューティング・ニーズに取り組む他の産業分野にもサービスを拡大しました。 DUG は、エネルギー分野以外の企業にも、「データを持ち込むだけ」という同じ手軽なサービスを提供することを決定しました。DUG は、HPC 用の専用 DUG McCloud サービスがあるため、これらの新しい業界へのサービスの提供が商業的に成立することを理解していました。インテル®テクノロジーを搭載したVAST Data ユニバーサル・ストレージが DUG McCloud を支え、DUG は学術、天体物理学、医学とゲノム学、山火事モデリング、COVID-19 研究などの新しい分野への参入を成功させることができました。ただし、そこに至るまでには、DUG ストレージの扱い方を大きく転換 する必要がありました。 課題 DUG は、運用から 10年間、地震観測のワークロードに必要なスケールとコスト効率を実現するために、HDD ベースのストレージを導入・管理してきました。この間、DUG は、Lustre HDD ベースのインフラストラクチャーの能力を活用し、限界を回避するために、アプリケーションを徹底的に最適化しました。ここでは、DUG は多くの妥協を余儀なくされました。例えば、Lustre ファイル・システム・クライアントが特定のワークフローでピーク・スループットに達すると、同じファイルシステムを共有する他のユーザーに対するパフォーマンスが低下します。耐障害性の観点からは、DUG は HDD の故障から保護するようにソフトウェアを設計しましたが、故障したドライブを週単位で交換する必要があり、DUG は常に負担を感じていました。 最

後に、DUG のアプリケーションは、Lustre と HDD ストレージに最適化されましたが、DUG が進化させた新しいアプリケーションは、すべてストレージの入出力(I/O)を異なる方法で処理しました。ストレージの汎用性とマルチテナントが DUG にとって極めて重要になりました。新しいソリューションは、幅広い要件をサポートし、エクサスケールでそれらをサポートする必要があります。また、DUG は、アプリケーションごとに異なる多様なスループット要件に対応できるストレージも必要としていました。DUG は、より高い性能と信頼性を実現するために、ソリッドステート・ドライブ (SSD

) ベースのストレージに注目しました。しかし、Lustre 上の SSD への移行は非常にコストがかかるため、価格の手ごろ感が DUG にとって最も重要でした。 新しい市場への拡大を可能にする耐障害性に優れ適応性のあるストレージ環境を構築するため、DUG はストレージへの新しいアプローチを必要としていました。

DUG のデータセンターに設置された浸漬冷却式サーバー
ソリューション: VAST Data ユニバーサル・ストレージ

DUG は、ビジネスを拡大し、新しい市場や顧客の幅広いニーズをサポートするために VAST Data ユニバーサル・ストレージを選びました。ユニバーサル・ストレージ・オファリングは、並列ファイル・システムの速度と規模に加え、新しいレベルの手ごろな価格とマルチテナンシーを兼ね備えたことで、DUG の完全な技術的飛躍を実現しました。VAST Data のDASE (disaggregated shared everything) アーキテクチャーは、他のテナントに影響を与えないように最適化されていない I/O を分離することで一貫したパフォーマンスを提供します。DASE アプローチにより、VAST Data は並列ストレージの並列性の課題を排除し、他のワークロードが犠牲にされない特定のワークロードに高いパフォーマンスを提供します。VAST Data は、顧客パフォーマンス体験を大幅に改善するだけでなく、従来の HPC ストレージ技術では実現できなかった信頼性、管理、サポートの組み合わせを実現します。VAST Data の DASE アーキテクチャーは、エクサスケール拡張性を提供するため、DUG は、アーキテクチャーに単一障害点を発生させることなく、数十ペタバイトにまで拡大し、障害からの迅速な回復も実現できました。DASE アーキテクチャーの信頼性は「無料」です。それは、VAST Data 保護効率とアーキテクチャーのステートレス性が直接的な結果です。VAST Data ユニバーサル・ストレージは、復元性を高めるだけでなく、DUG にダウンタイムが発生しないようにシステムがオンラインになっている間は自動的に適用される新しい機能を一貫してプッシュアウトする統合型スケールアウト・アプライアンスを提供することで、DUG の導入と管理体験を簡素化します。 インテルのストレージ技術による VAST Data ユニバーサル・ストレージの概要 VAST Data ユニバーサル・ストレージは、単一のグローバル・ネームスペースを提供するため、各アプリケーションはそのワークロードに関連するすべてのデータにアクセスできます。VAST Data ソリューションは、オールフラッシュ・ドライブ・パフォーマンス、大規模なスケーラビリティー、アーカイブ・ストレージの経済性、およびプラグアンドプレイ・ネットワーク接続ストレージ (NAS) 接続のシンプルさを兼ね備えたものです。 インテル® SSD は、VAST Data ユニバーサル・ストレージのコスト効率と信頼性を実現するハードウェア基盤を提供します。インテルは、垂直フローティングゲート技術と相補型金属酸化膜半導体 (CMOS) アーキテクチャーの組み合わせにより、1 セルあたりのビット数において業界最高の面密度 (平方ミリあたりのストレージのギガバイト) を実現します。つまり、SSD は、前世代のトリプルレベルセル (TLC) メディアよりも集積密度が高いだけでなく、チャージトラップ技術をベースにした競合のクアッドレベルセル (QLC) 設計よりも高い集積密度と信頼性を提供します。インテル® アーキテクチャーの革新により、VAST データソリューションは、フラッシュドライブにすべてのデータを経済的に保存することができます。インテル® QLC 3D NAND SSD のコスト効率と高い信頼性は、HDD と比較して最大 85% コストを削減する VAST Data のアーキテクチャーの基盤となり、10 年以上にわたる HDD ベースのシステムと同等のギガバイト (GB) コストを実現します。 インテル® Optane™ SSD は、VAST Data ユニバーサル・ストレージ上で実行するワークロードの書き込みパフォーマンスをさらに高速化します。重要なのは、インテル® Optane™ SSD のバッファーはストレージに書き込みを行うため、完全な QLC 消去ブロックの書き込みが可能になる点です。インテル® Optane™ SSD の低レイテンシー、耐久性、高度な 4K ランダムライト・パフォーマンスによって、長期的なデータと短期的なデータが大規模な QLC ブロックに共存しない状態を確保しやすくなります。インテル® Optane™ SSD は、非効率な書き込み動作からインテル® QLC 3D NAND SSD を守ります。それが、VAST Data が 10 年間の SSD 耐久性保証を提供しながら、コスト効率の高い QLC NAND の経済的なメリットも実現できる理由の 1 つです。

VAST Data ユニバーサル・ストレージ・ソリューションの論理図

しかし、ストレージ容量、コスト、機能は、VAST Data ユニバーサル・ストレージのストーリーの一部にすぎません。VAST Data ソリューションは、全く新しいレベルのデータ削減とデータ保護効率のパイオニアとなる新しいアルゴリズムの実装においても非常に洗練されています。4 VAST Data ユニバーサル・ストレージは、これらのアーキテクチャーの側面をすべて組み合わせることができます。第 2 世代インテル® Xeon® スケーラブル・プロセッサーは、DASE クラスターに新しいクラスのグローバル・アルゴリズムを実装します。4 これらのプロセッサーは、VAST ユニバーサル・ストレージと重要なアクセラレーション・ライブラリの基礎となるコンピューティング能力を提供します。このストレージ・パフォーマンス・デベロップメント・キット (SPDK) は、VAST Data ユニバーサル・ストレージの高速化要因として機能し、すべての CPU からすべての QLC およびインテル® Optane SSD への低レイテンシー・アクセスを実現します。SPDK によって、従来のシェアード・ナッシング・アーキテクチャーのスケールを阻害する複雑で揮発性のあるキャッシュ・コヒーレンシー操作が不要になります。 VAST Data ユニバーサル・ストレージは、NVMe over fabrics (NVMe-oF) プロトコルを用いて CPU と NVM Express (NVMe) デバイスを相互接続し、直接接続型ストレージ (DAS) のパフォーマンスとレイテンシーで分散スケールを提供します。5 NVMe-oF は、標準的なイーサネットまたは InfiniBand ネットワーク上で動作し、コモディティ・データセンター・ファブリック上でリソースの分割とシェアード・エブリシング・アーキテクチャーを可能にします。VAST Data 接続は、ネットワーク・ファイル・システム (NFS)、サーバー・メッセージ・ブロック (SMB)、および Amazon S3 互換 API などのユビキタスなプロトコルを通じてシステムを公開するため、ユニバーサル・ストレージを消費するアプリケーションには専用のアダプター、フォーマット、またはプロトコルは必要ありません。 VAST Data による DUG のデータ処理方法の変革 DUG は、2019年12月から、テキサス州ヒューストン、オーストラリアのパースにある DUG のデータセンターで VAST Data との運用を本番稼働しており、さらなる拡大を計画しています。実際、DUG は、2020年と 2021 年には、ヒューストンのコンピューティング機能を 2 倍にし、パースの機能の 2 倍以上にする予定です。幸い、VAST Data ソリューションは、成長を続けており、信頼性は高まり続けています。 DUG には、常に大きなデータストレージのニーズがありました。地震処理プロジェクトによって、DUG が保有するデータは 1 PB を超え、処理の規模が 6 ~ 8 倍に拡大しました。ある地震処理プロジェクトで、DUG は最大 50 回データをコピーし、書き込みます。DUG は通常、特定の時間に 100 件を超えるプロジェクトを同時に実行できます。VAST Data ユニバーサル・ストレージは、この種のデータの増加に最適であり、DUG は、競合するアプリケーション間の共有の HPC コンピューティング・リソースにおけるパフォーマンスの公平性を実現しやすくなります。 大量のデータの効率的な処理だけでなく、VAST Data のデータ削減もメリットです。DUG にとって、これはコスト削減要因です。地震データはサイズの削減が非常に困難なことで知られていますが、VAST データの協力なデータ削減機能によって大幅なコスト削減を実現できます。DUG は、グローバル・データ圧縮に対するVAST Data の新しい類似性ベースのアプローチを使用して、さまざまなワークロードでデータ削減を通じてさらに大幅な節約を実現しています。 DUG にとってのもう 1 つのメリットは、VAST Data が年中無休で DUG のストレージをリモートで管理することです。DUG が、ベンダーによるストレージのリモート・アプライアンス管理によってメリットを実現したのは、これが初めてです。DUG のアップデートのためのダウンタイムがなくなり、IT 管理者は、VAST Data が環境のパフォーマンスと可用性を監視していることで安心できます。このため、DUG は、ストレージ・チームを拡大することなく、ストレージ容量を拡大できます。 戦略的な資産としてのストレージ DUG は、インテルの技術を活用した VAST Data ユニバーサル・ストレージによって、新しい市場への進出を成功させました。VAST Data ストレージ・ソリューションは、HDD を排除し、複雑な HPC ファイル・ストレージ技術を超えて移動し、石油およびガス業界にとどまらない幅広い顧客にリーダーシップ・クラスの顧客体験を提供するために、容量、パフォーマンス、信頼性を提供しました。オールシリコン・ストレージ・オファリングは、高いパフォーマンスの一貫性と多様性を提供し、DUG が次の成長の波に向けてマルチテナント・クラウド環境の効率的な構築を可能にします。VAST Data が提供するストレージ、信頼性、管理によって、ストレージは DUG にとっての戦略的な資産となり、より幅広いビジネス目標の達成が促されます。 DUG Technology について パース、ヒューストン、ロンドン、クアラルンプールに 17 年以上にわたる経験とデータセンターを有しており、DUG Technology は HPC の最前線にいます。これにより、クライアントは大規模で複雑なデータセットを活用できる革新的なハードウェアとソフトウェア・ソリューションを組み合わせています。DUG Technology の業界における経験と応用物理学分野の強固な基盤によって、クライアントに直接、または DUG McCloud プラットフォームを通じて提供される最先端の HPCaS を提供できるようになりました。

詳細情報

VAST データ・エクサスケール NAS ホワイトペーパーを読む。

PDF をダウンロードする