DUG Technology:エクサスケールフラッシュストレージ

Solidigm Team
導入事例
13 Aug 2022

DUG Technology:エクサスケールフラッシュストレージ

概要

DUG Technologyは、新たな市場への拡大を進める、耐障害性を備えた適応型のストレージ環境を構築しました。VAST Dataのユニバーサルストレージにより、DUG TechnologyがHDDからSSDフラッシュストレージへの切り替えを成功させた方法を詳しく解説します。

HDDからSSDへの移行

DUG Technologyは、ハードディスクドライブをSolidigm™のテクノロジーを活用したペタバイト容量のフラッシュストレージへと切り替えました。

 

  • 高性能コンピューティング(HPC)の最先端を進むDUG Technologyは、革新的なハードウェアとソフトウェアのソリューションを組み合わせることで、クライアントが大規模かつ複雑なデータセットを有効活用できるように努めています。

     

  • 新たな市場への拡大を可能にする耐障害性の高い適応型のストレージ環境を構築するために、DUGはハードディスクドライブからVASTを採用したペタバイトのフラッシュストレージに切り替えました。

     

SolidigmのSSDが地震データの実用化に貢献


地震分析は、音響反響だけを頼りに地球の表面の下に存在するものの画像を作成する高性能コンピューティング(HPC)の分野です。有用な3D分析を行うには、ペタバイト(PB)のデータと膨大な量のSSDストレージを備えた数千台の高性能なコンピューターが必要です。

ほとんどの石油・ガス会社は、こうした分析をすべて社内で行うのに必要な計算リソースを所有していません。パワフルなマシンにアクセスできる業界大手の企業でさえ、DUG Technologyのような、より速く、より正確に、より低コストで結果を出す能力を持つ企業に頼ることがよくあります。

High-performance computing as a service(HPCaaS)


DUGはこの機能をHPC-as-a-Service(HPCaaS)と呼び、専用に開発したフルスタックのエクサスケールに対応できるコンピューティングとして、オンデマンドで提供しています。これまでDUGがas-a-Serviceとして提供してきたコンピューティングテクノロジーは、石油やガスなど大手のエネルギー関連企業による利用が中心でした。しかし、市場がその可能性に注目するようになると、DUGはこの同じサービスをほかの業界や業種にも拡大し、かつてないほど高まる多様なコンピューティングニーズに応えられるようにと考えました。

そこでDUGが決めたのは、エネルギー関連以外の企業にも同様に「必要なのはデータだけ」の使いやすいサービスを提供するという方針です。DUGには、特化されたDUG HPC Cloudサービスがあるので、こうした新しい業界分野において経済的にサービスを提供できることがわかっていました。Solidigmのテクノロジーを採用したストレージ基盤層を含むVAST Dataプラットフォームは、DUG HPC Cloudを補完し、学術機関、天体物理学、医薬、ゲノム研究、山火事のモデリング、防衛など、新たな分野へのDUGの参入を成功させました。ただし、そこに至るまでにはDUGによるストレージの扱い方を大きく転換する必要がありました。

その課題を引き受けたSolidigmのSSD

運用開始から最初の10年間、DUGは、HDDベースのストレージを導入および管理し、極めて重大なワークロードが求める規模とコスト経済性を達成しました。その期間、アプリケーションを徹底的に最適化して、容量の限界に苦戦しながらも、Lustre HDDベースのインフラストラクチャー機能を最大限に活用しました。

コスト調整と生産性の最大化を両立するには妥協も避けられません。例えば、Lustreファイルシステムのクライアント側が特定のワークフローでスループットの上限に達すると、同じファイルシステムを共有する別のユーザー側に速度低下が発生します。HDD障害を防ぐソフトウェアを開発してはいるものの、故障したドライブを毎週交換しなければならない負担はDUGにとって常に問題であり、時間とリソースの両面でコストを押し上げていました。

HPCaaSの新しいアプリケーションにはこれまでとは違うストレージソリューションが不可欠


DUGのアプリケーションはLustreとHDDストレージへ十分に最適化されていましたが、DUGは、ストレージ入出力(I/O)を異なる方法で処理する新しいアプリケーションを進化させようと取り組んでいました。こうしたアプリケーションには、汎用性とマルチテナントに対応できる柔軟性を備えたストレージが必要です。DUGは、幅広い要件をエクサスケールで満たすことができる新しいソリューションを求めていました。

また、多様なアプリケーションの複合的なスループット要件を満たせるストレージソリューションも必要でした。そこで注目したのが、パフォーマンスと信頼性を向上できる、ソリッドステートドライブ(SSD)ベースのストレージです。しかし、LustreのSSDへの移行にはとてつもなくコストがかかり、価格はDUGにとって最も重要でした。

耐障害性の高い適応型のストレージ環境を構築し、新たな市場への拡大を目指すDUGには、ストレージに対する新しいアプローチが必要でした。

解決方法:Solidigm SSDを採用したVAST Dataユニバーサルストレージ

DUGは、ビジネスを拡大し、新しい市場や顧客の幅広いニーズをサポートするためにVAST Dataプラットフォームを選びました。このプラットフォームは、並列ファイルシステムの速度と規模に加え、フラッシュのこれまでにないコスト効率とマルチテナントに対応できる柔軟性を兼ね備え、技術面でDUGを完全に飛躍させました。VAST DataのDisaggregated Shared Everything(DASE)アーキテクチャーは、ほかのテナントに影響を及ぼさないように、まだ最適化されていないI/Oを隔離することにより、一貫したパフォーマンスも提供します。

DASEアプローチにより、VAST Dataは並列ストレージの並列性の課題を排除し、他のワークロードが犠牲にされない特定のワークロードに高いパフォーマンスを提供します。

さらにVAST Dataは、顧客のパフォーマンス体験を大幅に向上させるだけでなく、従来のHPCストレージ技術では見いだすことができなかった信頼性、運用管理性、サポートの組み合わせを実現します。

VAST DataのDASEアーキテクチャーによるエクサスケールのスケーラビリティ

VAST DataのDASEアーキテクチャーはエクサスケールのスケーラビリティを提供し、DUGを数十ペタバイトのフラッシュストレージを持つ企業に成長させました。単一障害点がないため、このアーキテクチャーは障害から迅速に回復できます。DASEアーキテクチャーの信頼性は、VAST Dataのデータ保護効率とアーキテクチャーのステートレス性の直接的な結果として、「無料」で提供されます。

耐障害性だけでなく、VAST DataプラットフォームはDUGの導入と管理体験を簡素化します。統合型スケールアウトアプライアンスは、DUGにダウンタイムが発生しないようにシステムがオンラインになっている間は自動的に適用される新しい機能を、一貫してプッシュアウトします。

Solidigmのストレージ技術によるVAST Dataユニバーサルストレージの概要

VAST Dataプラットフォームは、単一のグローバルネームスペースを提供するため、各アプリケーションはそのワークロードに関連するすべてのデータにアクセスできます。VAST Dataソリューションの組み合わせ:

 

  • オールフラッシュドライブのパフォーマンス

     

  • 大規模なスケーラビリティ

     

  • アーカイブ用ストレージの経済性

     

  • プラグアンドプレイのネットワーク接続ストレージ(NAS)接続のシンプルさ

     

  • マルチプロトコルをフルサポート(SMB 2.1、3.0、NFS v3、v4.1、ブロックアクセス用NVMe/TCP付きS3)

     

SolidigmのD5-P5336は、VAST Dataプラットフォームのコスト効率と信頼性のためのハードウェア基盤を提供します。Solidigmは相補型金属酸化膜半導体(CMOS)アンダーアレイアーキテクチャーを採用しており、同じセルあたりのビット数で業界最高の面密度(1平方ミリメートルあたりギガバイトのストレージ)を実現しています。1

すなわち、Solidigm QLC 3D NAND SSDは、前世代のトリプルレベルセル(TLC)メディアよりも面密度が高いだけでなく、競合するクアッドレベルセル(QLC)設計よりも面密度と信頼性が高いということになります。

Solidigm SSDを使用したSUGソリューション用のVAST DataのDASE(disaggregated shared everything)アーキテクチャー

[1] Solidigmのアーキテクチャーイノベーションにより、VAST Dataソリューションは、フラッシュドライブ上のすべてのデータを経済的に保存できます。

 

すべての製品計画、ロードマップ、仕様、および製品説明は、予告なく変更されることがあります。

 

本資料に記載した内容はすべて、明示されているか否かにかかわらず、いかなる保証も行うものではありません。ここにいう保証には、商品適格性、特定目的への適合性、および非侵害性の黙示の保証、ならびに履行の過程、取引の過程、または取引での使用から生じるあらゆる保証を含みますが、これらに限定されるわけではありません。
 
本書で説明されている製品には、「エラッタ」と呼ばれる設計上の不具合が含まれている可能性があり、公表されている仕様とは異なる動作をする場合があります。現在確認済みのエラッタについては、Solidigmまでお問い合わせください。
 
製品をご注文される前に最新の仕様をご希望の場合は、Solidigmの担当者または販売代理店にお問い合わせください。
 
本書、本書で参照されている文書、またはその他のSolidigm文献のコピーをご要望の場合は、Solidigmの担当者にお問い合わせください。
​​​​​​​  
記載されているすべての製品、コンピューターシステム、日付、および数値は、現在の予想に基づくものであり、予告なく変更されることがあります。
​​​​​​​ 
© Solidigm. 「Solidigm」は、SK hynix NAND Product Solutions Corp(Solidigmの商号)の商標です。その他の名前やブランドは、他社の所有物であるとの主張があるかもしれません。