DUG Technology: エクサスケール・フラッシュ・ストレージ

Telescope points to heaven to demonstrate how DUG Technology switched from HDD to petabytes of SSD flash storage to conduct exascale computation
Telescope points to heaven to demonstrate how DUG Technology switched from HDD to petabytes of SSD flash storage to conduct exascale computation

HDDからSSDへの移行を成し遂げる

DUG Technology はハードディスクドライブからインテル(現ソリダイム)のペタバイト級フラッシュストレージに移行しました。

  • 高性能コンピューティング (HPC) の最先端を進む DUG Technology は、革新的なハードウェアとソフトウェアのソリューションを組み合わせることで、クライアントが大規模かつ複雑なデータセットを有効活用できるように努めています。
  • 新しい市場への拡大を可能にする弾力性と適応性のあるストレージ環境を構築するために、DUG は、VAS

Tソリダイム SSD でハードディスク・ドライブからペタバイトのフラッシュ・ストレージに切り替えました。

地震分析は、音の反射以外から地球の表面の下にあるものをまとめてみてください。 有用な 3D 分析には、ペタバイト (PB) の

データと膨大な量の SSD ストレージを持つパワフルなコンピューターが必要です。

油会社は、この分析のすべてを社内で実行するために必要な計算リソースを所有していないため、DUG Technology のような企業に、データの山々から詳細を削り出します。

HPC-as-a-Service (HPCaaS)

DUG はこの機能を HPC-as-a-Service (HPCaaS) と呼び、専用に開発したフルスタックのエクサスケール・コンピューティングとして、オンデマンドで利用できるようにしています。これまで DUG が as-a-Service として提供してきたコンピューティング・テクノロジーは、石油やガスなど大手のエネルギー関連企業による理由が中心でした。しかし、市場がその可能性に注目するようになると、DUG はこの同じサービスをほかの業界や業種にも拡大し、かつてないほど高まる多様なコンピューティング・ニーズに応えられるようにと考えました。そこで DUG が決めたのは、エネルギー関連以外の企業にも同様に「必要なのはデータだけ」の使いやすいサービスを提供するという方針です。DUG には HPC に特化した DUG McCloud サービスがあるため、新たな業界 / 業種へもコスト面での負担を抑えたサービスを提供できるノウハウがあります。ソリダイムのテクノロジーを採用した VAST Data ユニバーサル・ストレージは、DUG McCloud を補完し、学術機関、天体物理学、医薬、ゲノム研究、山火事のモデリング、新型コロナウイルスの調査など、新たな分野への DUG の参入を成功させました。ただし、この成功に至るまでには、ストレージをいかに扱うか、DUG に抜本的な転換が必要であったことも事実です。その課題を引き受けたソリダイムの SSD事業開始からの 10 年間、DUC が導入 / 管理してきたのは、地震データ解析のワークロードに必要な大規模かつコスト効率の高い、HDD ベースのストレージです。その期間、アプリケーションを徹底的に最適化して、容量の限界に苦戦しながらも、Lustre HDD ベースのインフラストラクチャー機能を最大限に活用しました。コスト調整と生産性の最大化を両立するには妥協も避けられません。例えば、Lustre ファイルシステムのクライアント・サイドが特定のワークフローでスループットの上限に達すると、同じファイルシステムを共有する別のユーザー側に速度低下が発生します。HDD 障害を防ぐソフトウェアを開発してはいるものの、故障したドライブを毎週交換しなければならない負担は DUG にとって常に問題であり、時間とリソースの両面でコストを押し上げていました。

HPCaaS の新しいアプリケーションにはこれまでとは違うストレージ・ソリューションが不可欠

DUG のアプリケーションは Lustre と HDD ストレージへ十分に最適化されていましたが、ストレージ入出力 (I/O) を処理する別の方法にアプリケーションを進化させようと取り組んでいました。こうしたアプリケーションには、汎用性とマルチテナントに対応できる柔軟性を備えたストレージが必要です。DUG は、幅広い要件をエクサスケールで満たすことができる新しいソリューションを求めていました。また、多様なアプリケーションの複合的なスループット要件を満たせるストレージ・ソリューションも必要でした。そこで注目したのが、パフォーマンスと信頼性を向上できる、ソリッド・ステート・ドライブ (SSD) ベースのストレージです。しかし Lustre の SSD への移行には膨大なコストが避けられません。DUG にとって、現実に見合ったコストは最重視する条件でした。 耐障害性の高い適応型のストレージ環境を構築し、新たな市場への拡大を目指す DUG には、ストレージに対する新しいアプローチが必要でした。 解決策は、ソリダイム™ SSD を採用した VAST Data ユニバーサル・ストレージDUG は、ビジネスを拡大し、新しい市場や顧客の幅広いニーズをサポートするために VAST Data ユニバーサル・ストレージを選びました。ユニバーサル・ストレージ・オファリングは、並列ファイル・システムの速度と規模に加え、新しいレベルの手ごろな価格とマルチテナンシーを兼ね備えたことで、DUG の完全な技術的飛躍を実現しました。また VAST Data の分散型全共有 (DASE) アーキテクチャーは、ほかのテナントに影響を及ぼさないように、まだ最適化されていない I/O を隔離するため、一貫したパフォーマンスを確保できます。

VAST Data は DASE アプローチにより、並列ストレージに伴う同時処理の問題を排除して特定ワークロードのパフォーマンスを高めることができ、それ以外のワークロードを犠牲にすることもありません。

さらに、顧客のパフォーマンス体験を大幅に向上させるだけでなく、従来の HPC ストレージ技術では見いだすことができなかった信頼性、運用管理性、サポートの組み合わせを実現します。

VAST Data の DASE アーキテクチャによるエクサスケール・スケーラビリティ;

VAST Data の DASE アーキテクチャによるエクサスケール・スケーラビリティーの確保により、DUG は 10 ペタバイトのフラッシュ・ストレージまで拡張することができました。単一障害点がないため、このアーキテクチャは障害からすばやく復旧できます。DASE アーキテクチャの信頼性は、VAST Data のデータ保護効率とアーキテクチャのステートレス性の

直接的な結果として「無償」で提供されています。 耐性を超

えたVAST Data Universal Storage は、DUG の展開と管理を簡素化します。統合されたスケールアウト・アプライアンスは、システムがオンラインである間に自動的に適用される新しい機能を常にプッシュするので、DUG

のダウンタイムはありません。 VAST Data Universal Storage の概

要SolVAST Data Universal Storage は、単一の世界規模の名前空間を提供し、各アプリケーションがそのワークロードのすべての関連データにアクセスできるようにします。

VAST Data ソリュ

ーションは、以下を組み合わせています。

  • 大規模なスケーラビリティー
  • アーカイブ用ストレージの経済性

リダイムSSDは、VASTデータ・ユニバーサル・ストレージのコスト効率と信頼性のためのハードウェア基盤を提供します。ソリダイムは垂直フローティング・ゲート技術と相補型金属酸化膜半導体 (CMOS) アーキテクチャーの組み合わせにより、1セル

あたりのビット数において業界最高の面密度 (平方ミリあたりのストレージのギガバイト) を実現します。

dug-technology-article-supported-clients

結論

インテル (現ソリダイム) の QLC 3D NAND SSD に備わるコスト効率と高い信頼性は、HDD と比較して最大 85% のコスト削減を図る、VAST Data アーキテクチャーの基盤となっています。10 年間使用した場合のギガバイト (GB) 当たりコストで見ると、HDD ベースのシステムとほぼ変わりありません。2, 3000 年を超えるコスト削減を実現します。[2 ,3]

詳細については VAST データエクサスケール NAS のホワイトペーパーをご覧ください。