高性能ストレージによるAIの加速

GPUDirect® StorageとNVIDIA Bluefield®-3データ処理ユニット駆動のNVMe エミュレーションを含むNVIDIA® Magnum IOアーキテクチャー搭載、Solidigm™ SSD

CPU-GPUデータパスと比較した、NVIDIA GDS搭載Solidigm SSDのパフォーマンス

GPUとストレージのボトルネック

現代のAIワークロードが要求するのは、これまでにないデータスループットと、大規模データセットへの低レイテンシーアクセスです。NVMe SSDとGPU間のデータ移動をCPUに依存する従来のストレージアーキテクチャーでは、GPUの演算能力に追いつくのは困難です。Solidigm™ D7-PS1010などのデータセンター向けSSDは、最大14,500 MB/秒の連続読み出し速度を実現しますが、その潜在能力を最大限に引き出すには、GPUがローカルおよび分散型リモートシステム間でストレージと連携する方法について再考する必要があります。

NVIDIA GPUDirect Storage（GDS）

NVIDIA GPUDirect Storage（GDS）は、GPUとNVMe SSD間の直接メモリアクセス（DMA）を可能にすることで、CPUのボトルネックを解消します。NVIDIA Magnum IO SDKの一部であるGDSは、CUDAなどのフレームワークと連携してCPU/RAMデータステージングをバイパスすることでレイテンシーを低減し、重要な管理タスクで使えるようにCPUリソースを解放します。 

NVIDIA DPUによるリモートストレージへのGDS拡張

GDSはローカルストレージへのアクセスを最適化しますが、現代のAIインフラでは、ストレージを個々のGPUノードから切り離すスケーラブルなソリューションが求められています。NVIDIAデータ処理ユニット（DPU）は、ストレージとネットワークタスクをオフロードすることでこのギャップを埋め、DPUのSNAPフレームワークを使用したリモートNVMe-over-Fabric（NVMe-oF）エミュレーション¹を実現します。Solidigm PCIe Gen5 SSDは、高速ファブリックを介してリモートドライブとして仮想化できるため、GPUが分散ストレージプールにアクセスすることが可能となります。このアーキテクチャーは、GDSのダイレクトデータパスとDPUによるファブリックの拡張性を組み合わせ、AIワークロード向けの統合ソリューションを実現します。

システム構成

ハードウェア

1. サーバー：Supermicro ARS-111GL-NHR 
2. CPU/GPU：- Grace Hopper 200
3. SSD：Solidigm™ D7-PS1010（E1.S、7.68TB、PCIe 5.0）、Solidigm™ D7-P5520（U.2、7.68TB、PCIe 4.0）

ソフトウェア

1. OS: Ubuntu 22.04.5 LTS 
2. カーネル：6.8.0-1021-nvidia-64k
3. Cuda: 12.6
4. GDSIO: 1.11

方法

2つのデータパスを比較  

1. GDSパス：GPUとSSD間のダイレクトDMA転送。 

2. 従来型パス：データはSSD→CPU/RAM→GPUの順に移動

ベンチマークパラメータ

• ブロックサイズ：64KiB、128KiB、512KiB、1024KiB、4096KiB 
• ワークロード：連続読み出し
• キュー深度（QD）：24/32  
• 指標：スループット（GB/s）、CPU/USR使用率（%）
• ランタイム：45秒
• サーバー消費電力（ワット）

結果

主なポイントと分析

1. GDSは、すべてのブロックサイズにおいて、従来のCPU-GPUパスと同等のパフォーマンスとスループットを一貫して達成しています。
2. GDSは、CPUを使用したRAMへの冗長なデータコピーを回避することでCPU使用率を低減し、アプリケーションタスクのためにコアを解放することがわかっています。
3. GDSワークロードの実行時には、CPU-GPUワークロードと比較して、サーバー消費電力が約7ワット低くなります。このデータは複数回の実行（100サイクル）を通じて一貫しています。

NVIDIA Magnum IOアーキテクチャーによるリモートストレージのパフォーマンス

本項では、NVIDIA Magnum IO GPUDirect StorageとNVIDIA NVMe SNAPを含む NVIDIA Magnum IOアーキテクチャーにおけるSolidigm SSDの性能について述べます。¹

NVIDIA DPU（データ処理ユニット）

DPUは、インフラタスク（ネットワーク、ストレージ、セキュリティ）をCPUからオフロードするために設計された専用プロセッサーです。NVIDIA Bluefield DPUは、マルチコアArm CPU、高速ネットワーク、ハードウェアアクセラレータを組み合わせて、データセンターの効率を最適化します。 

SNAP（ソフトウェア定義NVMeアクセスプロトコル）

SNAPは、リモートSSDをローカルNVMeドライブとして仮想化するDPUアクセラレーションフレームワークです。NVIDIA DPU上のコンテナで動作するSNAPは、ローカルNVMeコマンドをNVMe-oFプロトコルパケットに変換し、リモートストレージとGPUメモリ間の直接RDMA転送を可能にします。 

ファブリック上のNVMe（NVMe-oF）

NVMe-oFは、InfiniBandなどのネットワークを介してリモートストレージデバイスにアクセスするためにNVMeプロトコルを拡張したものです。これにより、共有ストレージプール、スケーラブルなリソース割り当てが可能になり、GPUやサーバーは、高性能SSDをローカルに接続しているかのように扱うことができます。

エンドツーエンドのワークフロー

1. ホストサーバーがGDS経由で連続読み出しを開始
   GPUサーバーは、NVIDIA GPUDirect Storage（GDS）を活用するように設計された「gdsio」ベンチマークツールを使用して、連続読み出し操作をトリガーします。このツールはCPUとシステムメモリを完全にバイパスし、GPUのメモリ空間からDPUエミュレート¹NVMeドライブに対してネイティブのNVMe読み出しコマンドを直接発行します。
2. DPUがNVMeコマンドをインターセプトし、変換
   DPUは、エミュレートされた¹NVMeドライブのコントローラーとして機能し、NVMe読み出しコマンドをインターセプトします。DPUは、統合されたSNAPフレームワークを使用して、そのコマンドをNVMe-oFプロトコルパケットに変換します。この変換により、ローカルNVMe操作のセマンティクスを維持しつつ、ネットワーク経由のリモートストレージアクセスに適応します。
3. ファブリックを介したRDMA転送
   変換されたNVMe-oFコマンドは、GPUサーバーと物理Solidigm PCIe Gen5 SSDを収容するリモートストレージサーバーを接続する高速 InfiniBand RDMAファブリックを介して送信されます。データは、ホストメモリで中間的なステージングを行うことなく、リモート SSDからGPUのメモリバッファに直接流れ込みます。
4. GPUメモリへの直接配置
   DPUのSNAPフレームワークにより、取得されたデータはRDMA経由でGPUのメモリ空間に直接配置され、読み出し操作が完了します。このエンドツーエンドのパスにより、CPUの関与が排除され、ローカルに近いレイテンシーが維持され、スループットが最大化されます。
5. SNAPキュー
   ストレージ定義ネットワークアクセラレーション処理（SNAP）では、キューによりI/O操作の並列処理が可能となり、スループットが向上し、レイテンシーを低減します。1つのキューではなく32のキューを使用することで、複数のコアに負荷をより適切に分散でき、ボトルネックを防ぎ、パフォーマンスが向上します。この設定は、高トラフィックアプリケーションを効率的に処理し、より速い応答時間と拡張性を確保するために極めて重要です。 

パフォーマンスベンチマーク：リモートストレージとローカルストレージの比較

リモート設定のシステム構成

ストレージサーバー

1. サーバー：Supermicro AS1115C-TNR
2. CPU: AMD EPYC 9124 (PCIe 5.0)
3. DPU/NIC: B3140 Bluefield DPU 3 
4. SSD:  
   Solidigm D7-PS1010 (E1.S, 7.68TB, PCIe 5.0)
   Solidigm D7-P5520 (U.2, 7.68TB, PCIe 4.0)
5. OS: Ubuntu 20.04.6 LTS 
6. カーネル：5.4.0-205-generic

コンピューティングサーバー

1. サーバー：Supermicro ARS-111GL-NHR 
2. CPU/GPU: Grace Hopper 200
3. DPU: B3240 Bluefield DPU 3
4. OS: Ubuntu 22.04.5 LTS 
5. カーネル：6.8.0-1021-nvidia-64k
6. Cuda: 12.6
7. GDSIO: 1.11

方法

2つのデータパスを比較します

1. ローカルストレージ：GDS経由でアクセスする直接接続型SSD。
2. リモートストレージ：GDS経由で接続したDPUエミュレート¹NVMe-oFドライブ（InfiniBand経由のSSD）。

ベンチマークパラメータ

• ブロックサイズ：64KiB、128KiB、512KiB、1024KiB、4096KiB 
• SNAPキュー：1、7、15、23、31
• ワークロード：連続読み出し
• キュー深度（QD）：24/32  
• 指標：スループット（GB/s）
• ランタイム：45秒

結果

主なポイントと分析

1. スループットのパリティ

NVIDIA Bluefield DPUのプロトコルオフロードとRDMAはファブリックのオーバーヘッドを最小限に抑え、ローカルに近いスループットを実現します。PCIe Gen4とPCIe Gen5のグラフを見るとわかるように、リモートストレージ設定のスループットはローカルストレージ設定のスループットと同等です。

2. ブロックサイズの影響

また、ブロックサイズが大きくなるにつれて、リモートストレージ設定のスループットはローカルストレージ設定と比較してわずかに増加する一方で、ブロックサイズが小さい場合は、ファブリック上のオーバーヘッドが高くなるため、リモートストレージ設定のスループットはわずかに低くなることも確認できます。

3. SNAPキューの影響

リモートストレージ設定を有効化する際は、SNAPキューも考慮すべき重要な要素です。SNAPキューの数を32に増やすことで、同時処理されるI/Oリクエストが増加し、潜在的なボトルネックが軽減されるため、さまざまなキューサイズに関するグラフに示されている通り、スループットが向上します。

まとめと今後の方向性

本ホワイトペーパーでは、NVIDIA GPUDirect StorageをSolidigm PCIe Gen5 SSDとDPU駆動のNVMe-oFエミュレーション¹と組み合わせることで、リモートストレージがローカルNVMeドライブと同等のパフォーマンスを実現できることについて述べています。CPUのボトルネックを解消し、高速InfiniBandファブリック上のRDMAを活用することで、このアーキテクチャーは、AIの加速を損なうことなく、スケーラブルでコスト効率の高いAIインフラを実現します。これは、中央集約型ストレージプールがGPUワークロードの効率を維持しつつ、ローカルドライブに取って代わることができることを示しています。

AIインフラへの影響

組織は、ストレージをコンピューティングノードから分離することで、ハードウェアの乱立と運用コストを削減できます。また、DPUオフロードと合理化されたデータパスによる省エネ効果により、持続可能な拡張が実現します。このアプローチは、共有データセットへの低レイテンシーアクセスが重要な分散トレーニングワークフローやエッジ推論の展開において、特に大きな効果を発揮します。

今後、800Gネットワーク、DPUアクセラレーションによる計算ストレージ、KubernetesやMLフレームワークとの深い統合が進むことで、このアーキテクチャーは次世代AIデータセンターの基盤としてさらに確固たるものとなるでしょう。

推奨事項

組織は、大量データワークロード向けにSolidigm PCIe Gen4および／またはGen5 SSDを採用し、レイテンシーを最小限に抑えるためにRDMA対応ファブリックを導入することで、GDSとDPUの採用を検討し、AIインフラの将来性を確保できます。この統合アーキテクチャーにより、企業はパフォーマンスとコスト効率を維持しながらGPUリソースを拡張することが可能となります。