AIワークロードで高まるオブジェクトストレージの重要性

AIワークロードのためのSolidigm™ S3 Fuseの調査と概念実証設計

オブジェクトストレージの普及が進んでAIワークロード向けの最上位ストレージソリューションとみなされるようになり、推論だけでなく、AIトレーニングやVectorDBのユースケースもカバーするようになりました。PyTorchやCUDAのようなAIのトレーニングおよび推論フレームワークとシームレスに統合できるファイルシステムでS3をプロキシする需要が高まっています。それに対応するため、業界ではオープンソースプロジェクトs3fs-fuseを提供して、ユーザーがS3ストレージとファイルシステムの橋渡しをできるようにしています。

オープンソースs3fs-fuseの主な問題点

• メモリ消費量が多い：このオープンソースソリューションは、GetAttrやReadDirのようなファイルシステム操作の結果をキャッシュするために、少なくとも4つのC++ STLマップを使用しています。各マップは1億個のオブジェクトを処理するために32GBのDRAMを必要とするため、1億個のオブジェクトを管理するには、合計約128GBのDRAMが必要になります。
• スケーラビリティの問題：AIストレージシステムでは何十億個もの小さなオブジェクトを処理する必要があるため、現在のs3fs-fuseの実装では、スケーラブルで将来性のあるクラウドネイティブなAIの導入には不向きです。
• パフォーマンスのトレードオフ：C++ STLマップは、検索やリスト操作で優れたパフォーマンスを発揮しますが、関連するメモリ消費によりスケーラビリティが制限されます。

Solidigm S3 Fuse設計アーキテクチャーの主な利点

Solidigmのクラウドストレージ高速化レイヤー（CSAL）グループが提案するのは、パフォーマンスSLAを定義したりDRAM使用量を管理したりする際、顧客により高い柔軟性を提供するよう設計された革新的なアーキテクチャーです。SK hynixのCXLメモリモジュール、Solidigm D7-P5810 SLCドライブ、Solidigm D7-PS1010 Gen5 TLCドライブ、Solidigm D5-P5336高密度QLCドライブなどの最先端技術を活用することで、この設計は以下の点を確実にします。

• スケーラブルなAIストレージシステムのためのリソース使用の最適化。
• 多様なワークロードの需要に対応するための、パフォーマンスとメモリ消費量のバランス。
• クラウドネイティブなAIの導入ニーズの高まりに対応する、将来を見据えたスケーラビリティ。

このアーキテクチャーが提供するのは、既存のオープンソースの選択肢による制限に対処し、効率的なAIトレーニングおよび推論ワークフローを可能にする、将来を見据えたソリューションです。

Solidigm S3 Fuseアーキテクチャーの概要

1. ユーザーファイルシステムの操作

ユーザーが開始したファイルシステム操作は、まずカーネルのFUSEドライバーによって処理されます。FUSEドライバーは、これらの操作をユーザーモードのサービスにリダイレクトします。このアーキテクチャーでは、Solidigmが開発した概念実証済みのS3 Fuseサービスが、GetAttr、ReadDir、Read、Writeといった主要なファイルシステム操作を管理します。

2. S3 FUSEキャッシュ

Solidigm S3 FUSEキャッシュのキャッシュモジュール設計では、消去アルゴリズムとしてFIFO（First-In、First-Out。先入先出法）を選択しました。FIFOは（[3]のLRU消去アルゴリズムとの比較テストで実証されているように）ヒット率が高いだけでなく、基盤となるNAND SSDとの互換性にも優れているためです。SolidigmのCSALソフトウェアとの連携により、NAND SSDの書き込み増幅を大幅に低減できます。実環境でのテストで、書き込み増幅率（WAF）の値が実質的に1まで減少していることを確認しました。

3. GetAttrとReadDirリクエストの処理

これらのリクエストを処理するメタデータコアは、Solidigmが開発した概念実証済みのS3-FIFOキーバリュー（KV）ストアを利用します。SolidigmのCSALアペンドキャッシュとS3-FIFOメカニズムに関する詳しい知見については、リファレンスセクションのリンク1-3を参照してください。

4. メタデータコアと概念実証済みキーバリュー（KV）ストア

メタデータコアは、Solidigmが開発した概念実証済みのKVキャッシュストアをベースに構築しており、概念実証済みのS3-FIFOキャッシュアルゴリズムを採用しています。FIFOとCSALのアペンドキャッシュメカニズムはSSDに最適化されており、効率性が非常に高いです。Solidigm Gen5 NVMe SSD、D7-PS1010は、9.4GB/秒の書き込み帯域幅と14GB/秒の読み取り帯域幅を実現します。FIFO書き込みを利用するようにソフトウェアを設計することで、SSDの書き込み増幅率（WAF）は1に低減し、全帯域幅をユーザーデータで利用できるようになります。その結果、KVストアのプライマリキューは10GB/秒の帯域幅で動作できるようになりました。

5.  KVストア拡張オプション

KVストアの小さなキューは、追加のDRAMや、DRAMに匹敵するレイテンシーでユニットあたり最大96GBを提供するSK hynixのCXLメモリモジュールを使用して拡張できます。 

6. 読み取り要求と書き込み要求の処理

これらのリクエストは、ファイルシステムのチャンクマッピングを取得するためにメタデータコアを利用します。その後、データはFIFOベースの大きなチャンクに書き込まれたり、そこから読み出されたりするため、ユーザーは容量要件に基づいてQLCストレージを選択できます。

7. ローカルホストの最適化

ファイル情報やデータがローカルで利用できる場合、システムはそれらを直接ユーザーに返します。そうでない場合、システムはS3からソースデータを取得します。

パフォーマンステスト

パフォーマンスのベンチマーキングは、Solidigm D7-PS1010 Gen5 TLC SSDによるC++マップとRocksDB構成のマイクロベンチマークテスト[5]を利用して実施しました。その結果、効率とスケーラビリティに大きな優位性があると示されました。

このアーキテクチャーは、SSD使用率の最適化、AIワークロードのスケーラビリティ、柔軟な統合オプションを重視しており、AIストレージの最新の課題に対応する堅牢なソリューションになっています。

Test_KVの結果からの知見

Test_KVのテスト結果で示された主な傾向と観測値は以下のとおりです。

設定のコンテキスト

この分析では、RocksDBを最小限のチューニングでテストしました。メモリ書き込みバッファを利用し、圧縮とブロックキャッシュを無効にして、メモリ使用量を適切に制御できるようにしたのです。さらに微調整を加えれば、一層のパフォーマンス向上が期待できるでしょう。

重要なポイント

• C++マップのパフォーマンス：C++マップは最高のパフォーマンスを発揮しました。RocksDBに3GBのDRAMを割り当て、メモリテーブルのスキップリストをほぼすべて利用した場合でも、そのパフォーマンスはC++マップの4分の1にしか達しませんでした。スキップリストのトラバーサルは、C++マップの直接アクセスとは性質が異なり、複数のリンクリストを操作することになるため、これは仕方ありません。
• RocksDBでメモリ節約：3GBのDRAM構成と同等のパフォーマンスを維持しながら、RocksDBのメモリ使用量を削減することで、パフォーマンスSLAを損なうことなく、最大2GBという大幅なDRAMの節約を実現しました。
• 究極のDRAM効率：RocksDBは100MBのDRAMしか割り当てられていない場合でも、平均レイテンシーを15マイクロ秒に維持しました。この柔軟性のおかげで、システム設計者は特定のユースケースに基づいて、リソースとパフォーマンスSLAのトレードオフを行うことができます。
• 概念実証済みS3 Fuseの効率性：RocksDBを活用した場合、Solidigmの概念実証済みS3 Fuse設計は、1,000万個のオブジェクトを処理する際に、例えばMinIOリスト操作などのS3リストよりも大幅に高い効率を発揮することが実証されました。
• これらの結果は、RocksDBがリソース効率とパフォーマンスのバランスをとり、要求の厳しいストレージシステムでスケーラビリティと設定の自由度を実現する可能性をはっきりと示しています。

表2. テスト結果：

Solidigmの概念実証済みFUSE設計に適切なストレージを提供するSolidigmのSSD

S3 Fuseキャッシュの場合、Solidigm D5-P5336の61.44TB QLCドライブは、優れたパフォーマンスとスケーラビリティを提供します。PCIe 5.0 Solidigm D7-PS1010は、チェックポイント書き込みにおいて、世界トップクラスの書き込みパフォーマンスを実現します。