Alluxio と Solidigm が AIワークロード向けの高度なキャッシングソリューションを共同開発

概要

AI キャッシングソリューションの世界的リーダーである Alluxio は、GPU ベースの AI ワークロード向けに最速のキャッシュを提供しています。その拡張可能なアーキテクチャは、数万ノードをサポートし、ストレージ帯域幅の消費を大幅に削減します。世界中で大規模言語モデル（LLM）の成功要因は、主に AI ストレージの課題解決に向けたAlluxio の最先端のアプローチにあります。

「Solidigm は Alluxio と提携し、優れた分散型 AI キャッシングソリューションを提供しています。Solidigm の D5-P5336 をリードキャッシュとして、D7-PS1010 を Alluxio の最小オーバーヘッドソリューションによるチェックポイント書込みに使用することで、大規模な AI ワークロードに対して、コストとパフォーマンスの最適ミックスをお客様にご提供できます。このソリューションを最適化し、Solidigm D7-PS1010 Gen5 TLC SSD の書込み帯域幅と Solidigm D5-P5336 Gen4 QLC の読取帯域幅を最大限に活用しながら、TLCおよび QLC SSD の書込み増幅率を1.02 で維持しました。 Solidigm 戦略企画・マーケティング担当の上級副社長 グレッグ・マトソン氏は、「弊社は、お客様の AI ニーズに応えるため、コストとパフォーマンスを最適化し、オーバーヘッドを最小限に抑えたソリューションを引き続き提供していきたいと考えている」と述べています。

Alluxio DORA キャッシュアーキテクチャの主な利点

DORA（Decentralized Object Repository Architecture の略）はAlluxio の次世代アーキテクチャです。DORA は分散キャッシングストレージシステムとして、低レイテンシ、高スループット、コスト削減を実現しながら、AIワークロード向けの高性能データアクセスレイヤーを提供することを目指しています。DORAは、分散型ストレージとメタデータ管理を活用することで、より高いパフォーマンスと利便性を実現し、プラグイン可能なデータセキュリティとガバナンスを提供することで、よりスケーラブルで効率的な大規模データアクセス管理を可能にします。

DORAの建築目標

1. スケーラビリティ：スケーラビリティは DORA にとって最優先事項であり、AI トレーニングなどのデータ集約型アプリケーションの需要に応えるため、数十億のファイルをサポートする必要があります。
2. 高可用性： DORAのアーキテクチャは、高可用性を念頭に設計されており、99.99% の稼働率とマスターレベルでの単一障害点に対する保護機能を備えています。
3.  パフォーマンス：パフォーマンスもDORAの重要な目標であり、AIワークロードにおけるモデルのトレーニングやモデルの提供の速度、GPU の利用率を優先しています。

このアーキテクチャは、次の 4つの主要コンポーネントで構成されています：サービスレジストリ、スケジューラ、クライアント、ワーカー。これらのコンポーネントは、サービスディスカバリー、分散負荷スケジューリング、データストレージなどのタスクを管理し、システム全体の最適なパフォーマンスを維持します。

NVMe ストレージ関連の技術的ハイライト

1. Page Data Store は SSD の最大性能を活用し、最高のWAFと耐久性を維持することができます

DORA は、キャッシュストレージに実戦でテスト済みのページストアモジュールを使用しており、大容量ファイルに対する小規模から中規模の読み取りリクエストのよりきめ細かいキャッシングを可能にします。この信頼性の高いページストア技術は、Meta のPresto、Uber、TikTok などのアプリケーションで実証済みです。DORA のきめ細かいキャッシングにより、リード増幅は150分の1に削減され、ファイル位置の読取パフォーマンスは最大15倍に向上しました。 

 Page Data Store は、ジャーナルファイルシステムを活用し、固定サイズの大型チャンクファイルで2つのレベルのディレクトリにデータを整理します。すべての書込みはこれらのチャンクファイルに追加されるため、その中のオブジェクトが削除対象としてマークされた場合、ファイル自体は不要になった時点で削除されます。この設計により、PCIe 5.0 TLC SSD でも最適なパフォーマンスが確保され、SSDの耐久性を最大限に高める SSD 書込み増幅率（WAF）1が維持されます。

例えば、QLC SSD で Alluxio の読取キャッシュを使用する場合、ストレージエンジンは内部またはガベージコレクションWAFを発生させることなくQLCの耐久性を最大限に活用し、QLC NVMe SSD の効率的な動作を保証します。

2. 分散型メタデータストア

DORA は、メタデータが常にアクセス可能で利用可能であることを保証するため、メタデータをすべてのワーカーに配布します。メタデータへのアクセスを最適化するために、DORAはメタデータエントリーに対して2段階のキャッシュシステムを利用しています。キャッシュの第一段階はインメモリキャッシュであり、これはメタデータエントリをメモリに保存します。このキャッシュには、有効期限を設定するための最大容量とタイム・トゥ・ライブ（TTL）設定が用意されています。2番目のキャッシュレベルは永続キャッシュで、RocksDBを使用してメタデータエントリをディスクに保存します。永続キャッシュは、利用可能なディスク容量に応じて無制限に拡張でき、また、TTLベースのキャッシュ削除を使用することで、アクティブな同期や無効化を回避します。保存されたメタデータは、ページストアと同様に、完全なUFSパスによってハッシュ化されます。

インメモリと永続的なキャッシュの組み合わせにより、メタデータが容易に利用可能でアクセス可能であることを保証すると同時に、システムリソースの効率的な利用も可能になります。メタデータの分散化により、メタデータが主にマスターノードによって管理されるアーキテクチャにおけるボトルネックを回避できます。DORA ワーカーあたり最大3,000万から5,000万のファイルを保存できるため、このシステムは数十億のファイルを扱う大規模なデータ集約型アプリケーションをサポートできます。

Solidigm では、インメモリメタデータ設計とRocksDBの組み合わせが最適なメタデータストレージソリューションを提供することを検証しました。この設計は、PCIe 4.0 QLC SSD（読取速度7GB/秒、書込み速度3GB/秒）とPCIe 5.0 TLC SSD（読取速度および書込み速度14.5GB/秒）の読取速度と書込み速度を最大限に活用しています。さらに、RocksDB はスキップリストベースの書込みバッファを使用することで、多数の小さな書込みをより大きな、連続した2MBの書込みに統合します。これで効率性が高くなり、SSD WAFを最小限に抑えて、SSDの耐久性をさらに向上できます。

性能テスト：Solidigm™とAlluxio
D7-PS1010 と D5-P5336

テスト構成

最近、Intel の Gen5 BNC ストレージサーバーにSolidigm D7-PS1010とD5-P5336 SSD を搭載した実験で、Alluxio は高速データ取り込みと読取性能、特にGPUスケーリングにおけるその能力を実証しました。主な成果には以下が含まれます：

• キャッシュ読込み効率：Alluxioキャッシュエンジンは、PCIe 5.0 TLC SSDへの書込み中に、UFS QLCストレージの最大読取帯域幅を効果的に最大まで引き上げました。
• ヒューズ読取テスト：AlluxioのFUSE（Filesystem in Userspace）フレームワークは、PCIe 5.0 SSDの読み取り帯域幅をほぼ飽和させ、NVMe SSDのキャッシュヒット処理時のオーバーヘッドを最小限に抑えることが実証されました。

Alluxio ストレージエンジンのパワーをアピールするために、迅速な展開が可能なシングルノードのテスト環境を構築しました。Alluxio の最大の強みは、GPUで拡張でき、南北ストレージ帯域幅のオーバーヘッドを大幅に削減できるホスト側の分散レプリケートキャッシュを活用する能力にあることに注目することが大切になります。シングルノードのセットアップでも、特に高性能 NVMe SSD と組み合わせた場合、Alluxio は卓越した効率性を発揮します。このテストでは、キャッシュを PCIe 5.0 TLC またはPCIe 4.0 QLC のいずれかで構成し、その下位のファイルストア（UFS）には PCIe 4.0 QLC を使用しています。

重要なポイント

1. Alluxioのキャッシュロードエンジンは非常に効率的で、UFS QLCの最大読取帯域幅を最大限に活用し、PCIe 5.0 TLCキャッシュSSDにデータをインポートすることができます。UFSが10GB/秒の読取帯域幅をサポートしている場合でも、AlluxioはSolidigm D7-PS1010の9.3GB/秒の書込み帯域幅を簡単に飽和させることができます。

2. XFS ジャーナルファイルシステムを基盤とするAlluxio のページキャッシュストレージエンジンは、Solidigm Alluxio FIO エミュレータを使用して厳格にテストされており、長寿命です。結果は、TLC または QLC SSD の使用の有無に関係なく、Alluxio は WAF 1.02を達成していることを示しています。この理想に近いWAF 1は、SSD のパフォーマンスと耐久性を最大限に引き出し、エンドユーザーに最適な結果をもたらします。

FUSEの読み込みオーバーヘッドは最小限です。SSD キャッシュで 100%のキャッシュヒットを記録し、DRAM ページキャッシュをバイパスして FUSE の読取を行う場合、FUSEフレームワークは単一のPCIe 5.0 SSDの読取帯域幅をほぼ飽和状態にし、14.8GB/秒に達します。

高密度キャッシュソリューションをお求めのお客様には、Solidigm の 61.44TB QLC SSD が理想的な選択肢です。Alluxio のストレージエンジンは WAF との親和性が高く、書込みが最小限のリード負荷の高いキャッシュとして優れており、QLCはリードキャッシュパスに最適です。Alluxio の効率的な設計により、シーケンシャルライトPBWが213PB の QLC キャッシュデバイスの耐久性を推定することができ、Solidigm は最大 213ペタバイトのデータ書込みをサポートしていることになります。5年間の使用率が50%という高い基準を満たす場合でも、QLC の書込み帯域幅2900MB/s はそのままサポートされ、ほぼ最大値に達しています。さらに、QLC は SSD あたり最大 6GB/秒のランダム読取帯域幅を提供し、非常にコスト効率の高いAlluxio AIキャッシュシステムの構築を可能にします。

Solidigm SSD が Alluxio にどのように最適なストレージを提供するのか

リードキャッシュの場合、Solidigm D5-P5336 61.44TB QLC SSD は、優れたパフォーマンスと拡張性を提供します。PCIe 5.0 Solidigm D7-PS1010は、チェックポイント書込みにおいて、世界トップクラスの書込み性能を実現します。

Alluxio エンジニアリング担当の副社長 スアン・ドゥー氏は、「Solidigmチームと緊密に協力し、Solidigm SSD および NVMeドライブで Alluxio の分散型キャッシュ技術を実行した場合のパフォーマンス上の利点を検証した。当社の協力により、Solidigmドライブを活用した大規模なAIワークロードのI/Oスループットを最大化するため、Alluxioをさらに最適化することができた。」と述べています。 

   Xuan Du
   Alluxioのエンジニアリング担当副社長

Alluxio と Solidigm の提携を通じ、Solidigm TLC と QLC SSD の両方により Alluxio のサービスを大幅に強化し、運用コストを削減することが実証されました。また、Solidigm では、Alluxio 専任のカスタマーケアチームを配備して優れたサポートを提供したことで、品質と信頼性の基準が引き上げられています。