AlluxioとSolidigmがAIワークロード向けの高度なキャッシングソリューションを共同開発

概要

AIキャッシングソリューションの世界的リーダーであるAlluxioは、GPUベースAIワークロード向けに最速のキャッシュを提供しています。その拡張可能なアーキテクチャーは、数万ノードをサポートし、ストレージ帯域幅の消費を大幅に削減します。世界中で大規模言語モデル（LLM）の成功要因は、主にAIストレージの課題解決に向けたAlluxioの最先端のアプローチにあります。

「SolidigmはAlluxioと提携し、優れた分散型AIキャッシングソリューションを提供しています。SolidigmのD5-P5336を読み取りキャッシュとして、D7-PS1010をAlluxioの最小オーバーヘッドソリューションによるチェックポイント書き込みに使用することで、大規模なAIワークロードに対して、コストとパフォーマンスの最適な組み合わせをお客様にご提供できます。このソリューションを最適化し、Solidigm D7-PS1010 Gen5 TLC SSDの書き込み帯域幅とSolidigm D5-P5336 Gen4 QLCの読み取り帯域幅を最大限に活用しながら、TLCおよびQLC SSDの書き込み増幅率を1.02で維持しました。弊社は、お客様のAIニーズに応えるため、コストとパフォーマンスを最適化し、オーバーヘッドを最小限に抑えたソリューションを引き続き提供していきたいと考えています。」とSolidigm戦略企画・マーケティング担当の上級副社長グレッグ・マトソン氏は述べています。

Alluxio DORAキャッシュアーキテクチャーの主な利点

DORA（Decentralized Object Repository Architectureの略）はAlluxioの次世代アーキテクチャーです。DORAは分散キャッシングストレージシステムとして、低レイテンシ、高スループット、コスト削減を実現しながら、AIワークロード向けの高性能データアクセスレイヤーを提供することを目指しています。DORAは、分散型ストレージとメタデータ管理を活用することで、より高いパフォーマンスと利便性を実現し、プラグイン可能なデータセキュリティとガバナンスを提供することで、よりスケーラブルで効率的な大規模データアクセス管理を可能にします。

DORAのアーキテクチャー目標

1. スケーラビリティ：スケーラビリティはDORAにとって最優先事項であり、AIトレーニングなどのデータ集約型アプリケーションの需要に応えるため、数十億のファイルをサポートする必要があります。
2. 高可用性：DORAのアーキテクチャーは、高可用性を念頭に設計されており、99.99%の稼働率とマスターレベルでの単一障害点に対する保護機能を備えています。
3. パフォーマンス：パフォーマンスもDORAの重要な目標であり、AIワークロードにおけるモデルのトレーニングやモデルの提供の速度、GPUの利用率を優先しています。

このアーキテクチャーは、サービスレジストリ、スケジューラ、クライアント、ワーカーの4つの主要コンポーネントで構成されています。これらのコンポーネントは、サービスディスカバリー、分散負荷スケジューリング、データストレージなどのタスクを管理し、システム全体の最適なパフォーマンスを維持します。

NVMeストレージ関連の技術的ハイライト

1. Page Data StoreはSSDの最大のパフォーマンスを活用し、最高の書き込み増幅率（WAF）と耐久性を維持することができる

DORAは、キャッシュストレージに実戦でテスト済みのページストアモジュールを使用しており、大容量ファイルに対する小規模から中規模の読み取りリクエストのよりきめ細かいキャッシングを可能にします。この信頼性の高いページストア技術は、MetaのPresto、Uber、TikTokなどのアプリケーションで実証済みです。DORAのきめ細かいキャッシングにより、読み取り増幅は150分の1に削減され、ファイル位置の読み取りパフォーマンスは最大15倍に向上しました。

Page Data Storeは、ジャーナルファイルシステムを活用し、固定サイズの大型チャンクファイルで2つのレベルのディレクトリにデータを整理します。すべての書き込みはこれらのチャンクファイルに追加されるため、その中のオブジェクトが削除対象としてマークされた場合、ファイル自体は不要になった時点で削除されます。この設計により、PCIe 5.0 TLC SSDでも最適なパフォーマンスが確保され、SSDの耐久性を最大限に高めるSSD書き込み増幅率（WAF）が1に維持されます。

例えば、QLC SSDでAlluxioの読み取りキャッシュを使用する場合、ストレージエンジンは内部またはガベージコレクションWAFを発生させることなくQLCの耐久性を最大限に活用し、QLC NVMe SSDの効率的な動作を保証します。

2. 分散型メタデータストア

DORAは、メタデータが常にアクセス可能で利用可能であることを保証するため、メタデータをすべてのワーカーに配布します。メタデータへのアクセスを最適化するために、DORAはメタデータエントリに対して2段階のキャッシュシステムを利用しています。キャッシュの第一段階はインメモリキャッシュであり、これはメタデータエントリをメモリに保存します。このキャッシュには、有効期限を設定するための最大容量とタイム・トゥ・ライブ（TTL）設定が用意されています。2番目のキャッシュレベルは永続キャッシュで、RocksDBを使用してメタデータエントリをディスクに保存します。永続キャッシュは、利用可能なディスク容量に応じて無制限に拡張でき、また、TTLベースのキャッシュ削除を使用することで、アクティブな同期や無効化を回避します。保存されたメタデータは、ページストアと同様に、完全なUFSパスによってハッシュ化されます。

インメモリと永続キャッシュの組み合わせにより、メタデータが容易に利用可能でアクセス可能であることを保証すると同時に、システムリソースの効率的な利用も可能になります。メタデータの分散化により、メタデータが主にマスターノードによって管理されるアーキテクチャーにおけるボトルネックを回避できます。DORAワーカーあたり最大3,000万から5,000万のファイルを保存できるため、このシステムは数十億のファイルを扱う大規模なデータ集約型アプリケーションをサポートできます。

Solidigmでは、インメモリメタデータ設計とRocksDBの組み合わせが最適なメタデータストレージソリューションを提供することを検証しました。この設計は、PCIe 4.0 QLC SSD（読み取り速度7GB/秒、書き込み速度3GB/秒）とPCIe 5.0 TLC SSD（読み取り速度および書き込み速度14.5GB/秒）の読み取り速度と書き込み速度を最大限に活用しています。さらに、RocksDBはスキップリストベースの書き込みバッファを使用することで、多数の小さな書き込みをより大きな、連続した2MBの書き込みに統合します。これで効率性が高くなり、SSD WAFを最小限に抑えて、SSDの耐久性をさらに向上できます。

性能テスト：Solidigm™とAlluxio
D7-PS1010とD5-P5336

テスト構成

最近、IntelのGen5 BNCストレージサーバーにSolidigm D7-PS1010とD5-P5336 SSDを搭載した実験で、Alluxioは高速データ取り込みと読み取り性能、特にGPUスケーリングにおけるその能力を実証しました。主な成果には以下が含まれます：

• キャッシュ読込み効率：Alluxioキャッシュエンジンは、PCIe 5.0 TLC SSDへの書き込み中に、UFS QLCストレージの最大読み取り帯域幅を効果的に最大まで引き上げました。
• ヒューズ読み取りテスト：AlluxioのFUSE（Filesystem in Userspace）フレームワークは、PCIe 5.0 SSDの読み取り帯域幅をほぼ飽和させ、NVMe SSDのキャッシュヒット処理時のオーバーヘッドを最小限に抑えることが実証されました。

Alluxioストレージエンジンのパワーをアピールするために、迅速な展開が可能なシングルノードのテスト環境を構築しました。Alluxioの最大の強みは、GPUで拡張でき、南北ストレージ帯域幅のオーバーヘッドを大幅に削減できるホスト側の分散レプリケートキャッシュを活用する能力にあることに注目することが大切になります。シングルノードのセットアップでも、特に高性能NVMe SSDと組み合わせた場合、Alluxioは卓越した効率性を発揮します。このテストでは、キャッシュをPCIe 5.0 TLCまたはPCIe 4.0 QLCのいずれかで構成し、その下位のファイルストア（UFS）にはPCIe 4.0 QLCを使用しています。

重要なポイント

1. Alluxioのキャッシュロードエンジンは非常に効率的で、UFS QLCの最大読み取り帯域幅を最大限に活用し、PCIe 5.0 TLCキャッシュSSDにデータをインポートすることができます。UFSが10GB/秒の読み取り帯域幅をサポートしている場合でも、AlluxioはSolidigm D7-PS1010の9.3GB/秒の書き込み帯域幅を簡単に飽和させることができます。

2. XFSジャーナルファイルシステムを基盤とするAlluxioのページキャッシュストレージエンジンは、Solidigm Alluxio FIOエミュレータを使用して厳格にテストされており、長寿命です。結果は、TLCまたはQLC SSDの使用の有無に関係なく、AlluxioはWAF 1.02を達成していることを示しています。この理想に近いWAF 1は、SSDのパフォーマンスと耐久性を最大限に引き出し、エンドユーザーに最適な結果をもたらします。

FUSEの読み込みオーバーヘッドは最小限です。SSDキャッシュで100%のキャッシュヒットを記録し、DRAMページキャッシュをバイパスしてFUSEの読み取りを行う場合、FUSEフレームワークは単一のPCIe 5.0 SSDの読み取り帯域幅をほぼ飽和状態にし、14.8GB/秒に達します。

高密度キャッシュソリューションをお求めのお客様には、Solidigmの61.44TB QLC SSDが理想的な選択肢です。AlluxioのストレージエンジンはWAFとの親和性が高く、書き込みが最小限で読み取り負荷の高いキャッシュとして優れており、QLCは読み取りキャッシュパスに最適です。Alluxioの効率的な設計により、シーケンシャル書き込みPBWに基づいて213PBのQLCキャッシュデバイスの耐久性を推定することができ、Solidigmは最大213ペタバイトのデータ書き込みをサポートしていることになります。5年間の使用率が50%という高い基準を満たす場合でも、QLCの書き込み帯域幅2900MB/sはそのままサポートされ、ほぼ最大値に達しています。さらに、QLCはSSDあたり最大6GB/秒のランダム読み取り帯域幅を提供し、非常にコスト効率の高いAlluxio AIキャッシュシステムの構築を可能にします。

Solidigm SSDがAlluxioにどのように最適なストレージを提供するのか

読み取りキャッシュの場合、Solidigm D5-P5336 61.44TB QLC SSDは、優れたパフォーマンスとスケーラビリティを提供します。PCIe 5.0 Solidigm D7-PS1010は、チェックポイント書き込みにおいて、世界トップクラスの書き込み性能を実現します。

Alluxioエンジニアリング担当の副社長スアン・ドゥー氏は、「Solidigmチームと緊密に協力し、Solidigm SSDおよびNVMeドライブでAlluxioの分散型キャッシュ技術を実行した場合のパフォーマンス上の利点を検証しました。このコラボレーションを通して、Alluxioをさらに最適化し、Solidigmドライブを活用して大規模なAIワークロードのI/Oスループットを最大化することができました。」と述べています。

   Xuan Du（スアン・ドゥー）
   Alluxioのエンジニアリング担当副社長

AlluxioとSolidigmの提携を通じ、Solidigm TLCとQLC SSDの両方によりAlluxioのサービスを大幅に強化し、運用コストを削減することが実証されました。また、Solidigmでは、Alluxio専任のカスタマーケアチームを配備して優れたサポートを提供したことで、品質と信頼性の基準が引き上げられています。