ストリーミングシリーズのお気に入りのエピソードをもう一度見返したことがあるなら、きっと「前回までのあらすじ」の便利さを実感したことがあるでしょう。それがなければ、内容を思い出すために前回のエピソードを見直す時間を無駄にしてしまうかもしれません。
しかし、多くの AI 推論システムにはそのような余裕がありません。ユーザーがドキュメントを再び参照したり、以前のコンテキストを再び参照したりするたびに、モデルは多くの場合、最初からすべてを再計算します。これにより、GPU の計算リソースが消費され、ユーザーはすでに扱った内容に対する回答を得るためだけに、数十秒も待たされることになります。
大規模環境において、この問題はキーバリュー（KV）キャッシュに保存されたコンテキストメモリだけにとどまりません。検索拡張生成（RAG）を支えるベクトルデータベースにまでおよび、知識を検索可能な状態に保つだけでメモリコストが膨れ上がります。
その結果、AI は簡単に忘れてしまい、記憶するにはコストがかかりすぎるという状況になります。こちらにリンクされた新しいホワイトペーパーでは、Solidigm と Metrum AI が SSD を活用することで AI システムに持続的な「記憶」を与え、想起のたびに高価なコストを支払う必要がなくなる仕組みを紹介しています。この取り組みには、ストレージ分野に深い専門知識を持つデータセンターインフラのプロバイダーである FarmGPU も協力しています。
AI の推論パイプラインは、2 つの方向に同時に成長しています。一方は、RAG アプリケーションが数億件の組み込みに達する大規模なベクトルデータベースに依存しています。もう一方では、大規模言語モデルがますます長いコンテキストを処理するようになり、高速な応答時間を維持するためにアクセス可能な状態で保持しておく必要のある巨大な KV キャッシュが生成されています。
従来、これら両方の課題は、DRAM や GPU メモリをさらに増やすことで対処されてきました。しかし、このアプローチは現在、経済的にも物理的にも厳しい限界に直面しています。
私たちの研究では、1 億ベクトル規模のインメモリ・ベクトルインデックスを構築する場合、300GB を超える DRAM が必要になることが確認されています。同時に、約 18 万トークンで構成される単一の長文コンテキスト文書は、GPU の VRAM の 90％ 以上を消費する可能性があり、同時処理や再利用のための余裕がほとんど残りません。
その結果、価値の拡大よりもコストの増加の方が速いシステムになってしまいます。
この研究で最も明確に示された結果の 1 つは、SSD にオフロードされたベクトル検索が、RAG におけるコストとパフォーマンスの関係を根本的に変えるという点です。
Solidigm™ D7-PS1010 SSD に保存されたベクトルデータと DiskANN インデックスを使用することで、テストシステムでは、1 億ベクトル時に必要な DRAM 容量を 331GB から 116GB へと削減しました。これは 65％ の削減でありながら、精度を犠牲にすることはありませんでした。実際、大規模環境においてもリコール率は 99％ 以上を維持しました。
パフォーマンス面でも改善が見られました。本番環境を想定した同時実行数（1,024 スレッド）において、SSD にオフロードされた DiskANN は、DRAM ベースの HNSW インデックスと比較してクエリスループットが 14％ 高く、平均レイテンシとテイルレイテンシの両方も低く抑えられました。これは、データをストレージへ移動すると必ず処理が遅くなるという従来の前提に疑問を投げかける結果です。
RAG パイプラインにとって、この意味は非常に重大です。組織は、サーバーをますます大容量のメモリ構成に合わせて再設計するのではなく、SSD 容量を追加するだけで、ナレッジベースを数百万ベクトル規模から数億ベクトル規模へと拡張できるようになります。
ベクトル検索は、この課題の半分に過ぎません。AI 推論におけるもう 1 つの大きなボトルネックは、大規模言語モデルのアテンション計算の過程で生成される KV キャッシュです。
オフロードを行わない場合、以前に解析したドキュメントに戻るたびに、システムは KV キャッシュ全体を再計算する必要があります。大きなプロンプトの場合、最初のトークンが返されるまでに 30〜40 秒かかる可能性があります。この遅延は、特にユーザーが複数のドキュメントを行き来するような調査や分析のワークフローに大きな支障をきたします。
このホワイトペーパーでは、メモリ階層を拡張し、アクティブな KV データは GPU メモリに保持しながら、追加のコンテキストを Solidigm SSD に保存する構成によって、この体験が大きく変わることを示しています。
キャッシュされた KV テンソルを再計算するのではなく、SSD から取得した場合、最初のトークンが返されるまでの時間は約 39 秒からわずか 1.43 秒へと短縮され、27 倍の改善が確認されました。これにより、モデルは同じコンテキストを 2 度処理する必要がなくなり、GPU はすでに行った処理を繰り返すのではなく、洞察を生み出す処理に計算リソースを使えるようになります。
同様に重要なのは、このアプローチによって、メモリ容量がボトルネックとなるワークロードのために GPU の VRAM を拡張する必要がなくなる点です。SSD は、データの永続化と再利用のためにはるかにコスト効率の高い選択肢を提供します。
ベクトル検索と KV キャッシュのオフロードの両方において、データが示す結論は一貫しています。SSD はもはや単なる容量階層ではありません。適切なソフトウェアアーキテクチャを採用すれば、SSD は AI 推論におけるアクティブなパフォーマンスレイヤーとなります。
合成ベンチマークと本番環境ベンチマークのいずれにおいても、SSD にオフロードされた設計は次の成果を示しました。
長期的な運用を前提に AI システムを構築する企業にとって、これは重要な意味を持ちます。2026 年において、メモリ価格は上昇傾向にあります。GPU リソースは貴重です。すべてを DRAM や VRAM に格納することを前提としたアーキテクチャは、経済的に拡張可能とは言えません。
導き出される結論は明確です。大規模な AI 推論システムは、高性能 SSD の恩恵を受けるだけでなく、それが必須となる段階に来ています。
RAG のデータ構造や KV キャッシュを高性能 NVMe SSD にオフロードすることで、組織はスケール、応答性、そして ROI を制限していたメモリの壁を突破できます。その結果、需要に応じて拡張でき、安定したパフォーマンスを提供し、すべてのコンピューティング投資をより効率的に活用できる AI インフラが実現します。
AI が毎回学び直すのではなく記憶を活用できるようにすることで、SSD は推論をまさに「前回までのあらすじ」のような体験へと変えます。コンテキストは数秒で復元され、GPU は効率的に稼働し続け、洞察はゼロからやり直す必要がなくなります。
Metrum AI のホワイトペーパーはこちらからご覧ください： Breaking Memory Barriers in Video Analytics White Paper
Ace Stryker（エース・ストライカー）は、Solidigm の AI エコシステムマーケティング担当ディレクターであり、データセンターストレージソリューションのポートフォリオの新たな分野の開発に力を注いでいます。
