BlueField-3 DPU 上で動作する CSAL 搭載の AI 推論向けストレージ

大規模言語モデル (LLM) の急速な発展に伴い、マルチターン 会話や長文コンテキスト処理における AI 推論のパフォーマンスを 最適化 するための効率的な Key-Value キャッシュ (KV キャッシュ) 管理が急務となっています。このホワイトペーパーでは、クラウドストレージ高速化レイヤー1 (CSAL) と BlueField-3 データ処理ユニット 2 (DPU) の統合について考察し、柔軟なストレージアーキテクチャを通じて、高同時実行型 AI ワークロードにおける KV キャッシュのストレージ課題を解決する方法を取り上げます。

このアーキテクチャは、大容量 SSD と高性能 SSD を組み合わせ、システムレベルで柔軟な構成を可能にします。CSAL を 1 基または複数の DPU と組み合わせ、データ準備、学習、推論、検索拡張生成 (RAG) など、さまざまな AI ワークロード段階の特定の要件に基づいて、大容量 SSD、高性能 SSD、またはキャッシュ層ストレージリソース間でデータを動的に割り当てることにより、スループットを大幅に向上させ、最初のトークンまでの時間 (TTFT) を大幅に短縮することができます。 


著者紹介

Wayne Gaoは、Solidigmのプリンシパルエンジニア兼ストレージソリューションアーキテクトです。 Solidigmのクラウドストレージ高速化レイヤー(CSAL)に、初期開発から商用リリースまで携わってきました。  Wayneはストレージ開発者として20年以上の経験があり、米国で4件の特許を出願/取得しており、公開されている EuroSys 論文の著者でもあります。

Li Boは、Solidigmのシニアストレージ ソリューション アーキテクト です。複数の企業で20年以上システム設計と開発に携わった経験があり、ネットワークおよびストレージソリューションのパフォーマンス最適化を専門としています。  近年は、不揮発性ストレージ技術の業界全体への普及に力を注いでいます。

Mariusz Barczak(マリウシュ・バルチャク) は、  Solidigm のプリンシパルエンジニアです。ストレージソフトウェアとストレージソリューションにおけるイノベーションで 13 年以上の経験があります。特に、キャッシュソリューション、ソフトウェア定義ストレージ、仮想化、ストレージ解析を専門としています。多数の特許を保有し、オープンソースコミュニティで積極的に活動しています。 現在は、Solidigm のCloud Storage Acceleration Layer(CSAL)チームの指揮に注力しています。このチームは、効率的で耐久性のあるストレージを提供する目的で、 Solidigm SLC SSDを Solidigm QLC SSDなどの他のストレージコンポーネントと組み合わせた混合メディアソリューションを提供しています。 

Sarika Mehta(サリカ・メヘタ)は、Solidigmのシニアストレージソリューションアーキテクトです。Intelのストレージ部門およびSolidigmでのキャリアを通じて、16年以上のストレージ経験があります。Solidigmのお客様やパートナー企業との緊密な連携を通して、コストとパフォーマンスを両立するストレージソリューションの最適化に注力しています。直接接続されたストレージから階層型および非階層型の分散ストレージソリューションまで、さまざまなストレージ導入におけるユースケースで、SolidigmのSSDのチューニングと最適化を担当しています。さらに、検証、パフォーマンスベンチマーク、パスファインディング、テクニカルマーケティング、ソリューションアーキテクチャーにおける多様なストレージの経歴があります。

Scott Werntz(スコット・ワーンツ)は、Solidigmのソリューションアーキテクトです。データセンターの設計とクラウドコンピューティング分野において、30年を超える業界経験があります。AI、IoT、仮想化ワークロード、ソフトウェア定義ストレージの登場に伴い、これらの新興テクノロジーについての専門知識を拡大し、変化するストレージソリューションのニーズに最適なアプローチをクライアントが理解できるよう支援しています。データセンターでの実務経験に加え、数多くの業界認定資格を保持しています。

Kapil Karkra(カピル・カルクラ) は、 Solidigm のシニアプリンシパルエンジニアです。AI インフラストラクチャをサポートする次世代ストレージソリューションのソフトウェアおよびソリューションの技術探索を担当しています。RAIDとキャッシングを備えたホストベースの FTL であるクラウドストレージ加速化レイヤー(CSAL)の進化、ミックスメディア(MM)やフレキシブルデータプレースメント(FDP)などのテクノロジーの市場投入、ハードウェアとソフトウェアを統合してAIとクラウドワークロード向けの高密度NAND SSD(QLC、PLC、HLC)の採用を加速するターンキーリファレンスアーキテクチャの定義が主な職務です。インドの国立工科大学 (NIT) で電気工学の学士号、アリゾナ州立大学で MBA を取得しました。

参考資料

  1. https://www.solidigm.com/products/software/csal.html
  2. https://www.nvidia.com/content/dam/en-zz/Solutions/Data-Center/documents/datasheet-nvidia-bluefield-3-dpu.pdf