AI時代の液冷SSD

放熱の課題をシステムレベルの価値創出につなげる

未定
未定

AIおよびHPCシステムの電力密度が高まり続ける中、ハイエンドな選択肢であった液体冷却が標準的なアーキテクチャとなりつつあります。GPUやCPUでは先行してそのような移行が起こっており、ストレージ(SSD)が次の重要なコンポーネントとして浮上しています。

ここでの問題はSSDが他のストレージと比べて3秒速くなるかといった話ではなく、よりシステム全体に関わる問題となっています。コンピューティングが本格的な液冷時代に突入した後も、空冷式SSDを使い続けていると、パフォーマンス、消費電力、そしてROIはどうなるでしょうか。

Solidigmがどのようにしてこのようなシステム全体の制約を独自の液冷SSDソリューションで解決したのか、ぜひ続きをご覧ください。

問題は SSDの熱挙動がシステムのボトルネックとなりつつあること

eSSDの進化が、ストレージの熱および電力面での負荷を押し上げている

データストレージは深刻な不均衡に直面しています。PCIeプロトコルが4.0から7.0へと進化するにつれ、SSDのドライブあたりの消費電力は25Wから60Wへと跳ね上がっていきました。コンピューティングノードが完全に液冷化されているAIアーキテクチャにおいて、ストレージの放熱には依然として"送風"という旧時代の技術がそのまま使われています。SSDの電力密度の飛躍的な向上と、時代遅れの放熱手法との間で明白な世代レベルでのギャップが生じており、これがシステム全体の信頼性を制限しています。

eSSDの温度はパフォーマンスに徐々に低下させるどころか、システム障害の直接的な原因となる 

 スロットリングなししきい値1しきい値2
SSD温度<77°C≥77°C≥79°C
SSDパフォーマンス100%〜58%<1%

表1. SSDの温度とパフォーマンスのしきい値

この表の数値は何を意味しているのでしょうか? SSDが限界温度に達すると、データチャネルはほぼ完全に遮断されてしまいます。

AIシステムにおいて、この挙動が引き起こす問題は局所的なものにとどまらず、急速に増幅する可能性があります。

eSSDの熱暴走は、システムパス全体に影響を増幅させる

Solidigmのコールドプレート冷却ソリューションにおけるSSD温度上昇の影響 図1. SSD温度上昇の影響

その結果、単に"SSDの速度が低下する"だけでなく、AIサーバー内で最も高価なGPUがアイドル状態になり始めてしまいます。

従来の空冷式SSDは、もはやAIシステムには適していない

高消費電力SSDにおける空冷の物理的および経済的限界

SSD向け空冷の限界とSolidigmのコールドプレート冷却ソリューション 図2. 空冷の限界

SSDの消費電力が40W~60Wに近づくと、以下のような状況となります。

  • 吸気条件が35°C未満である必要が生じる
  • より強力な風量とより多くのファンが必要となる
  • 消費電力と騒音が大幅に増加する

これにより冷却コストが増加するのみならず、システム密度も制限されます。

GPU/CPUの液冷化により空冷SSDの環境はさらに悪化

GPUとCPUが液冷に切り替わると、次のような状況に陥ります。

  • サーバー内部のエアダクト構造が再設計される
  • SSDが放熱には不利となる場所に配置される傾向にある

その結果、高価なAIサーバーにおいて、SSDが熱による影響を最も受けやすいコンポーネントの一つとなります。

液冷SSDにおける課題と設計上の考慮事項

完全液冷式SSDを搭載したSolidigmのコールドプレート冷却ソリューション 図3. Solidigmの完全液冷式SSDソリューション

液冷SSDで中核となる課題は、ドライブへのコールドプレートの取り付けではありません。むしろ、その鍵は次の点にあります。

  • 基板両面が発熱するという根本的な熱特性への対処
  • 液冷環境におけるホットプラグ機能の実現
  • 標準化に向けた実現可能な道筋の策定

最終的には、液冷ストレージアーキテクチャをシステムレベルで見直す必要があります。

基板両面の熱管理を単一プレートの冷却で実現

従来のE1.S SSDでは、コントローラー、DRAM、NANDコンポーネントがプリント基板(PCB)の両面に分散して配置されています。ドライブの片面のみにコールドプレートを取り付けると、反対側が熱的な死角となり、放熱において本質的な制約が生じます。

この課題に対処するには、アーキテクチャを変更して単一のコールドプレートでPCBの両面から熱を吸収できるようにする必要があります。これによりSSD単体の熱性能を向上できるだけでなく、液冷によるシステム全体での熱回収量も高められます。 

ホットスワップ対応の液冷コールドプレートソリューション

実運用環境において、液冷には根本的なトレードオフが伴います。効果的な熱伝導を実現するためには、コールドプレートとSSDの間に十分な圧力をかける必要がありますが、過度に締め付けすぎるとホットプラグ機能が失われます。

精密に設計されたメカニズムを導入することで、SSDとコールドプレート間で最適な熱伝達を実現する強固な物理的接触を保ちつつ、メンテナンス時には即座に取り外すことが可能になります。これにより、システムのシャットダウンや冷却液の遮断を行うことなくホットプラグや保守が可能となり、空冷環境に匹敵する運用体験を実現できます。

高い保守性を維持することは不可欠です。そうでなければ、液冷SSDは実用的な量産ソリューションとならず、データセンターへの導入が難しい技術となってしまいます。

標準化:スケーラブルな導入のための前提条件

液冷SSDの標準化は、高密度で電力効率の高い、完全液冷のデータセンターアーキテクチャを実現するための重要な一歩です。業界の主要各社は、正式な仕様の策定と採用を積極的に推進しています。SolidigmはSNIAと協力し、E1.Sフォームファクタ向けの液冷実装を定義するSFF TA-1006(Rev 2.0)仕様を発表しました。これは、独自のカスタムビルドソリューションの設計から、オープンで使い回しの利く標準の確立への業界の移行を示すものです。

本仕様では、熱性能で予測可能性と再現可能性を確保するため、コールドプレートの接触面積、表面の平面度、粗さの公差といったパラメータを厳密に定義しています。さらに、面取りエッジ設計などの特徴により、高い接触圧力条件下での機械的挿抜における課題に対処しています。

この取り組みの核心的な価値は、液冷SSDを個別のカスタムエンジニアリングから、標準化され量産可能なコンポーネントへと変革し、データセンターにおける産業規模での導入に向けた強固な基盤を確立することにあります。

オープンデータセンター委員会(ODCC)とのパートナーシップ

次世代データセンターにおける液冷技術の標準化と大規模な導入を加速させるには、今後、エコシステムレベルの連携が不可欠となります。2014年に設立されたODCCは、中国のデータセンター業界における主要なオープンプラットフォームとなっています。ODCCは、サーバー、ネットワーク、液冷、エッジインフラ、データセンター設備全般において、技術の標準化とイノベーションを積極的に推進してきました。また、成熟した幅広い技術仕様をオープンな形で策定してきました。

ODCCと緊密に連携することで、企業は自社の液冷製品やソリューションを先進的な業界標準に適合させやすくなり、タイムリーな技術的洞察を得るとともに、ODCCのエコシステムにおける影響力やプラットフォームの信頼性を活用できます。こうした連携が行われることで、市場での受容の加速、ソリューションの信頼性の向上、効率的かつ信頼性の高い持続可能な液冷インフラの広範な展開が進む一助となります。 

ODCCは本記事をODCCチャネル経由で公開1することで、スケーラブルかつ効率的な液冷技術の採用を進めるデータセンターのエコシステムに対し、業界をリードする液冷SSD設計に関するSolidigmの知見を共有する支援をしています。

SSD冷却ソリューションに向けたSolidigmのコールドプレート設計の改善 図4. SSDコールドプレート設計の改善

液冷SSDがシステム設計とROIにもたらす当然の帰結

液冷式を導入することで、SSDはスロットリングが発生しない範囲で長期間動作できるようになり、継続的かつ安定したデータ供給が確保されます。この安定性により、ストレージ側の冷却ボトルネックに起因するGPUのアイドル時間(ウェイトステート)を直接的に解消でき、コンピューティングリソースを最大限に活用し続けることが可能になります。システムの観点から見ると、ROIの向上は目標として追い求める必要はなくなり、ストレージアーキテクチャとコンピューティング要件との物理的な整合性から生まれる自然な帰結となります。

完全液冷式SSDを搭載したSolidigmのコールドプレート冷却ソリューションのメリット 図5. コールドプレート冷却のメリット

サーバーレベル、さらにはデータセンター全体において、液体冷却式SSDは局所的な最適化だけでなく、システム効率の全体的な向上をもたらします。従来の手法と比較して、液体冷却は同等の放熱要件下において空冷よりも電力消費を大幅に低減できます。また、高密度かつファンレスの設計と組み合わせることで、ラックの占有スペースを大幅に削減し、継続的な運用および保守の複雑さを軽減します。アーキテクチャを合理化できるので、データセンターの電力効率の大幅な改善に直結し、コンポーネントレベルからインフラ全体に至るまでメリットをもたらします。

液冷ストレージ:AIシステムを支えるクローズドループ

今日のAIアーキテクチャでは、GPUがコンピューティングを担い、ストレージがデータ供給を維持する役割を担っています。実際の運用環境において、これら2つのコンポーネントが安定して継続的に連携できるかを左右するのが、冷却ソリューションです。Solidigmの液冷SSDソリューションは、単にコンポーネントを冷却するためだけではなく、コンピューティングとストレージの間の世代レベルのギャップを埋めるように設計されています。当社のアプローチはAIシステム全体において、極限のパフォーマンス、全体的な電力効率、そしてアーキテクチャの一貫性の間で、安定した物理的バランスを達成することを可能にします。このような深いシステムレベルの結合が実現すれば、ROIの向上は、もはやビジネス指標の一つとして追い求める必要はなく、この技術的バランスによって必然的に生み出される当然の結果となるでしょう。


著者紹介

Wayne Gao(ウェイン・ガオ)は、Solidigm の主任エンジニアおよびストレージソリューションアーキテクトです。Solidigm のクラウドストレージ高速化レイヤー(CSAL)に取り組み、初期の開発から商用リリースに至るまで携わってきました。Wayneは20年以上のストレージ開発経験を持ち、米国で4件の特許出願/取得実績があり、EuroSysの論文の著者でもあります。

Li Bo(リ・ボー)はSolidigmのシニアストレージソリューションアーキテクトを務めています。20年以上にわたり複数の組織でシステム設計と開発に携わり、特にネットワークおよびストレージソリューションのパフォーマンス最適化を専門としています。近年は、不揮発性ストレージ技術の業界全体への普及に力を注いでいます。 

Hardeep Singh(ハルディープ・シン)は、データセンター向け次世代SSDのサーマルメカニカルソリューションに注力する、サーマルメカニカルエンジニアリングマネージャー兼主任技術者です。半導体、ターボ機械、発電所、電子機器冷却の分野で18年以上の経験を持ち、空冷、直接液冷、および液浸冷却SSD技術を開発するチームを率いています。Hardeepは、アリゾナ州立大学にて機械工学の修士号を取得しています。

参考資料

  1. https://mp.weixin.qq.com/s/1FmZOBZVca5rvCwP1nD4Dw