データを開放: AIデータ・パイプライン高速化のためのストレージの最適化

ビデオ書き起こし

この書き起こしは、明確性と簡潔性を得るために編集されています。

ゲスト：ウェンデル・ウェンジェン氏 (ストレージ開発ディレクター、Supermicro)、ポール・マクラウド氏 (製品ストレージディレクター、Supermicro)

ウェンデル・ウェンジェン氏: ソリダイムにお礼を申し上げます。 AIフィールド・デイにご招待いただき、ありがとうございます。 ご存知の通り、当社はソリダイムのSSDをサーバーに採用しています。ストレージサーバーとGPU高速化サーバーで利用しています。 ポールから説明させていただきます。 私はウェンデル・ウェンゲンです。 Supermicroでストレージ市場開発担当ディレクターをしています。 横にいるのが、ストレージ製品ディレクターであるポール・マクラウドです。 今日は、いくつかの課題についてお話したいと思います。 今集中している状態にあります。今朝は、ソフトウェアについてたくさんお話しました。 メディアについても簡単に説明しました。 ここでは、このAIトレーニングすべてを実行しているシステム、特にストレージについてお話したいと思います。 AIOpsとMLOpsにおけるストレージの課題、従来のストレージ・アプローチにおけるいくつかの問題、そして数ペタバイト級の多くの顧客に展開した当社のアプローチ、そしてその仕組みについてお話しします。  Supermicroについて少し説明します。ご存じない方のために、当社はサーバー、ストレージ、GPUアクセラレーション・サーバーを提供する企業であり、ネットワーキングも提供しています。 そして、これらすべてを、完全に統合されたラックで提供しています。 拠点はここからわずか5マイルの場所にあります。 今日はサンタクララにいます。約10分ほど進んだ先のサンノゼに本社があり、ラック統合のための製造を多くおこなっています。 当社の注目すべき点は、昨年からの収益が2倍に膨んだことです。 私は、サーバーおよびストレージのビジネスに20年間携わってきました。 私がこの現象を目にしたのは、インテルのサーバー・グループに加わった96年だけです。 まだ始まったばかりでした。 Pentium Proにより、1年で0から10億ドルを手にしました。 ソリダイムのようなメディア企業や、ファイルやオブジェクトのストレージ・ソリューションを提供するソフトウェア企業とともに、AIを可能にするあらゆるシステムのプロバイダーにとって、今は非常にエキサイティングな時です。 当社についてもう少し説明します。 私たちはここシリコンバレーで製造しているだけではありません。 台湾、オランダおよびその他のいくつかの地域でも製造しており、月産5,000台の統合された、ソフトウェアでテスト済みのケーブル・ラックを提供できる能力があります。 お客様が導入している場所の近くで製造することができます。 そのため、これらのシステムの注文から納品までを、文字通り2～3週間で行うことができます。 

（オーディエンスの一人）レイ・ルチェーシ氏: ウェンデルさん、1年で収益が2倍に増えた理由の収益が得られたのはなぜだと思いますか？ 何が推進したと思いますか？

ウェンジェン: そうですね。興味深い質問です。 2四半期前だったと思いますが、収益の半分以上がAI関連だと決算説明会で発表したんです。  もちろん、多くのストレージとサーバーも製造しています。 当社はサーバー会社としてスタートしましたから。 つまり、今日ここで皆さんの話題となっているAI導入のトレンドが、当社の成長を牽引しています。従来のビジネスももちろんそうです。当社はCSP市場やエンープライズ市場にも販売していますし、今申し上げたすべての製品で世界的にチャネル・ビジネスを展開しています。 しかしながら、スタッフの約半数はがシステム設計開発に携わっているエンジニアであるという、当社のユニークな点もあるでしょう。 また、当社は、生成AIと大規模な言語モデル・プラットフォームを提供するナンバーワンの企業です。 そしてこの分野は前年比で500%の成長を遂げています。非常に驚くべきことです。当社についてもう少し説明させてください。当社は「ビルディング・ブロック・ソリューション」と呼ばれる、非常にユニークな方法で製品を開発しています。さまざまな構成で再利用できる、モジュール型のコンポーネントを開発しています。 マザーボード、シャーシ、電源などですが、実際にはより複雑で、ストレージ、コンピューティングのための、、GPU高速化コンピューティング向けなどの、ほぼカスタマイズされた多種多様なソリューションを組み立てることができます。 これが、当社の製品開発の基盤にあり。当社は30年間以上にわたってこれを続けています。 そしてこの10年間は、完全に統合されたラック・ソリューション、42Uの高ラックを、それを組み立て、電源を投入し、初日から稼働させるための人員とともに木箱で納品することに注力してきました。 これが私達にとっての大きな焦点でした。 多くの大口顧客やCSPをサポートし、販売していますが、それ以外にも多くの企業がチャネルに参入しており、さまざまなソリューションを提供しています。  そして、先ほど話していた3つ目のトピックは、CEOと創設者にとって本当に身近で重要なものとなる、グリーン・コンピューティングです。 使用しているエネルギーに対して、可能な限り効率的でありたいと考えています。 そのため、顧客には、必要であれば、水冷式システムを提供しています。データセンターでは非常に効率的です。 独自の電源を開発しています。 実際、競合するすべてのサーバーおよびストレージ企業の中で、電源、ボード、フルシステムにいたるまでの設計、開発をおこなっている製造会社はおそらく当社だけです。 当社はこのビジネスに長い間携わってきました。 そして、ご存知の通り、うまく成し遂げています。多くの大手OEMと提携してきました。

（オーディエンスの一人）ドニー・バークホルツ氏: 「唯一」とおっしゃったあとに「ほぼ」と言われましたね。唯一の存在なのですか？それとも稀な存在なのですか？

ウェンデル: 私の知る限りでは、自社製造を行っていると思われる他の主要なOEMはないということです。すべての企業は、ODMと契約メーカーを使用しています。 私自身そういった企業のいくつかに所属していたことがありますから、この市場には精通しています。 

（オーディエンスの一人）ベン・ヤング氏1: オーナーシップモデルとはどのようなものですか？ この数年間、多くのハードウェアメーカーが、「as a service」モデルに軸足を移しているのを目にしました。 Supermicroは、この分野に何か取り組んでいるのでしょうか？それとも、現時点では設備投資のようなものなのでしょうか？  ウェンデル: お客様に機器を出荷し、提供しています。 

（オーディエンスの一人）ベン・ヤング氏 1: 購入しているということですか？それとも、「as a service」という選択肢があるのでしょうか？ 例えば、HPE GreenLakeやPure as a Serviceなどでは、ユニットレートを購読し、容量が増えるにつれて、より多くの機器を接続することができますよね。 

ウェンデル: そうですね。当社ではまだそういったものは発表していません。 いくつかの点でそれに対抗するような、顧客が実践しているものがあります。CSPです。  では、AIと機械学習のストレージのトピックに進みましょう。 当社のパートナーであるWEKAが、1,500人の顧客を対象にアンケートを実施し、顧客の成功の障害となる主な要因を調査しました。 ご想像の通り、コンピューティング・パフォーマンスもその一つであり、セキュリティ、データ漏れ、そして公開モデルもその1つです。 しかし、最大となるエリアはデータ管理であり、データを収集してデータの詳細を把握して、GPUクラスターにそのデータを供給してトレーニングと推論を実行することの両方です。  ソリダイムでは、AIデータ・パイプラインについて説明しています。 繰り返しになりますが、当社にはAIデータパイプラインの各フェーズに特化した製品があります。取り込みフェーズでは、顧客は通常、自分たちが取り組もうとしているモデルでどのようなデータが必要なのか十分にりかいしていないことが分かっています。今から1年後、2年後にです。そのため、多くの場合、大量のデジタルデータ、顧客サービスデータ、製造データを収集する必要があります。 将来的にはこれらすべてに価値がある可能性もあります。 そのためには、大規模なデータレイクが必要です。 これは、前述したオブジェクト・ストレージを使用する、スケールアウトされた非構造化ストレージに非常に最適です。 当社には、デュアルプロセッサーを搭載した、非常に大容量90ベイ・ディスクシステムがあり、このタイプのストレージシステムの基盤にすることができます。  クリーンおよび変換[フェーズ]では、ラベル付け、ETLなどがあります。 このフェースでの私の経験ですが、私は別の会社で概念実証プロジェクトに取り組んでいました。そこでは、ウェーハの電子ビーム顕微鏡データの教師あり学習モデルを開発するために、機械学習を使用していました。 欠陥を探していました。 そして、ラベルが貼られていたため、欠陥がどのように見えるのかを伝える人が必要であることがわかりました。 同社には、欠陥のあるEビームスキャンと欠陥のないスキャンとの違いを説明できるエンジニアはほんの一握りしかいませんでした。私にはすべて同じに見え、5万枚の画像を見てラベルを付けるという作業は面白みがなく、非常に時間がかかります。Amazonにアウトソースすることもできません。 非常に機密性の高いデータです。  ですから、このクリーンおよび変換の全プロセスでは、フラッシュを使用したり、ディスクとフラッシュを組み合わせて使用したりできるシステムがかどうかを考慮することは、モデルのタイプによって、非常に重要となります。トレーニングおよび評価の分野では、もちろんトレーニングデータがあります。ラベルが貼られいることも、貼られていない場合もあります。 しかし、モデル開発のすべてのサイクルでデータを保持し、そのモデルを説明可能なAIに展開するために使用した、すべてのデータも保持する必要がありますよね？ このモデルを導入して、奇妙な結果が出始めたら…これは、ときどき起こる現象です。そのモデルを作った入力データが何であったのかを、さかのぼって追跡できるようにする必要があるからです。 そして、もちろん、トレーニングに使用されなかったモデルを検証するための、別のデータセットも必要です。 これらすべてが、このフェーズには非常に大容量のストレージが必要になることを示しています。そして、ソリダイムの説明にあった推論フェーズですが、推論の多くはエッジで実行することができます。エッジ環境向けに最適化されている当社の製品ポートフォリオについてもお話します。 このトレーニング・パイプラインで目にするものの一つに、I/Oブレンダー効果と呼ばれるものがあります。 この最初のパイプラインでは、AIデータ・パイプラインのステージがどうなっているのかがわかりますが、もちろん、頻繁に稼働するパイプラインはこれだけではありませんよね？ オフセットされている2つ目のパイプラインがあるかもしれません。ここでは、デュアルI/Oプロファイルを実行しています。 その後で、これらのパイプラインがいくつもある混合I/Oプロファイルを見ていきます。これは、複数のデータ・サイエンティストが異なるモデルを実行したり、同じモデルの異なるバージョンを実行していたり、複数の関係者がデータにアクセスするマルチテナント環境であるからかもしれません。  こういった状況により、ソリダイムが説明していたように、さまざまなI/Oプロファイルが混在することになります。 パートナーであるWEKAが、当社と提携して展開したソリューションにあるダッシュボードを通じて収集したいくつかのデータには、非常に小さなIOの組み合わせが見られます。リードとライトに分かれた、多数の4K IOがあります。また、いくつかの大きなブロックIOも見られます。 非常に小さなIOが混在しており、従来のNASソリューションに最適とは言えません。展開する際に使用すると、非常に問題があります。このタイプのストレージ用に特別に設計されたソリューションが必要になります。（オーディエンスの一人）レイ・ルチェーシ氏: これは、すべてのパイプラインが同時に実行されているときに目にする混合IOパターンですか？

ウェンデル: その一部ですね。 ここに記載しなかったデータもかなり多くありますが、これは代表例と言えます。 

（オーディエンスの一人）レイ・ルチェーシ氏: 非常に高い値であることに驚いています。 ライトは非常に小さいですね。

ウェンデル: ええ。これは収集されたデータなんですが、原因を明言するのは非常に困難です。 しかし、これは顧客からのデータです。 

（オーディエンスの一人）レイ・ルチェーシ氏: もちろん、チェックポイントではありませんよね。 なにか他のことです。

ウェンデル: チェックポイントもあります。 アーカイブもあります。 ETLもあります。 ですから重要なのは、これらのIOパターンがどうなるのかを事前に予測することは非常に難しいということだと思います。 推測して間違ってしまうよりも、さまざまなIOパターン向けに設計したほうがよいでしょう。 これが説明したかった点です。ではここで、ストレージ・ソリューションについてポール・マクラウドから説明してもらいます。 

ポール・マクロード: ありがとう、ウェンデルさん。 さて、この画面にあるデータですが、これはひとつのサブセットです。 ビッグデータを思い浮かべるときに、ほとんどの人の頭に浮かばないものです。通常は、すべて大きなファイルだろうと考えがちです。これらのファイルを順次移動させていきますが、このブレンダー効果が発生します。  そして、当社のパートナーであるWekaが、早い段階で真に取り組んだものの1つです。Wekaは、当社のソフトウェア定義ストレージのパートナーです。 しかし、この種の環境に提供したい目指すストレージ・ソリューションの目標は、ワークフローのさまざまな段階や、その環境で同時に発生するすべてのさまざまなファイルやファイル サイズに対して機能することです。 。WEKAは、この点で優れた成果を収めました。というのも、5、6年前にNVMeが登場したとき、私たちはNVMeを目の当たりにしたのですが、これは私のキャリアで初めてのことでした。私は25年以上ストレージに携わってきましたが、ストレージがプロセッサーよりも速かったのです。NVMeでデータを動かす際、NVMe1つでもプロセッサーを上回っていました。これらのフラッシュデバイスの能力を使い果たす前に、プロセッサーを使い果たすことにあります。このようなデータセットやパフォーマンスを拡張したいのであれば、非常に特殊なアーキテクチャーが必要です。 1つのNVMeを使って作業すれば、優れたパフォーマンスを得ることができます。 ですが1000個のNVMを使用したとしたら、メタデータでいくつかの問題が発生します。 「もっとスピードを早くするものが欲しい」と言うときに、普通は考えないような問題にぶつかるでしょう。そうでしょう？「もっと高速なパイプが欲しい。もっと高速なデバイスが欲しい。」こういったことが、WEKA構造ではよく考慮されています。もう1つのよく考慮された点はに、S3/オブジェクトストアとの統合があります。 フラッシュであれハードディスクであれ、オブジェクト・ストアを持つことで、データを持ち運べるようになります。ファイルベースのアプリケーションからクラウド、あるいはブロック・デバイスのようにFIFOを提供する負荷のない任意の環境に移動させることができます。そして、GPUワークロード、特にNVIDIAのワークロードにおいて鍵となるのが、このGPUDirectストレージです。GPUDirectストレージをご存じない方のために説明すると、基本的にこれは、ストレージが対応していれば、アプリケーションはGPUメモリと直接RDMA関係を持つことができます。つまり、CPUのメモリーを回避してGPUで作業するわけですが、これはレイテンシーを生じさせるステップです。なぜなら、これらのプロセスのひとつひとつがレイテンシーを増やすことになるからです。そしてこれをスケールアップしようとすると、問題が発生します。 Supermicroは概して、そのアーキテクチャのポートフォリオという点で、3.5インチ・ストレージから高性能フラッシュまで深く、良い位置づけにあります。そして、当社のポートフォリオは非常に膨大で、マルチノードやマルチブレードのシステムもあります。そのため、お客様の環境に最適なコンパクトサイズのストレージを使用してフットプリントを作成できるという点では、私達はこれらの製品をラックレベルで提供し、お客様の環境を調整することができます。すべての顧客がsuperPODを購入するわけではありませんから。  ラックレベルでAI統合を行っている人もいます。この場合、ペタスケールの製品ラインよりも、マルチノードなどの方が適している可能性があります。フラッシュについては、マルチノードから始め、ペタスケールへと進めて説明します。 そして、ハードドライブについては、3.5インチのストレージ・サーバーの膨大なポートフォリオがあり、4Uのエンクロージャーに最大90ベイまで搭載できます。  3.5インチ・ストレージをすでに導入しているかどうかにもよりますが...これはソリディグム（のプレゼンテーション）で出た質問のひとつだと思います。もちろん、グリーンフィールドがありオールフラッシュを展開できるのであれば、すべてをメモリにいれることができれば最高です。しかし、予算もあります。 グリーンフィールド・プロジェクトであるかどうかもあります。 多くの場合、お客様はすでに3.5インチ・ストレージに存在するデータセットを持ち込んでいます。このグリーンフィールド環境へと移行するのは難しい可能性があり、時間もかかります。 グリーンフィールド・プロジェクトやディープポケットを持つ企業もあり、こういった企業はオールフラッシュを展開しています。 繰り返しますが、ソリディグムが段階的なフラッシュ・デバイスを用意していることの利点の1つがこれであり、低コストのフラッシュをここに配置して、よりパフォーマンスの高いフラッシュをGPUアプリケーションの近くに配置することができます。

（オーディエンスの一人）レイ・ルチェーシ氏:ポールさん、これはWEKAクラスターのノードですか？ 理解は正しいですか？合っていますか？

マクロード: そうです。フラッシュ・ストレージに関しては、前回のスライドに戻ると、マルチノードが3.5インチまであります。 3.5インチは通常、そのS3スタックに収まりますよね？

GPUが、3.5インチドライブからランダムな方法でデータを取り出すのは避けたいところです。しかし、WEKAの場合、すべてのファイルにアクセスできます。 他のプラットフォームもあります。このS3ストレージ・デバイスやクラウドにファイル処理を設けて、ファイルとして取り出すプラットフォームです。これによりフラッシュにデータが取り込まれますよね？ 最初の操作は、このS3から取り出してフラッシュに取り込み、その後GPUがフラッシュの速度で動作するようにすることです。つまり、パイプラインにとって非常に重要なのは、これらのさまざまな要素をすべて満たすポートフォリオを持つことなのです。ソリダイムのセッションで話していた重要な要素の1つがこのIOTエッジです。 ですからSupermicroは…また当社のサイトをご覧になっていないなら、ぜひご覧ください。膨大なサーバーの数に驚くはずです。これは、当社が取り組んでいるサーバーや市場のほんの一部です。  このスライドでは、一番端に、工場フロアに設置されるファンレス産業用コンピュータを示しています。このボックスは、皆さんも通りがかりに見たことがあるものかもしれません。こういった建物の中にあるかもしれません。ヒートシンクのように見えます。 それから、特大サイズへと続きます。これらの特大サイズは、通信事業者の環境で使用されるようなボックスです。そして、これら各々にストレージ要素があります。

GPUは、おそらく中規模から大規模のレンジでもっとヒットするでしょう。GPUを搭載した非常に小規模な（サーバーは）非常にまれですが…例外を挙げることはしません。当社には、GPUを搭載した非常に小さなエッジサーバーやファーエッジサーバーもあります。ユースケースとしては、例えば、レストランや注文システムなどがあります。このデータがAIとやり取りされます。 こういった拠点を持つ企業は、これらの情報をプールし、それをどこかの場所に取り込んで分析し、ビジネスを改善する方法を見つけ出します。  そして、中央にはポールマウント型のアーキテクチャーがあります。 これは、フラッシュとGPUを搭載したサーバーの例で、天候に左右される可能性があります。 当社では、AIがハードウェアに触れるさまざまな分野に目を向け、そのような用途のためのハードウェアを開発しているのです。 ここで主題に戻りましょう。AI向けのデータセンター・ストレージに当社がどのように対応しているかです。SupermicroにはGPUサーバーの膨大なポートフォリオがあります、AIとAIへの関心という点で、当社がこの大きな上昇を遂げたもう1つの理由は、GPUを製造するすべてのメーカーのGPUを導入する上で、お客様が望むあらゆるフォームファクターが揃っていることです。NVIDIA環境の例では、このGPUDirectストレージでは、私たちのパートナーであるWEKAがSolidigmと協力して大容量のオールフラッシュ・システムを構築しており、（私たちは）それを顧客の場所に合わせて調整することができます。そして最後に、データレイク環境ですが、通常3.5インチのストレージが導入されており、クラウド上にある可能性があります。ここでも、当社はS3ストレージや大容量のS3ストレージを提供しているさまざまなパートナーとも連携しています。通常、お客様はすでにScalityクラスタやアクティブスケールクラスタを導入しており、オブジェクトストレージとして使用しています。そして、ビジネスにとって重要な資産を保管し、その環境にAIの要素を加えています。この同じアーキテクチャーを深く掘り下げたものがこれです。当社の製品を提供する方法という点で、完全に統合されています。 当社では、ソフトウェアや配管など、あらゆるものが備わったラックをお客様に発送する方法を好んでいます。私たちがシステムを導入し、接続し、キーをお客様に引き渡すだけで、お客様は個別のアプリケーションを使用できるようになる状態です。当社はあらゆるパートナーシップにもオープンです。 Supermicroが当社が他社と異なると感じているであろうことのひとつに、お客様の要望にしっかりと耳を傾ける点があります。 この例では、400Gネットワークを使用してフラッシュと通信しています。 このフラッシュは、25Gまたは100Gネットワーキングを使用して3.5インチ・ストレージと組み合わされており、Supermicroは独自のスイッチを使用してラックレベルでそれを提供しています。 お客様は、自分でコントロールしたいと思うほとんどすべてのものをコントロールできます。 OCPやオープンBMCなどとの連携がますます増えており、これらすべてに対して私たちはオープンな姿勢を保っています。客様が業務を遂行するために必要なものを確実に入手できるように努めているからです。 当社のフラッシュ・ペタスケールのアーキテクチャーについてもう少し深く掘り下げてみましょう。当社のペタスケール・アーキテクチャーは、槍の先端であると考えることができます。 このアーキテクチャーは、最新のフラッシュ・イノベーションを使用して設計されています。 EDSFFという言葉を耳にしたことがあるかもしれません。 あるいは、EDSFFについて聞いたことがないかもしれません。 EDSFFは、フラッシュ・デバイスの新しいフォームファクターです。 ソリダイムはその分野のリーダーであり、インテルもその分野のリーダーです。 私達は創業以来のリーダーです。 この5〜6年間にわたり、当社はこのテクノロジーを搭載したサーバーを製造してきました。  PCI バスの速度がますます速くなっている現在、時代を先取りしていたためにその重要性がますます高まっています。現在入手可能なU.2ドライブは、ある意味ガス欠状態です。というのも、今日ほとんどの人が導入しているように、フラッシュは回転ドライブ用に設計されたボックスの中で動作するため、最適とは言えないからです。ですからペタスケールアーキテクチャーでは、PCIバスのプロセッサーでの動作について検討しています。なぜなら、ストレージとネットワーキングの真ん中にプロセッサーを配置する予定で、お客様のネットワーキングはDPUのようなより高度なネットワーキングであるかもしれないからです。ですから、アクセラレーションとセキュリティー・プロトコルを組み込んでいます。  配管という観点から、私たちはPCIレーンのバランスを取りたいと考えました。 ですから、あの一番奥の角を見れば、プロセッサー環境内でできる限りバランスが取れていることがわかると思います。 このアーキテクチャーで得られる利点の1つは、CXLという次世代メモリー技術もEDSFFエンクロージャーで提供されることです。つまり、これは本質的に今日ここにある未来なのです。そして、当社の大規模なお客様の全員が、これを検討しています。 この2.Uエンクロージャーには最大32台のNVMが搭載でき、非常に最先端なものです。 そしてこれが、32ドライブのエンクロージャーの詳細です。これはAMDシステムです。 AMDは、ユニークです。 2つに分岐できるため、より大容量側での使用に興味がある場合は、、NVMを32台搭載したサーバーを提供することができます。 あるいは、1Uサーバーに16台のドライブを搭載することもできます。この場合、パフォーマンスの点では同等になります。同じ2.Uに、16台のドライブユニットの2台を入れれば、2倍のパフォーマンスを得ることができます。  このような意思決定は、通常お客様が行います。当社はお客様にどのようにしたいかを聞き、アドバイスすることができます。 そして、パートナーシップの中で、WEKAのようなベンダーを見つけながら、これらのシステムをテストおよびチューニングし、最良のコンポーネントを選択します。

これらのアーキテクチャーを構築することで、お客様は環境に合った適切なストレージ・ソリューションを簡単に取得できます。 これが1Uです。 これは、E1 NVMe EDSFFフォームファクターです。 EDSFFフォームファクターは、大変革をもたらす存在です。 この分野では、さらに多くの発展が見られるでしょう。

そしてソリダイムは、前述したように、まさにそこにいます。

注

[1] 動画の中で、ベン・ヤング氏の名前が誤ってドニー・バークホルツ氏と表記されている場所が2箇所あります。 ベン氏の名前は、書き起こしでは正しく記載されています。