5 段階の AI データ・パイプライン

データ取り込み

1

データ準備

2

トレーニング

3

推論

4

アーカイブ

5

データ取り込み

データ取り込み

すべての AI モデルのトレーニングは、何かしらの生データから始まります。 テラバイトまたはペタバイト規模のデータをサーバーに移動する際には、高速なシーケンシャル書き込みパフォーマンスを備えた大容量ストレージによってデータの継続的な移動が可能になります。

データ準備

データ準備

汚れたデータを好む人はいません。 このフェーズ (「前処理」または「抽出・変換」とも呼ばれる処理) では、生データがクリーンアップされ、トークンとして整理され、トレーニング中に使用できるようになります。 ストレージ内では、これはたいていシーケンシャル読み込み動作です。

トレーニング

トレーニング

初期モデルでは、ランダムな順序でトレーニング・トークンを与えながら、後の出力を駆動する一連のパラメータを開発していました。 GPU の実行が長時間にわたると、ランダム読み込み処理が過負荷になることが予想されます。 チェックポイントの頻度は、シーケンシャル書き込みスループットに依存します。  

推論

推論

ピカピカの新しい AI モデルが展開され、新しい入力を処理して応答を生成します。 低レイテンシー・ストレージにより、リアルタイムな推論が可能になり、その「未来に生きる」という感覚を味わえます。

アーカイブ

アーカイブ

作業結果を保存して手間を省きましょう。コンプライアンスや監査の理由からその重要性が増すだけでなく、これらの入出力はすべて後でモデルを再トレーニングする際に使用できます。 ここでは、大容量が重要です。

AI に適したストレージを選択

AI に適したストレージを選択することは、1 秒あたりのメガバイトや 1 ドルあたりのテラバイトといった問題ではありません。 Solidigm は、プロセスから不可解を取り除くうえで役立ちます。 AI データ・パイプラインのすべてのフェーズを通して、ストレージが実際に何をしており、何が重要な考慮事項となるかについてご確認いただけます。

AI によるストレージスマート

AI チャットボットに AI のデータストレージに関して最も緊急度の高い質問をし、Solidigm に在籍する業界屈指のエキスパートたちにその回答を評価してもらいました。 その結果、極めて博識と見られる回答、エキスパートによる補足が必要な回答、予想外な回答、さらに面白い反応などが得られました。

AI 向けに最適化された SSD

AI 向けに最適化された SSD の幅広い製品ラインアップをご覧ください。 高密度 QLC から超高速 TLC および SLC パフォーマンスまで。

AI 時代向けに最適化されたデータストレージ