Zhengrui TechnologyとSolidigm SSD

Zhengrui TechnologyはSolidigmの高密度ストレージを使用して、畜産におけるイノベーションを加速

近代化された畜産業は、肉、卵、牛乳などの畜産物に対する需要の高まりに応えるとともに、大規模な科学的育種や遺伝子研究といった新たな機会をもたらしています。ゲノム選抜、インテリジェント育種・給餌、疾病診断、インテリジェント監視・管理、データマイニング、意思決定支援などでのプロセスを活用して、AIテクノロジーは家畜の遺伝育種を最適化し、家畜の生産効率と健康を向上させ、畜産業の発展を促進します。

人工知能（AI）テクノロジーは、家畜の遺伝育種をさまざまな方法で最適化しています。具体的な例を紹介しましょう。

1. ゲノム選抜：ディープラーニングと大量のゲノムデータの解析によって個体の遺伝形質を予測し、生育速度、肉生産量、乳生産量などの形質を考慮して育種プログラムを最適化することができます。
2. インテリジェント育種：家畜の雌の繁殖能力とその子孫の遺伝形質は、AIテクノロジーの助けを借りて予測することができます。ゲノム情報、生理学的情報、環境情報を総合的に分析することで、AIは繁殖成功率を向上させることができます。
3. インテリジェント給餌：生育速度と生産効率を向上させるために、生理学的ニーズ、成長段階、環境要因を考慮して、給餌量と栄養成分をインテリジェントに調整することができます。
4. 病気の診断：AIテクノロジーは、家畜の行動や生理学的指標をリアルタイムで監視することで、異常を発見することができます。過去のデータを分析することで、病気の発生や蔓延を予測し、早期の診断や治療を可能にします。
5. インテリジェントな監視と管理：温度、湿度、二酸化炭素濃度などの環境パラメーターをリアルタイムで監視し、自動調整することで、家畜の健康と畜産環境の快適性を高めることができます。
6. データマイニングと意思決定支援：育種データのマイニングと分析は、農家や管理者の意思決定を支援します。最適な育種計画、給餌プログラム、病気の予防と対策戦略を立てることができます。

AIテクノロジーの助けを借りて、畜産研究機関やZhengrui Technologyのクライアントは、ゲノムや繁殖能力の表現型などの大量の生物学的データを収集し、ラベル付けした後、家畜の病気のインテリジェントな識別や育種価の予測などのディープラーニングモデルをトレーニングしました。AIと遺伝子技術の組み合わせは、畜産業の発展をまったく新しい方法とスピードで前進させます。

畜産におけるAIの応用

ビッグデータ、マシンラーニング、マルチモーダルモデリング、その他の技術を畜産に応用するAIによって、データウェアハウジングの概念は大きく変化しました。AIがデータ分析に役立つようになる以前、畜産業では手作業による記録の電子化がボトルネックとなり、記録の価値が低下していました。データは、有用な洞察を提供する代わりに、大部分がアーカイブされ、その可能性をフルに活用されない「コールドデータ」となっていました。AIテクノロジーによって、農家や家畜管理者はアーカイブされたデータを再探索し、データ収集の範囲と頻度をさらに拡大することができるようになり、その結果、元の生の非構造化データが「データレイク」内に大量に流入し、それを管理や育種の意思決定に使用できます。

畜産研究所は毎日テラバイト（TB）単位のデータを生成しています。従来のデータストレージおよび管理モデルでは、構造化データ、半構造化データ、非構造化データ、バイナリデータ（画像、音声、動画）など、大規模で複雑なデータの迅速な処理に対応できませんでした。AIは、データレイク内のデータを、生データから、報告、可視化、分析、マシンラーニングなどのタスク用の的を絞ったデータに変換することを可能にします。

システム構成の詳細

畜産研究所は、収集したデータを処理・活用するための演算基盤を構築し、ビッグデータ コンピューティングサーバー4台、推論サーバー4台、ストレージサーバー8台をインフラストラクチャーとして使用しています。

• これらのコンピューティングサーバーはそれぞれ4つのNVIDIA A100 GPUで構成され、主にデータマイニングとトレーニングに使用されます
• 各推論サーバーは、8つのNVIDIA RTX 3090 GPUで構成され、大量の画像やビデオデータに対して視覚ニューラルネットワーク演算を実行するために使用されます。
• ストレージサーバーは、大容量のメカニカルハードディスクで構成され、分散型ストレージを形成します
• サーバーネットワークは200G InfiniBandスイッチでつながれています

データ概要

過去データのインポート、および毎日の研究開発と運用からのデータの蓄積により、ストレージと演算能力の制約が徐々に現れてきます。研究開発や運用プロセスには膨大なデータが含まれますが、データ値の密度は日々低下しており、重複データも大量に存在するため、有効データがまばらになってしまいます。読み取り負荷が大きすぎると、本来のストレージシステムの読み取り効率が著しく低下し、演算能力が十分に発揮できず、研究開発の効率が低下します。データ品質を向上させるためには、大量のデータ前処理作業も必要であり、これにはより多くの読み取りおよび書き込み操作が取り入れられ、多くのリソースが占有されます。

AIデータレイクに必要なストレージシステムの再検討

小規模なデータレイクの場合、HDDは良好な読み取りスループットを提供し、書き込みスループットはネットワーク帯域幅によって制限されます。しかし、データサイズが大きくなるにつれて、分散型ストレージへのクロスノードアクセスが大量のネットワークリソースを消費するため、高性能な100GイーサネットやInfiniBandネットワークであっても、高速ネットワークではオーバーヘッドが増大し、効率性に問題が生じます。

ネットワークコストよりもさらに重要なのは、アイドル演算能力です。GPUやTPUなどのAI演算の急速な発展に伴い、計算需要を満たすために、より大きなデータスループットが必要となり、ストレージシステムの性能に対する要求が高まっています。AIの演算ビルドがいかに高価であるかを考えると、データ取り込みを待機するアイドル演算はリソースの大きな無駄となります。

ストレージ媒体としてSSDに切り替えることは、ストレージ性能に対する高い要求に対応するための理にかなったステップです。しかし、このシフトはいくつかの問題を克服する必要があります。

1. オールフラッシュソリューションは、コストと容量のバランスを取る必要があります。
   
2. ハイブリッドソリューションや階層型ストレージは、膨大なAIデータセットのトレーニングには理想的ではありません。トレーニングプロセス中に何度もデータにアクセスする必要があるため、HDDの「コールド」ストレージがボトルネックになります。
3. 高性能なクラウドストレージは高コストです。ビッグデータアプリケーションの典型的なモデルでは、ホストで計算してクラウドに保存し、パブリッククラウドベンダーの技術力を活用して、データセキュリティの冗長性や階層化などの管理コストに対処します。しかし、高性能なクラウドストレージのプレミアム価格は、基本的なクラウドサービスの価格よりもはるかに高く、長期的な運用ではコストアップの圧力に直面することになります。さらに、日々のデータ収集にかかるトラフィックのコストも加われば、正当化するのが難しい費用となります。

従来の分散型ストレージの弱点

1. パフォーマンスの制約：ストレージシステムは100テラバイト単位のデータ増大に直面しており、読み取り効率は低下し、分散コンピューティングにかかる時間は長くなり、研究プロセスを著しく制限しています。
2. 費用対効果の低下：クラウドコンピューティングセンターのストレージコストは高く、維持できなくなる可能性がある一方、市販の小容量SSDの使用は信頼性と管理面のボトルネックに直面する可能性があります。レガシーストレージサーバーは、今日の大容量SSDと比較して、アーキテクチャーが古く、設置面積が大きく、発熱量と消費電力が大きいです。

SolidigmのGen 4 QLC SSDが突破口をもたらす

こうしたストレージの問題に対するひとつの現実的な答えがSolidigmの192層3D NANDです。業界最高レベルの18.6GB/mm²の集積度を実現し、競合製品の体積密度を大幅に上回ります。Solidigmは、業界の高密度、電力効率、高スループットの弱点を解決する比類のない高ストレージ密度SSDを提供します。

Solidigm D5-P5336は、Solidigmのデータセンター向け第4世代QLC SSDの一部として、大容量（最大122.88TB*）ならびに、高スループット読み取りとデータ集約型のワークロードに対応できる読み取り処理に最適化されたパフォーマンスという、業界をリードする組み合わせを提供します。そのアーキテクチャーは、広く導入されている読み取り集約型のワークロードにおいて、ますます大きくなるデータセットを効率的に高速化し、拡張しながら、ストレージ密度を高め、総コストを削減し、TLC SSDやHDDベースのソリューションよりも持続可能なストレージインフラストラクチャーを実現するように設計されています。

Solidigmによる大容量・高性能QLC SSDの市場参入により、単層ストレージをベースとしたオールフラッシュのサーバーの構築が技術的にも経済的にも実現可能になりました。単層ストレージの設計は、ストレージサーバーの開発と導入における技術的困難を大幅に軽減し、より一貫した予測可能なパフォーマンスを提供します。

高密度QLC SSDを導入したストレージサーバーは、メカニカルHDDでは手の届かないペタバイト規模のシングルノードストレージ容量を実現します。単層ストレージメディア設計は、キャッシュディスクが占有する容量、スペース、エネルギー消費も節約し、ストレージ密度における各ノードの優位性をさらに強化します。

高密度のストレージノードは、ラックのスペース、エネルギー消費、ネットワークポートのオーバーヘッドも節約します。ユーザーの目標とするストレージ容量をシングルノードで実現できれば、導入や運用保守の難易度を大幅に下げることができます。U.2フォームファクターのSolidigm D5-P5336 122.88TBは、標準的な1Uサーバーですでに最大4PBの容量を達成することができるので、企業のデータを完全にオールフラッシュストレージに移行するのに役立ち、休眠データ、つまり「コールド」データの価値を引き出す機会を与えます。

表2. Solidigm D5-P5336の特徴¹

表3. D5-P5336と他のストレージ構成とのTCO削減の比較。¹

Zhengrui TechnologyがSolidigmと提携：AIリーズニングを可能にし、ストレージのイノベーションを加速

Zhengrui TechnologyはSolidigmの大容量QLC NVMe SSDを使用して、畜産バイオ遺伝子データストレージソリューションを構築しました。高密度、高信頼性、スケーラブルなストレージプラットフォームは、効率性と費用対効果の両方を実現しました。

特徴

1. オールフラッシュ技術を採用することで、Solidigm D5-P5336 30.72TB SSDを搭載し、フルスピードPCIe 4.0で動作するホットスワップ可能なNVMe SSDを、最大24台までサポートできます。高いIOPSは大容量密度によって補完され、シングルノードで100万以上のIOPSと700TB以上のストレージ容量を提供できます。
2. 第4/5世代インテルXeonスケーラブルプロセッサーは、AIアクセラレーションのコアサポートも提供します。新しいストレージエンドでは、クリティカルでないデータが書き込まれるとすぐにフィルタリングできるため、ネットワーク負荷が軽減され、データの信頼性が向上します。
3. 2Uオールフラッシュサーバーは、ストレージ密度を最大限に活用し、複数のキャビネットのデータをたった1つのキャビネットに格納することで、スペース利用率を改善し、ユーザーの総所有コストを効果的に削減します。

表4. AIデータレイクのストレージ構成と効率値²

Zhengrui Technologyと共に、Solidigmはこのオーダーメードのソリューションを提供したことで 大容量QLCシングルディスクでデータ量やパフォーマンスのニーズに対応するなど複数の問題を解決でき、顧客から高く評価されました。

この典型的なAI導入では、データストレージノードがリソースの競合によってパフォーマンスのホットスポットになりやすく、データを待機する計算ユニットのストールが発生しがちになります。SolidigmのQLCドライブは、低レイテンシ、安定した信頼性の高いパフォーマンスを維持しながら、ペタバイト規模のデータストレージのニーズを満たすことができます。

より高いスケーラビリティ

18TBのHDD+TLCから30.72TBのSolidigm D5-P5336 SSDに変更した場合、ラックスペースは79%削減されました。² これにより、ストレージキャビネットやラックスペースの設置面積が削減され、柔軟性が高まり、特定のスペース予算内で計算ノードを拡張できます。

エネルギー消費を節約し、スペース占有を減らす

これにより、導入されるストレージデバイスの数が大幅に減少し、導入全体に必要な電力消費と冷却エネルギーの必要性が削減されるため、建設コストと運用コストにプラスの影響を与えました。ハイブリッドソリューション（18TB HDD + TLC）の消費電力は57,600Wであったのに対し、オールフラッシュソリューション（Solidigm D5-P5336 SSD）の消費電力は12,000Wであり、79%の電力削減を実現しました。

混合フラッシュストレージモデルを採用したとしても、大きなスペース占有や複雑な管理スケジューリングロジックなど、付随する一連の問題に直面しなければなりません。

Zhengrui Tech + Solidigmのソリューションは、わずか2Uのスペースで700TBクラスのストレージを実現します。ストレージ密度をさらに高めるためのオプションには、61.44TBまたは122.88TBのシングルディスクの導入、またはEDSFFフォームファクターのサポートのさらなる導入が含まれます。

最後に

超高密度オールフラッシュストレージは、コンピューティングセンターに安定した効率的なIOサポートを提供し、コンピューティング全体のスループットレートを向上させ、結果の出力を保証します。Solidigm QLC SSDを使用することで、お客様はサーバールームの運用を簡素化し、建設費や管理費を削減し、支出を削減し、効率を向上させることができます。