次世代Hadoopストレージ：BlueField-3とCSALによるパフォーマンスと回復力

概要：従来のHadoopストレージは、最新のビッグデータワークロードにおいては、パフォーマンスとリソース効率の問題が避けられません。このポスターでは、3ウェイレプリケーション、イレージャーコーディング（EC）、RAIDによる卓越したスループット、CPUオーバーヘッドの削減、堅牢なデータ保護を実現し、スケーラブルで安全なデータ管理を確保する、BlueField-3およびSolidigm CSALソフトウェア搭載のソリューションを紹介しています。   

ポスター全体は、こちらをご覧ください。 

セクション1

BlueField-3およびSolidigm CSALを使用したHadoopストレージアーキテクチャー

BlueField-3 + CSALソリューションを採用することで、3層のHadoopストレージアーキテクチャーに再構築し、次のような利点をもたらしています。          

1. BlueField-3のハードウェアコンピューティングリソースを活用することにより、SolidigmのCSALソフトウェアは、EC、RAID、複数コピーなど、さまざまなデータ保護バックアップメカニズムに対応しています。        
2. 元のアーキテクチャであるサーバー3層 + スイッチ2層を、サーバー2層 + スイッチ1層に圧縮し、保存データの読み取り／書き込みレイテンシーを大幅に短縮しています。        
3. ストレージ関連のコンピューティングリソースをBlueField-3にオフロードすることで、CPU コンピューティングリソースが節約され、CPUは効果的にHadoop計算に集中できるようになっています。         

セクション2

従来の3レプリカ 

高い信頼性：3つのコピーでフォールトトレランスを確保しています。 

レプリケーションの連鎖：データがシーケンシャルにDatanodesを流れるため、レイテンシーが増大します。  

ACKによるオーバーヘッド：マルチステップの確認応答により、複雑性とレイテンシーが増大します。 

BlueField-3+ CSALを採用したアクティブ／バックアップアーキテクチャー   

簡素化されたワークフロー：1つのBlueField-3の内部でデータを直接レプリケーション      

パフォーマンスの向上：東西方向のトラフィックなし、レプリケーションステップの減少、低レイテンシー。          

ハイパフォーマンスシナリオ向けに最適化：レイテンシーに影響を受けやすいワークロードに最適。       

Datanode障害が発生した場合にバックアップノードへの迅速なフェイルオーバーを有効にするには、追加の管理プレーンメカニズムが必要です。                    

セクション3

エコシステム

セクション4

パフォーマンスおよびCPUに関する比較 

• パフォーマンスが3%向上
• CPUリソース使用率20%

CSALは、機能豊富で堅牢かつQLCフレンドリーなRAIDソリューションを提供し、高密度な高性能デプロイメントを可能にします。         

1. RMWオーバーヘッドなし  

2. 書き込み ホール 対策 を組み込み

3. 複数のコアにまたがってスケーリング  

4. ジャーナル付きMDRAIDと比べて4倍〜20倍のパフォーマンス

5. SSDの耐久性の向上

セクション6

TCO 分析

ソリューションA：BlueField-3 + CSALとソリューションBの比較：LVM Datanode

ソリューションA（BlueField-3 + CSAL）は、コンピューティングノード上のサーバーを再利用し、ストレージ関連の計算をBlueField-3にオフロードすることにより、ソリューションBと比べてデータセンターのスペースと電力を節約します。             

図に示されている3ノードの例では、ソリューションAはTCO CAPEXを50%以上削減しています。     

DPUネイティブの柔軟なストレージアーキテクチャについては、こちらをご覧ください