プロンプトの構造
「プロンプトエンジニアリング」をインフラストラクチャの規律として再定義
プロンプト構造は、ストレージアーキテクチャとLLM推論およびRAGのサービス品質に影響を与えるステートオブジェクトを体系的に生成します。
このホワイトペーパーは、ステートオブジェクト（KVキャッシュブロック、取得ペイロード、ツールアーティファクト）、I/Oパターン、最優先のSLO、ティア配置の意思決定をプロンプトレイヤーと接続するマッピングアーティファクトを提供し、「プロンプトエンジニアリング」をインフラストラクチャの規律として再定義します。
2つの調達グレードの意味を次に示します。
- 長いコンテキストとエージェンティックワークフローは、並行処理におけるKVスケーリングを通じて「セッションごとのGB」を「フリートごとのTB」に変換します。また、
- RAGは、キュー深度の低いランダム読み込みワークロードのように動作します。その際、エンドユーザーの最初のトークンまでの時間（TTFT）を左右するのは、キュー深度が高い場合のヘッドラインIOPSではなく、p99/p99.9のレイテンシーです。
本番環境のプロンプトは、ポリシー、テンプレート、ユーザーの意図、セッション履歴、取得したエビデンス、ツールスキーマ、ツール出力などをコンパイルしたコンテキストバンドルです。一定のモデルとサービススタックの場合、プロンプトの構造が、どのステートオブジェクト（KVキャッシュブロック、取得ペイロード、ツールアーティファクト）をインスタンス化し、それらがどのようにスケールするかを決定します。
これらのステートオブジェクトは、測定可能なI/O形状とQoS要件を課します。コンテキストウィンドウは拡張し（特定のモデルは100万トークンのウィンドウを解放します）、事前書き込み済みの作業とステートフットプリントが増加します。1長いコンテキストとエージェンティックループはステートを増加させます。並行処理がそれを倍増させます。
- KVキャッシュは処理中の主要なデータセットとなり、TTFT、ITLの安定性、コストを左右する最優先の制限要因となります。2、3、4
- RAGは並行処理におけるキュー深度の低いランダム読み込みワークロードのように動作します。
- 調達の成功は、高いキュー深度でのピークIOPSやピークGB/秒ではなく、現実的な並行処理およびミックスロードにおけるQD1〜4でのp99/p99.9レイテンシーによって定義されます。5、6、7
プロンプトに長大かつ一定のプレフィックス、グラウンディングのルール、ツールスキーマ、取得ペイロードが含まれている場合、お客様は暗示的にティアリングのデザインや、並行処理時におけるテールレイテンシーの要件を選択していることになります。
詳しくは、以下のホワイトペーパー全文をご確認ください。
著者について
ジェフ・ハーソーンはソリダイムでAI応用研究リードを務めています。業務の中心は、AIワークロードとストレージアーキテクチャの関係で、推論、コンテキストメモリ、データパイプライン設計に重点を置いています。応用研究、ベンチマーキング、技術的ストーリーテリングを組み合わせ、複雑なインフラストラクチャの話題を、顧客、パートナー、経営陣のための実用的なインサイトに変換します。ジェフはカリフォルニア州立大学サクラメント校でコンピューターエンジニアリングの理学士号を取得しています。
参考資料
1) Google、「長いコンテキスト」Gemini APIドキュメント（Google AI for Developers）。出典：https://ai.google.dev/gemini-api/docs/long-context（2026年2月24日にアクセス）。（Google AI for Developers）
2) NVIDIA, “Accelerate Large-Scale LLM Inference and KV Cache Offload with CPU-GPU
Memory Sharing,” NVIDIA Technical Blog (Sep. 5, 2025)。出典：https://developer.nvidia.com/blog/accelerate-large-scale-llm-inference-and-kv-cache-offload-with-cpu-gpu-memory-sharing/（2026年2月24日にアクセス）。(NVIDIA Developer)
3) Hugging Face, “KV cache strategies,” Transformers documentation (v4.55.4)。出典：https://huggingface.co/docs/transformers/v4.55.4/en/kv_cache（2026年2月24日にアクセス）。(Hugging Face)
4) W. Kwon, et al., “Efficient Memory Management for Large Language Model Serving with PagedAttention,” arXiv:2309.06180. 出典：https://arxiv.org/abs/2309.06180（2026年2月24日にアクセス）。(arXiv)
5) J. Dean and L. A. Barroso, “The Tail at Scale,” Communications of the ACM, vol. 56, pp. 74–80 (2013)。出典：https://research.google/pubs/the-tail-at-scale/（2026年2月24日にアクセス）。(Google Research)
6) Intel, “Performance Benchmarking for PCIe* and NVMe* Enterprise Solid-State Drives,” White Paper (Feb. 2015)。出典：https://www.intel.com/content/dam/www/public/us/en/documents/white-papers/performance-pcie-nvme-enterprise-ssds-white-paper.pdf（2026年2月24日にアクセス）。(intel.com)
7) S.-H. Cho, et al., “Efficient Garbage Collection Algorithm for Low Latency SSD,” Electronics, vol. 11, no. 7, 1084 (2022)。出典：https://www.mdpi.com/2079-9292/11/7/1084（2026年2月24日にアクセス）。(MDPI)
