プリフィル・デコードのモデルサービングレポート

タスク: 2026-07-01時点で、LLMのプリフィルを分離するととデコードを分離することで改善するかをのサービングがモノリシック設計よりも優れる条件を特定してください。モデルサイズを比較し、、プロンプト／出力の構成、同時実行数、KVキャッシュ経路を比較し、TTFT、トークン間レイテンシ、テールレイテンシ、スループット、利用率、ネットワークオーバーヘッド、信頼性、複雑さを評価してください。と総コスト。

調査プロトコル: プリフィル、デコード、分離の境界、およびすべてのレイテンシ・スループット指標を定義してください。モデルと量子化、フレームワークのリリースまたはコミット、アクセラレータ、インターコネクト、スケジューラ、バッチ処理、キャッシュ形式、リクエストトレース、測定期間を固定してください。最新の論文、フレームワークのドキュメントとソース、ハードウェアガイダンス、再現可能なテストを使用し、ワークロードと環境を一致させられないクラウドまたはベンダーのベンチマークは主張として扱ってください。同一の定常、混合長、バーストの各トレースでモノリシック構成と分離構成を実行し、見出しとなる平均値ではなく分布を示してください。アクセラレータコストに加え、KVキャッシュのシリアライズと転送、キューイング、障害ドメイン、オートスケーリング、可観測性、運用担当者の負担も含めてください。バージョンの差異、互換性のない指標、不足している根拠を説明してください。アーキテクチャマップ、実験マトリクス、生の前提条件、比較可能な結果、損益分岐条件、運用上のリスク、ワークロードに応じた推奨を提示してください。

タスク：2026-07-01時点で、分離することでどのような場合に LLM プリフィルとデコードを分離すると、モノリシック設計よりもサービングが改善するか。比較対象はモデルサイズ、プロンプトと出力の構成、同時実行数、およびKVキャッシュの経路とし、TTFT、トークン間およびテールレイテンシ、スループット、使用率、ネットワークオーバーヘッド、信頼性、複雑さおよび総コストを。

調査プロトコル：プリフィル、デコード、分離の境界、およびすべてのレイテンシ・スループット指標を定義する。モデルと量子化、フレームワークのリリースまたはコミット、アクセラレータ、インターコネクト、スケジューラ、バッチ処理、キャッシュ形式、リクエストトレース、測定期間を固定する。最新の論文、フレームワークのドキュメントとソース、ハードウェアガイダンス、再現可能なテストを使用する。クラウドまたはベンダーのベンチマークは、ワークロードと環境を一致させられる場合を除き、主張として扱う。同一の定常、長さが混在する、バースト時のトレースでモノリシック構成と分離構成を実行し、見出しとなる平均値ではなく分布を示す。アクセラレータコストに加え、KVキャッシュのシリアル化と転送、待ち行列、障害ドメイン、自動スケーリング、可観測性、運用者の負担を含める。バージョンのずれ、互換性のない指標、不足している根拠を説明する。アーキテクチャマップ、実験マトリクス、生の前提条件、比較可能な結果、損益分岐条件、運用リスク、ワークロードに応じた推奨事項を提示する。