プレフィル・デコードのモデルサービングレポート

タスク：2026-07-01時点で、LLMのプレフィルを分離することでどのような場合にとデコードの分離が改善するかをのサービングをモノリシック設計より改善するかを判断する。モデルサイズを比較し、プロンプト／出力の組み合わせ、同時実行数、KV-cache経路を比較し、TTFT、トークン間レイテンシ、テールレイテンシ、スループット、利用率、ネットワークオーバーヘッド、信頼性、複雑さを評価すると総コスト。

調査プロトコル：プレフィル、デコード、分離の境界、およびすべてのレイテンシとスループットの指標を定義する。モデルと量子化、フレームワークのリリースまたはコミット、アクセラレータ、インターコネクト、スケジューラ、バッチ処理、キャッシュ形式、リクエストトレース、測定期間を固定する。最新の論文、フレームワークのドキュメントとソース、ハードウェアガイダンス、再現可能なテストを用いる。クラウドまたはベンダーのベンチマークは、ワークロードと環境を一致させられない限り、主張として扱う。同一の定常、混合長、バーストの各トレースでモノリシック型と分離型のデプロイメントを実行し、見出し用の平均値ではなく分布を示す。アクセラレータコストに加え、KV-cacheのシリアル化と転送、キューイング、障害ドメイン、オートスケーリング、可観測性、運用者の負担を含める。バージョンのずれ、互換性のない指標、欠落した根拠を説明する。アーキテクチャマップ、実験マトリクス、生の前提条件、比較可能な結果、損益分岐条件、運用リスク、ワークロードに応じた推奨を提示する。

タスク：2026-07-01時点で、分離することでどのような場合に LLM prefillとdecodeの分離によって、一体型設計よりもサービングが改善される。次の項目を比較する：モデル規模、プロンプト／出力の構成、同時実行数およびKV-cacheの経路。TTFT、トークン間およびテールレイテンシ、スループット、利用率、ネットワークオーバーヘッド、信頼性、複雑さおよび総コスト。

調査プロトコル：prefill、decode、分離の境界、およびすべてのレイテンシ・スループット指標を定義する。モデルと量子化、フレームワークのリリースまたはコミット、アクセラレータ、インターコネクト、スケジューラ、バッチ処理、キャッシュ形式、リクエストトレース、測定期間を固定する。最新の論文、フレームワークのドキュメントとソース、ハードウェアのガイダンス、再現可能なテストを用いる。クラウドまたはベンダーのベンチマークは、ワークロードと環境を一致させられない限り、主張として扱う。同一の定常・混合長・バーストのトレースで、一体型と分離型のデプロイメントを実行し、見出しとなる平均値ではなく分布を示す。アクセラレータのコストに加え、KV-cacheのシリアル化と転送、キューイング、障害ドメイン、オートスケーリング、可観測性、運用担当者の負担を含める。バージョンの乖離、互換性のない指標、不足している根拠を説明する。アーキテクチャマップ、実験マトリクス、生の前提条件、比較可能な結果、損益分岐条件、運用リスク、ワークロードに基づく推奨事項を提示する。