Rapport sur le service de modèles avec préremplissage et décodage

Tâche : Au 01-07-2026, déterminer dans quels cas la séparation du préremplissage des LLM et et du décodage améliore le service par rapport à une architecture monolithique. Comparer les tailles de modèles, les combinaisons de prompts et de sorties , la concurrence et les chemins de cache KV ; évaluer le TTFT, la latence inter-token et la latence de queue, le débit, l'utilisation, la surcharge réseau, la fiabilité, la complexité et le coût total.

Protocole de recherche : Définir le préremplissage, le décodage, les limites de la désagrégation et chaque métrique de latence et de débit. Figer le modèle et la quantification, la version ou le commit du framework, l'accélérateur, l'interconnexion, l'ordonnanceur, le traitement par lots, le format du cache, les traces de requêtes et la fenêtre de mesure. S'appuyer sur des articles récents, la documentation et le code source des frameworks, les recommandations matérielles et des tests reproductibles ; considérer les benchmarks cloud ou des fournisseurs comme des affirmations, sauf si leur charge et leur environnement peuvent être reproduits. Exécuter des déploiements monolithiques et séparés sur des traces identiques, stables, de longueurs mixtes et en rafales, en montrant les distributions plutôt que de simples moyennes globales. Inclure la sérialisation et le transfert du cache KV, la mise en file d'attente, les domaines de défaillance, l'autoscaling, l'observabilité et la charge pour les opérateurs, en plus du coût des accélérateurs. Expliquer les écarts de versions, les métriques incompatibles et les preuves manquantes. Fournir une cartographie de l'architecture, une matrice d'expériences, les hypothèses brutes, des résultats comparables, les conditions d'équilibre, les risques opérationnels et une recommandation adaptée à la charge de travail.

Tâche : au 2026-07-01, déterminer à quel moment la séparation LLM le préremplissage et le décodage améliorent le service par rapport à une conception monolithique. Comparer les tailles de modèles, les combinaisons d'invites et de sorties, la concurrence et les chemins de cache KV ; évaluer le TTFT, l'inter-token et la latence de queue, le débit, l'utilisation, la surcharge réseau, la fiabilité, la complexité et le coût total.

Protocole de recherche : définir le préremplissage, le décodage, les frontières de désagrégation ainsi que chaque métrique de latence et de débit. Figer le modèle et la quantification, la version ou le commit du framework, l'accélérateur, l'interconnexion, l'ordonnanceur, le traitement par lots, le format de cache, les traces de requêtes et la fenêtre de mesure. Utiliser des articles récents, la documentation et le code source des frameworks, les recommandations matérielles et des tests reproductibles ; considérer les benchmarks cloud ou fournisseurs comme de simples affirmations tant que leur charge de travail et leur environnement ne peuvent pas être reproduits. Exécuter les déploiements monolithiques et séparés sur des traces identiques, stables, de longueurs mixtes et en rafale, en présentant des distributions plutôt que des moyennes globales. Inclure la sérialisation et le transfert du cache KV, la mise en file d'attente, les domaines de défaillance, l'autoscaling, l'observabilité et la charge pour les opérateurs, en plus du coût des accélérateurs. Expliquer les écarts de version, les métriques incompatibles et les éléments de preuve manquants. Fournir une cartographie de l'architecture, une matrice d'expériences, les hypothèses brutes, des résultats comparables, les conditions d'équilibre, les risques opérationnels et une recommandation limitée à la charge de travail.