Rapport sur le service de modèles avec préremplissage et décodage

Tâche : Au 01/07/2026, déterminez dans quels cas la séparation du préremplissage des LLM et du décodage améliore par rapport à une architecture monolithique. Comparez les tailles de modèles, les combinaisons de prompts et de sorties , la concurrence et les chemins de cache KV ; évaluez le TTFT, la latence inter-token et de queue, le débit, l'utilisation, la surcharge réseau, la fiabilité, la complexité et le coût total.

Protocole de recherche : Définissez le préremplissage, le décodage, les frontières de dissociation ainsi que chaque métrique de latence et de débit. Figez le modèle et la quantification, la version ou le commit du framework, l'accélérateur, l'interconnexion, l'ordonnanceur, le batching, le format de cache, les traces de requêtes et la fenêtre de mesure. Utilisez des publications récentes, la documentation et le code source des frameworks, les recommandations matérielles et des tests reproductibles ; considérez les benchmarks cloud ou de fournisseurs comme de simples affirmations, sauf si leur charge de travail et leur environnement peuvent être reproduits. Exécutez des déploiements monolithiques et dissociés sur des traces identiques, stables, de longueurs mixtes et par rafales, en présentant les distributions plutôt que des moyennes mises en avant. Incluez la sérialisation et le transfert du cache KV, la mise en file d'attente, les domaines de défaillance, l'autoscaling, l'observabilité et la charge d'exploitation, en plus du coût des accélérateurs. Expliquez les divergences de versions, les métriques incompatibles et les éléments de preuve manquants. Fournissez une cartographie de l'architecture, une matrice d'expériences, les hypothèses de départ, des résultats comparables, les conditions de rentabilité, les risques opérationnels et une recommandation adaptée à la charge de travail.

Tâche : au 2026-07-01, déterminer dans quels cas la séparation de LLM la séparation du prefill et du décodage améliore le serving par rapport à une architecture monolithique. Comparer les tailles de modèles, les combinaisons de prompts et de sorties, la concurrence et les chemins du cache KV ; évaluer le TTFT, le délai entre tokens et la latence de queue, le débit, l’utilisation, la surcharge réseau, la fiabilité, la complexité et le coût total.

Protocole de recherche : définir les frontières entre prefill, décodage et désagrégation, ainsi que chaque métrique de latence et de débit. Figer le modèle et la quantification, la version ou le commit du framework, l’accélérateur, l’interconnexion, l’ordonnanceur, le batching, le format de cache, les traces de requêtes et la fenêtre de mesure. Utiliser des articles récents, la documentation et le code source des frameworks, les recommandations matérielles et des tests reproductibles ; considérer les benchmarks cloud ou fournisseurs comme de simples affirmations tant que leur charge de travail et leur environnement ne peuvent pas être reproduits. Exécuter des déploiements monolithiques et scindés sur des traces identiques en régime stable, de longueurs mixtes et en rafales, en montrant les distributions plutôt que des moyennes mises en avant. Inclure la sérialisation et le transfert du cache KV, les files d’attente, les domaines de défaillance, l’autoscaling, l’observabilité et la charge pour les opérateurs, en plus du coût des accélérateurs. Expliquer les dérives de version, les métriques incompatibles et les éléments de preuve manquants. Fournir une cartographie de l’architecture, une matrice d’expériences, les hypothèses brutes, des résultats comparables, les conditions d’atteinte du seuil de rentabilité, les risques opérationnels et une recommandation liée à la charge de travail.