Report sul serving di modelli con prefill-decode

Attività: al 01/07/2026, stabilire quando separare il prefill degli LLM e il decode migliora il serving rispetto a un'architettura monolitica. Confronta le dimensioni dei modelli, combinazioni di prompt/output combinazioni, concorrenza e percorsi della KV-cache; valuta TTFT, latenza inter-token e di coda, throughput, utilizzo, overhead di rete, affidabilità, complessità e costo totale.

Protocollo di ricerca: definisci prefill, decode, confini della disaggregazione e ogni metrica di latenza e throughput. Fissa modello e quantizzazione, release o commit del framework, acceleratore, interconnessione, scheduler, batching, formato della cache, tracce delle richieste e finestra di misurazione. Usa articoli, documentazione e codice sorgente dei framework aggiornati, indicazioni hardware e test riproducibili; considera i benchmark cloud o dei fornitori come mere dichiarazioni, salvo poter replicarne il carico di lavoro e l'ambiente. Esegui deployment monolitici e separati su tracce identiche stabili, a lunghezza mista e a picchi, mostrando le distribuzioni anziché le sole medie principali. Includi serializzazione e trasferimento della KV-cache, accodamento, domini di errore, scalabilità automatica, osservabilità e carico operativo insieme al costo degli acceleratori. Spiega le differenze tra versioni, le metriche incompatibili e le evidenze mancanti. Fornisci una mappa dell'architettura, una matrice degli esperimenti, le ipotesi di base, risultati confrontabili, condizioni di pareggio, rischi operativi e una raccomandazione vincolata al carico di lavoro.

Attività: al 2026-07-01, stabilisci quando separare il prefill e il decode degli LLM migliora l'erogazione rispetto a un'architettura monolitica. Confronta dimensioni dei modelli, combinazioni di prompt/output, concorrenza,  e percorsi KV-cache; valuta TTFT e la latenza tra token e latenza di coda, throughput, utilizzo, sovraccarico di rete, affidabilità, complessità e costo totale.

Protocollo di ricerca: definisci prefill, decode, confini di disaggregazione e ogni metrica di latenza e throughput. Fissa modello e quantizzazione, release o commit del framework, acceleratore, interconnessione, scheduler, batching, formato della cache, tracce delle richieste e finestra di misurazione. Utilizza articoli aggiornati, documentazione e sorgenti del framework, indicazioni hardware e test riproducibili; considera i benchmark cloud o dei fornitori come semplici affermazioni, salvo poter riprodurre carico di lavoro e ambiente. Esegui deployment monolitici e separati su tracce identiche a regime, di lunghezza mista e con picchi, mostrando le distribuzioni anziché le medie principali. Includi serializzazione e trasferimento della cache KV, accodamento, domini di errore, scalabilità automatica, osservabilità e carico operativo insieme al costo degli acceleratori. Spiega le differenze di versione, le metriche incompatibili e le evidenze mancanti. Fornisci una mappa dell'architettura, una matrice degli esperimenti, ipotesi esplicite, risultati comparabili, condizioni di pareggio, rischi operativi e una raccomandazione vincolata al carico di lavoro.