Informe sobre servicio de modelos con prellenado y decodificación

Tarea: Al 2026-07-01, determine cuándo separar el prellenado de LLM y la decodificación mejora el servicio frente a un diseño monolítico. Compare tamaños de modelos, combinaciones de prompts y salidas combinaciones, concurrencia y rutas de caché KV; evalúe TTFT, latencia entre tokens y de cola, rendimiento, utilización, sobrecarga de red, confiabilidad, complejidad y costo total.

Protocolo de investigación: Defina el prellenado, la decodificación, los límites de desagregación y cada métrica de latencia y rendimiento. Fije el modelo y la cuantización, la versión o commit del framework, el acelerador, la interconexión, el planificador, el procesamiento por lotes, el formato de caché, los rastros de solicitudes y el período de medición. Use artículos actuales, documentación y código fuente de frameworks, guías de hardware y pruebas reproducibles; considere las evaluaciones comparativas de la nube o de proveedores como afirmaciones, salvo que se puedan igualar su carga de trabajo y entorno. Ejecute implementaciones monolíticas y separadas con rastros idénticos estables, de longitudes mixtas y de ráfagas, y muestre distribuciones en lugar de promedios destacados. Incluya la serialización y transferencia de caché KV, las colas, los dominios de fallas, el escalamiento automático, la observabilidad y la carga operativa junto con el costo de los aceleradores. Explique las diferencias entre versiones, las métricas incompatibles y la evidencia faltante. Entregue un mapa de arquitectura, una matriz de experimentos, supuestos iniciales, resultados comparables, condiciones de punto de equilibrio, riesgos operativos y una recomendación acotada a la carga de trabajo.

Tarea: Al 2026-07-01, determine cuándo separar LLM separar prefill y decode mejora el servicio frente a un diseño monolítico. Compare los tamaños de modelo, las combinaciones de prompts y resultados, la concurrencia,, así como de rutas de caché KV; evalúe TTFT y la y la latencia de cola, el rendimiento, la utilización, la sobrecarga de red, la confiabilidad y la complejidad y el costo total.

Protocolo de investigación: Defina los límites de prefill, decode y desagregación, así como cada métrica de latencia y rendimiento. Fije el modelo y la cuantización, la versión o el commit del framework, el acelerador, la interconexión, el planificador, el procesamiento por lotes, el formato de caché, las trazas de solicitudes y la ventana de medición. Use artículos actuales, documentación y código fuente del framework, guías de hardware y pruebas reproducibles; considere los benchmarks de la nube o de proveedores como afirmaciones, salvo que pueda reproducirse su carga de trabajo y entorno. Ejecute implementaciones monolíticas y divididas con trazas idénticas sostenidas, de longitud mixta y en ráfagas, y muestre distribuciones en lugar de promedios destacados. Incluya la serialización y transferencia de caché KV, las colas, los dominios de falla, el escalado automático, la observabilidad y la carga operativa junto con el costo del acelerador. Explique la deriva de versiones, las métricas incompatibles y la evidencia faltante. Entregue un mapa de arquitectura, una matriz de experimentos, supuestos sin procesar, resultados comparables, condiciones de equilibrio, riesgos operativos y una recomendación limitada a la carga de trabajo.