Informe sobre servicio de modelos con prellenado y decodificación

Tarea: Al 2026-07-01, determine cuándo separar el prellenado de LLM y la decodificación mejora de servicio frente a un diseño monolítico. Compare tamaños de modelos, combinaciones de prompts y resultados, concurrencia y rutas de caché KV; evalúe TTFT, latencia entre tokens y de cola, rendimiento, utilización, sobrecarga de red, confiabilidad, complejidad y costo total.

Protocolo de investigación: Defina el prellenado, la decodificación, los límites de la desagregación y cada métrica de latencia y rendimiento. Fije el modelo y la cuantización, la versión o el commit del framework, el acelerador, la interconexión, el programador, el procesamiento por lotes, el formato de caché, las trazas de solicitudes y la ventana de medición. Use artículos recientes, documentación y código fuente de frameworks, guías de hardware y pruebas reproducibles; trate los benchmarks de la nube o de proveedores como afirmaciones, salvo que sea posible igualar su carga de trabajo y entorno. Ejecute implementaciones monolíticas y divididas con trazas idénticas estables, de longitudes mixtas y de ráfagas, y muestre distribuciones en lugar de promedios destacados. Incluya la serialización y transferencia de caché KV, las colas, los dominios de falla, el escalamiento automático, la observabilidad y la carga operativa junto con el costo de los aceleradores. Explique la deriva de versiones, las métricas incompatibles y la evidencia faltante. Entregue un mapa de arquitectura, una matriz de experimentos, supuestos sin procesar, resultados comparables, condiciones de equilibrio, riesgos operativos y una recomendación acotada a la carga de trabajo.

Tarea: Al 2026-07-01, determinar cuándo separar de LLM el prefill y el decode mejoran el servicio frente a un diseño monolítico. Compare los tamaños de los modelos, las combinaciones de prompts y salidas, la concurrencia y las rutas de caché KV; evalúe TTFT y la transferencia y la latencia de cola, el rendimiento, la utilización, la sobrecarga de red, la confiabilidad y la complejidad y el costo total.

Protocolo de investigación: Defina prefill, decode, los límites de desagregación y cada métrica de latencia y rendimiento. Fije el modelo y la cuantización, la versión o el commit del framework, el acelerador, la interconexión, el programador, el procesamiento por lotes, el formato de caché, las trazas de solicitudes y la ventana de medición. Use artículos recientes, documentación y código fuente del framework, guías de hardware y pruebas reproducibles; considere los benchmarks de la nube o de proveedores como afirmaciones, a menos que sea posible replicar su carga de trabajo y entorno. Ejecute implementaciones monolíticas y separadas con trazas idénticas de estado estable, longitudes mixtas y ráfagas, y muestre distribuciones en lugar de promedios generales. Incluya la serialización y transferencia de la caché KV, las colas, los dominios de falla, el escalado automático, la observabilidad y la carga operativa, además del costo de los aceleradores. Explique las variaciones entre versiones, las métricas incompatibles y la evidencia faltante. Entregue un mapa de arquitectura, una matriz de experimentos, los supuestos sin procesar, resultados comparables, condiciones de equilibrio, riesgos operativos y una recomendación limitada a la carga de trabajo.