รายงานการให้บริการโมเดลแบบ Prefill-Decode

ภารกิจ: ณ วันที่ 2026-07-01, พิจารณาว่าการแยก prefill ของ LLM และ decode ช่วยให้ดีขึ้น ให้บริการ ได้ดีกว่าการออกแบบแบบโมโนลิทิก เปรียบเทียบขนาดโมเดล, สัดส่วน prompt/output การผสมผสาน การทำงานพร้อมกัน และเส้นทาง KV-cache; ประเมิน TTFT เวลาแฝงระหว่าง token และเวลาแฝงช่วงท้าย ปริมาณงาน การใช้ทรัพยากร โอเวอร์เฮดเครือข่าย ความน่าเชื่อถือ ความซับซ้อน และ ต้นทุนรวม.

ระเบียบวิธีวิจัย: นิยาม prefill, decode, ขอบเขตการแยกส่วน รวมถึงทุกตัวชี้วัดเวลาแฝงและปริมาณงาน กำหนดตรึงโมเดลและการควอนไทซ์ รุ่นหรือ commit ของเฟรมเวิร์ก ตัวเร่งความเร็ว อินเตอร์คอนเน็กต์ ตัวจัดตารางเวลา การทำแบตช์ รูปแบบแคช trace คำขอ และช่วงเวลาวัดผล ใช้เอกสารวิจัยปัจจุบัน เอกสารและซอร์สโค้ดของเฟรมเวิร์ก แนวทางจากฮาร์ดแวร์ และการทดสอบที่ทำซ้ำได้; ให้ถือผลเบนช์มาร์กจากคลาวด์หรือผู้ให้บริการเป็นเพียงข้ออ้าง เว้นแต่จะจับคู่เวิร์กโหลดและสภาพแวดล้อมได้ ทดสอบการปรับใช้แบบโมโนลิทิกและแบบแยกส่วนด้วย trace แบบคงที่ ความยาวผสม และแบบเป็นช่วงพุ่งที่เหมือนกัน โดยแสดงการกระจายตัวแทนค่าเฉลี่ยพาดหัว รวมการซีเรียลไลซ์และการถ่ายโอน KV-cache การเข้าคิว ขอบเขตความล้มเหลว การปรับขนาดอัตโนมัติ การสังเกตการณ์ และภาระของผู้ปฏิบัติงาน ควบคู่กับต้นทุนตัวเร่งความเร็ว อธิบายความคลาดเคลื่อนของเวอร์ชัน เมตริกที่เทียบกันไม่ได้ และหลักฐานที่ขาดหาย ส่งมอบแผนผังสถาปัตยกรรม ตารางการทดลอง สมมติฐานตั้งต้น ผลลัพธ์ที่เปรียบเทียบได้ เงื่อนไขจุดคุ้มทุน ความเสี่ยงในการปฏิบัติการ และคำแนะนำที่ผูกกับเวิร์กโหลด

งาน: ณ วันที่ 2026-07-01 พิจารณาว่าเมื่อใดการแยก LLM การแยก prefill และ decode ช่วยปรับปรุงการให้บริการเมื่อเทียบกับการออกแบบแบบรวม. เปรียบเทียบ ขนาดโมเดล สัดส่วน prompt/output และการทำงานพร้อมกัน และเส้นทาง KV-cache; ประเมิน TTFT, การถ่ายโอนระหว่าง token และ เวลาแฝงส่วนปลาย ปริมาณงานที่ประมวลผลได้ การใช้ทรัพยากร ภาระเครือข่าย ความน่าเชื่อถือ และความซับซ้อน และ ต้นทุนรวม.

ระเบียบวิธีวิจัย: กำหนด prefill, decode ขอบเขตการแยกส่วน และทุกตัวชี้วัดเวลาแฝงและปริมาณงานที่ประมวลผลได้ ตรึงโมเดลและการทำ quantization, รุ่นรีลีสหรือ commit ของเฟรมเวิร์ก, accelerator, interconnect, scheduler, batching, รูปแบบแคช, request traces และช่วงเวลาการวัด ใช้บทความวิจัย เอกสารและซอร์สของเฟรมเวิร์ก คำแนะนำด้านฮาร์ดแวร์ และการทดสอบที่ทำซ้ำได้ซึ่งเป็นปัจจุบัน; ให้ถือว่า benchmark จาก cloud หรือผู้ขายเป็นเพียงข้ออ้าง เว้นแต่จะจับคู่ภาระงานและสภาพแวดล้อมได้ รันการติดตั้งใช้งานแบบรวมและแบบแยกบน traces ที่คงที่ ความยาวผสม และแบบพุ่งสูงชุดเดียวกัน โดยแสดงการกระจายตัวแทนค่าเฉลี่ยพาดหัว รวมการทำ serialization และการถ่ายโอน KV-cache, การเข้าคิว, ขอบเขตความล้มเหลว, autoscaling, observability และภาระผู้ปฏิบัติงานควบคู่กับต้นทุน accelerator อธิบายความคลาดเคลื่อนของเวอร์ชัน ตัวชี้วัดที่เข้ากันไม่ได้ และหลักฐานที่ขาดหาย ส่งมอบแผนผังสถาปัตยกรรม เมทริกซ์การทดลอง สมมติฐานดิบ ผลลัพธ์ที่เปรียบเทียบได้ เงื่อนไขจุดคุ้มทุน ความเสี่ยงในการปฏิบัติการ และคำแนะนำที่ผูกกับภาระงาน