프리필-디코드 모델 서빙 보고서

과제: 2026-07-01 기준으로, LLM 프리필을 분리하면 및 디코드가 개선하는지 서빙을 모놀리식 설계보다 개선하는 시점을 파악합니다. 모델 크기를 비교하고, 프롬프트/출력 구성, 동시성 및 KV 캐시 경로를 비교합니다. TTFT, 토큰 간 지연 시간과 테일 지연 시간, 처리량, 활용률, 네트워크 오버헤드, 안정성, 복잡성을 평가합니다 및 총비용.

조사 프로토콜: 프리필, 디코드, 분리 경계와 모든 지연 시간 및 처리량 지표를 정의합니다. 모델과 양자화 방식, 프레임워크 릴리스 또는 커밋, 가속기, 인터커넥트, 스케줄러, 배치 처리, 캐시 형식, 요청 트레이스 및 측정 기간을 고정합니다. 최신 논문, 프레임워크 문서와 소스, 하드웨어 가이드 및 재현 가능한 테스트를 사용합니다. 워크로드와 환경을 일치시킬 수 없는 한 클라우드 또는 벤더 벤치마크는 주장으로 간주합니다. 동일한 정상 상태, 혼합 길이 및 버스트 트레이스에서 모놀리식 및 분리형 배포를 실행하고, 대표 평균이 아닌 분포를 제시합니다. 가속기 비용과 함께 KV 캐시 직렬화와 전송, 대기열, 장애 도메인, 자동 확장, 관측 가능성 및 운영 부담을 포함합니다. 버전 차이, 호환되지 않는 지표 및 누락된 근거를 설명합니다. 아키텍처 맵, 실험 매트릭스, 원시 가정, 비교 가능한 결과, 손익분기 조건, 운영 위험 및 워크로드에 맞춘 권고안을 제공합니다.

작업: 2026-07-01 기준, 분리할 시점을 판단 LLM 프리필과 디코드 분리가 모놀리식 설계보다 서빙을 개선하는지. 비교 모델 크기, 프롬프트/출력 구성, 동시성 및 KV-캐시 경로; TTFT, 토큰 간 및 테일 레이턴시, 처리량, 활용률, 네트워크 오버헤드, 신뢰성, 복잡성 및 총비용.

조사 프로토콜: 프리필, 디코드, 분리 경계와 모든 지연 시간 및 처리량 지표를 정의합니다. 모델 및 양자화, 프레임워크 릴리스 또는 커밋, 가속기, 인터커넥트, 스케줄러, 배칭, 캐시 형식, 요청 추적 및 측정 기간을 고정합니다. 최신 논문, 프레임워크 문서 및 소스, 하드웨어 지침, 재현 가능한 테스트를 사용합니다. 워크로드와 환경을 일치시킬 수 없는 경우 클라우드 또는 벤더 벤치마크는 주장으로 간주합니다. 동일한 정상 상태, 혼합 길이 및 버스트 요청 추적에서 모놀리식 및 분리 배포를 실행하고, 대표 평균이 아닌 분포를 제시합니다. 가속기 비용과 함께 KV-캐시 직렬화 및 전송, 큐잉, 장애 도메인, 오토스케일링, 관측성 및 운영자 부담을 포함합니다. 버전 차이, 호환되지 않는 지표 및 누락된 근거를 설명합니다. 아키텍처 맵, 실험 매트릭스, 원시 가정, 비교 가능한 결과, 손익분기 조건, 운영 위험 및 워크로드 기반 권장 사항을 제공합니다.