DSpark: Speculative decoding을 활용한 LLM 추론 가속화

• DSpark: 준자기회귀(semi-autoregressive) 생성과 신뢰도 스케줄링을 결합한 추측 디코딩(speculative decoding) 프레임워크
• 병렬 드래프터(parallel drafter) 가 한 번의 순전파로 긴 토큰 블록을 제안하지만 토큰 간 의존성 부재로 후반부 수락률 급감(acceptance decay) 이 발생하는 문제를 준자기회귀 구조와 부하 인지 검증으로 동시 해결
• 무거운 병렬 백본에 경량 순차 모듈을 결합해 블록 내부 의존성을 주입, 드래프트 속도를 유지하면서 접미부 붕괴(suffix decay) 완화
• 신뢰도 헤드(confidence head) 가 위치별 접두부 생존 확률을 추정하고, 하드웨어 인지 스케줄러가 엔진 처리량 곡선에 맞춰 요청마다 검증 길이를 동적으로 조정
• 오프라인 벤치마크에서 자기회귀 baseline(Eagle3) 및 병렬 baseline(DFlash) 대비 수락 길이(accepted length) 일관 향상, DeepSeek-V4 실서비스 배포 시 검증 낭비 억제
• 기존 production baseline인 MTP-1 대비 동일 처리량에서 사용자별 생성 속도 60–85% 가속, 엄격한 상호작용 제약 하에서 도달 불가했던 성능 구간을 열어 Pareto frontier 확장

문제 정의 — 병렬 드래프터의 두 가지 병목

• LLM은 토큰을 자기회귀적으로 생성, 각 토큰마다 선행 토큰 전체에 조건화된 순전파가 필요해 추론 지연이 출력 길이에 비례, 낮은 GPU 활용도와 높은 대기 시간이 production 서빙의 주요 병목으로 작용
• 추측 디코딩은 경량 draft 모델이 후보 블록을 제안하고 target 모델이 단일 순전파로 검증, rejection sampling으로 target 분포와 일치하는 최장 접두부를 수락하므로 품질 손실 없이 가속

• 자기회귀 드래프터의 한계

• 각 위치를 이전 토큰에 조건화해 강한 모델링 능력을 가지나, 드래프팅 비용이 블록 크기에 선형 비례(𝑇draft ∝ 𝛾)해 작은 블록과 얕은 구조로 제약

• 병렬 드래프터의 한계

• 모든 위치를 한 번에 생성해 드래프트 지연이 블록 크기와 거의 무관, 큰 블록(예: 𝛾=16) 사용 가능

• 각 위치를 독립적으로 예측해 토큰 간 의존성 모델링 불가, 다중 모드 충돌(multi-modal collision) 과 후반부 급격한 수락률 저하 유발
• 긴 블록을 무분별하게 전부 검증하면 처리량 저하, 특히 고동시성 환경에서 거부 위험이 높은 토큰이 배치 용량을 점유
• 이상적 검증 길이는 두 축에서 변동 — 데이터 측면(코드 등 구조화 요청은 높은 수락률, 개방형 채팅은 낮음)과 시스템 측면(저부하 시 추가 검증 거의 무료, 고부하 시 다른 활성 요청 용량 잠식)

아키텍처 — 두 개의 상호보완 구성요소

• 토큰당 지연은 𝐿 = (𝑇draft + 𝑇verify)/𝜏, 가속은 𝑇draft 감소·𝜏 증가·유효 𝑇verify 감소의 세 레버로 환원
• 디코딩 사이클: 프롬프트 ABC에서 target 모델이 다음 토큰 D 생성(앵커 역할) → 병렬 백본과 순차 헤드가 드래프트 EFGH와 신뢰도 점수 c1–c4 생성 → 스케줄러가 접두부 EFG 유지·저신뢰 토큰 H 제거 → target 모델이 병렬 검증, E·F 수락 G 거부 시 보정 토큰 G* 생성

• 준자기회귀 생성 (Semi-Autoregressive Generation)

• 병렬 드래프터는 “of course”/“no problem” 같은 다중 연속 가능성에서 “of problem” 같은 비일관 조합을 생성, 각 위치가 실제 샘플된 선행 토큰이 아닌 모든 가능 선행 토큰에 대해 marginalize하기 때문

• 병렬 단계(Parallel stage): 병렬 백본(DFlash 채택)이 전체 블록에 단일 순전파, 은닉 상태와 기본 로짓 생성, 앵커 자체를 첫 예측 위치로 처리해 𝛾개 입력으로 𝛾개 로짓 산출, 드래프트 연산 절감
• 순차 단계(Sequential stage): 기본 로짓에 접두부 의존 전이 편향 𝐵𝑘를 더해 각 위치가 블록 내 이전 샘플 토큰에 조건화, 자기회귀 분해로 인과적 블록 분포 유도, 순차 처리이므로 병렬 단계보다 충분히 경량(𝑇sequential ≪ 𝑇parallel)이어야 함
  • Markov 헤드: 직전 토큰만 의존하는 1차 전이로 단순화, 𝑉×𝑉 전체 행렬을 저랭크 분해 𝐵 = 𝑊1𝑊2(기본 𝑟=256)로 근사, 저장과 단계당 연산 최소화, “of” 샘플 후 “course” 강화·“problem” 억제로 교차 모드 충돌 완화
  • RNN 헤드: 순환 상태 𝑠𝑘로 블록 내 전체 접두부 이력 축적, 게이트 갱신으로 직전 토큰 이전 정보까지 접근, 단 구현 복잡도가 높고 배포 특성이 불리

• 신뢰도 스케줄링 검증 (Confidence-Scheduled Verification)

• 드래프트 수락률이 도메인별로 변동(코드 높음, 개방형 채팅 낮음)하고, 추가 토큰 검증 비용이 엔진 부하에 따라 달라지므로 양의 기대 수익 토큰에만 target 연산을 라우팅하는 통합 메커니즘 필요

• 신뢰도 헤드(Confidence Head): 위치 𝑘마다 스칼라 추정 𝑐𝑘 ∈ (0,1) 출력, 선행 토큰 전부 수락 조건에서 위치 𝑘 토큰이 검증을 통과할 조건부 확률 모델링, 경량 선형 투영 + sigmoid 구조
  • 분석적 단계별 수락률 𝑐*𝑘 = 1 − ½‖𝑝𝑑𝑘 − 𝑝𝑡𝑘‖1(드래프트·target 분포 간 total variation 거리)로 지도 학습
• 사후 보정 — Sequential Temperature Scaling (STS): 하드웨어 인지 스케줄링이 누적 수락 확률의 절대값을 요구하나 신경망 신뢰도는 과신(overconfident) 경향, 각 𝑐𝑖가 조건부 확률이므로 접두부 누적곱으로 인수분해, held-out 검증셋에서 좌→우로 ECE를 최소화하는 1D grid search 수행, 순서 보존 변환이라 토큰 순위는 유지
• 하드웨어 인지 접두부 스케줄러(Hardware-Aware Prefix Scheduler): 검증 길이 선택을 전역 처리량 최대화 문제로 정식화, 활성 요청 𝑅개에 대해 SPS(𝐵)(엔진 초기화 시 1회 프로파일링한 비용표)를 활용, 𝛩 = 𝜏·SPS(𝐵) 최대화
  • 생존 확률 𝑎𝑟,𝑗가 𝑗에 대해 단조 비증가이므로 전역 정렬·탐욕적 선택이 블록 내 접두부 의존성을 자연히 준수, 𝑂(1) 비용표 조회로 점진 admit
  • 무손실 추측 디코딩은 비예견(non-anticipating) 속성을 요구, Markov 특징이 이전 샘플 토큰에 의존해 사후 전역 탐색은 𝑥𝑟,𝑘 정보를 누설하고 선택 편향 유발
  • 조기 중단(early-stopping) 메커니즘으로 처리량이 떨어질 때 즉시 중단, admit 결정이 해당 단계까지 처리된 접두부에만 의존하도록 인과성 강제, 목적 𝛩가 단봉(unimodal)일 때만 전역 최댓값 보장

학습 (Training)

• target 시퀀스에서 다수 앵커 위치를 무작위 샘플해 𝛾토큰 블록을 학습 데이터로 구성
• target 모델은 전 과정 고정(frozen), draft 모델은 임베딩층·LM head를 공유하며 고정, 백본 드래프터·순차 블록·신뢰도 헤드만 갱신
• 학습 목적은 세 항의 가중합 — 교차 엔트로피 손실 Lce, 분포 정합 손실 Ltv, 신뢰도 손실 Lconf
• 모든 항은 위치 가중치 𝑤𝑘 = exp(−(𝑘−1)/𝛾)로 가중, 접두부 기반 검증에서 기대 수락 길이에 더 기여하는 초반 위치 강조
• Ltv는 total variation 거리를 패널티화, 단계별 수락 확률이 1 − ½‖𝑝𝑑 − 𝑝𝑡‖1과 같으므로 Ltv 최소화가 곧 기대 수락률 최대화
• 기본 가중치 𝛼ce = 0.1, 𝛼tv = 0.9, 𝛼conf = 1.0

실험 — 오프라인 벤치마크

• 설정

• target 모델: Qwen3-{4B, 8B, 14B}, Gemma4-12B / 비교 드래프터: SOTA 병렬 드래프터 DFlash, 자기회귀 드래프터 Eagle3

• 동일 프레임워크·데이터로 전체 재학습, Eagle3의 TTT horizon(7)을 DFlash·DSpark의 블록 크기(7)에 정렬, draft 층수 Eagle3은 1·DSpark과 DFlash는 5
• 학습 데이터: Open-PerfectBlend 130만 샘플(chat 17.6%, math 39.4%, code 38.9%, instruction-following 4.1%), 프롬프트만 사용하고 응답은 각 target 모델이 재생성, 10 epoch 학습
• 평가 도메인: 수학(GSM8K, MATH500, AIME25), 코드(MBPP, HumanEval, LiveCodeBench), 일상 채팅(MT-Bench, Alpaca, Arena-Hard), 샘플링 온도 1.0, 라운드당 수락 길이 𝜏 보고

• 주요 결과

• 오프라인 평가는 신뢰도 스케줄러를 비활성화해 고정 블록으로 순수 드래프트 품질만 분리

• Qwen3-4B·8B·14B에서 Eagle3 대비 매크로 평균 수락 길이 30.9%·26.7%·30.0% 향상, DFlash 대비 16.3%·18.4%·18.3% 향상, Gemma4-12B에서도 일관 이득으로 모델 패밀리 간 일반화 확인
• 구조화 과제의 수락 길이가 개방형 채팅보다 높음(Qwen3-4B 기준 수학 5.57·코드 5.12 vs 채팅 3.49), 데이터 예측성 분산이 정적 검증 길이의 낭비를 유발해 신뢰도 스케줄링의 동기로 작용

실험 분석

• 병렬 생성이 자기회귀를 능가하는 이유

• 병렬·준자기회귀 드래프터가 완전 자기회귀 Eagle3보다 긴 수락 길이를 내는 반직관적 관찰, 위치별 조건부 수락률(앞 위치 전부 수락된 경우만 분모로 집계)로 분석

• 위치 1의 용량 우위: 첫 위치는 target 문맥에만 의존, Eagle3는 𝑂(𝛾) 지연으로 얕은 망에 제약되나 𝑂(1) 병렬 드래프터는 깊은 망 사용 가능, DFlash가 Eagle3보다 높게 시작(수학 0.88 vs 0.81, 채팅 0.72 vs 0.53), 첫 토큰 거부가 블록 전체를 무효화하므로 초기 우위가 최종 수락 길이에 큰 영향
• 후반 위치의 독립성 한계: 위치 2–7에서 Eagle3는 조건부 확실성을 활용해 유지·상승(채팅 0.53→0.74), DFlash는 급격히 저하(코드 0.87→0.78, 채팅 0.72→0.63), 다중 모드 충돌로 비일관 접미부 생성
• 준자기회귀의 접미부 붕괴 완화: DSpark은 깊은 병렬 백본의 높은 초기 수락(수학 0.93 시작)을 계승하면서 경량 순차 헤드로 후반 붕괴를 억제, 블록 전체에서 높고 안정적인 조건부 수락률 유지

• 적은 자기회귀로도 큰 효과

• 드래프터 깊이: 블록 크기 7 고정, DSpark 층수 1→5 증가 시 성능 단조 향상, 1→2층에서 한계 이득 최대, 2층 DSpark이 5층 DFlash를 전 도메인에서 능가, 순차 헤드의 파라미터 효율성 입증

• 제안 길이: 깊이 5 고정, 드래프트 길이 {4,8,12,16} 확장 시 DSpark이 매 길이에서 DFlash 능가, 𝛾 증가에 따라 격차 확대(𝛾=7에서 수학 16%·코드 15%·채팅 18%, 𝛾=15에서 30%·26%·22%), RNN 헤드는 긴 길이에서 소폭 추가 이득에 그쳐 Markov 헤드를 기본 채택
• 지연 오버헤드: 배치 128·문맥 길이 {512,1024,2048,4096} 평균 기준, 순차 블록 지연이 무시 가능, 드래프트 길이 4→16 확장 시 전체 라운드 지연에 0.2–1.3%만 추가하면서 최대 30% 수락 길이 향상

• 신뢰도 헤드의 역할 — 더 길게가 아니라 더 똑똑하게 검증

• Qwen3-4B로 정적 임계값 스윕 진단, 임계값 상승 시 거부 토큰 필터링으로 수락률 상승, 채팅에서 효과 가장 큼(45.7%→95.7%), 수학(76.9%→92.5%)·코드(67.6%→92.0%)는 완만

• 정적 임계값은 시스템 부하를 무시해 동적 서빙에서 비최적, 신뢰도 모델은 강한 판별력(ROC-AUC 0.81–0.90) 보유하나 과신(ECE 3–8%), STS 적용 후 평균 ECE를 약 1%로 낮춰 신뢰할 생존 추정 확보

실서비스 배포

• 확장 가능 학습

• DeepSeek-V4-Flash·Pro preview와 공동 배포, 병렬 백본은 mHC 적용 MoE 3개 층과 sliding window attention 128로 구성, 최대 블록 크기 𝛾=5·Markov 헤드 사용, 신뢰도 헤드는 end-to-end 학습 후 STS 보정

• 은닉 상태 통신(Hidden state communication): 전체 어휘 로짓(𝑉≈10⁵) 전송 대신 LM head 직전 은닉 상태만 통신하고 샘플 위치에 한해 LM head를 draft 워커에서 로컬 실행, 토큰당 통신 복잡도를 𝑂(𝑑)로 축소
• 앵커 한정 시퀀스 패킹(Anchor-bounded sequence packing): 고정 수의 draft 앵커를 샘플해 고립 예측 블록을 밀집 배치로 패킹, 토큰 단위 attention 인덱스로 다중 독립 시퀀스 간 인과 마스킹 유지하며 padding 오버헤드 회피

• 스케줄러 실전 적용

• 두 가지 충돌 — 알고리듬은 매끄러운 단봉 용량 곡선을 가정하나 실제 SPS(𝐵)는 이산적·계단형 저하, 단계별 동적 토큰 스케줄링이 연속 CUDA graph replay·Zero-Overhead Scheduling(ZOS)과 상충

• 비동기 스케줄링으로 적응, ZOS가 현재 단계 완료 전 다음 배치 크기를 요구하므로 두 단계 전 신뢰도 출력으로 검증 용량 근사, 현재 단계 후보는 최신 누적 신뢰도로 정렬하고 과거 예측은 동적 절단 길이(𝐾) 결정에만 사용, 동적 top-𝐾 선택으로 캐스팅
• 조기 중단을 제거해 제약 없는 전역 탐색 활성화, 두 단계 전 이력만 평가하므로 현재 토큰 𝑥𝑟,𝑘 실현과 격리되어 인과 장벽 형성, 하드웨어 절벽을 넘는 물리 처리량 최대화와 정확한 target 분포 보존 양립

• 고처리량·저지연 추론

• production 서빙은 요청별 지연과 총 처리량을 동시 최적화, 본 배포에서 KV-cache 용량·사용자 트래픽 제약으로 유효 배치 크기가 GPU 포화 임계 미만에 머물러 두 목표가 경쟁이 아닌 높은 상관 관계로 단순화

• 가변 길이 쿼리 지원이 과제, 고정 길이 디코드 커널에서 단순 처리 시 padding·불균등 부하로 GPU 저활용, 모든 요청 토큰을 평탄화해 독립 요소로 처리하고 시퀀스 내부 의존성은 sparse attention의 marker tensor로 전달, DeepSeek-V4에서 index-attention·compress 커널만 수정해 가변 길이 라우팅 지원

• 실사용자 트래픽 성능

• DSpark-5(𝛾=5)를 MTP-1 baseline과 V4-Flash·Pro production 엔진에서 비교, MTP-1은 정적 다중 토큰 드래프터(MTP-3/5)가 고동시성에서 처리량을 저하시키기에 유지된 단일 토큰 설정이었고 DeepSeek-V4-preview 출시 2주 후 DSpark으로 대체

• V4-Flash: 80 tok/s/user SLA에서 처리량 51% 향상, 120 tok/s/user에서 MTP-1이 운영 한계 근접해 명목상 661% 우위(절대 배수가 아닌 상호작용 frontier 확장의 증거로 해석), 동일 처리량에서 사용자별 생성 60–85% 가속
• V4-Pro: 35 tok/s/user에서 52% 향상, 50 tok/s/user에서 명목상 406% 우위, 동일 용량에서 57–78% 가속, 전반적으로 throughput–interactivity frontier를 바깥으로 이동
• 부하 적응 동작: 중간 동시성(V4-Flash 200·V4-Pro 150 요청 미만)에서 스케줄러가 MTP-1 정적 2토큰을 요청당 약 4–6토큰으로 확장해 순전파당 수락 토큰 증가, 동시성 포화 시 검증 길이를 부드럽게 축소해 저신뢰 토큰이 배치 용량을 잠식하기 전에 가지치기

• 한계

• 접두부 스케줄러가 target 검증 낭비를 최소화하나 병렬 백본의 초기 𝛾토큰 블록 생성에 드는 고정 드래프트 비용은 존재, 본질적으로 수락률이 낮은 복잡 쿼리에서는 이 선행 연산이 회수 불가

• 향후 draft 모델 내 난이도 인지 조기 종료(difficulty-aware early exiting)로 해당 요청이 전체 블록 생성을 우회하도록 개선 가능

결론

• 구조적 측면에서 무거운 병렬 백본과 경량 순차 헤드를 결합한 준자기회귀 패러다임으로 독립 병렬 드래프터의 급격한 접미부 붕괴 완화
• 시스템 측면에서 검증 길이 선택을 전역 처리량 최대화 문제로 정식화, 보정된 생존 확률과 실시간 엔진 부하 기반 하드웨어 인지 접두부 스케줄러로 검증 예산을 동적 조정
• 광범위한 오프라인 평가에서 SOTA 자기회귀·병렬 baseline을 능가, DeepSeek-V4 실배포에서 고부하 동시성 유지·사용자별 생성 가속·LLM 서빙 Pareto frontier 확장으로 실용 가치 입증