-
DSpark: Speculative decoding을 활용한 LLM 추론 가속화
DSpark: Speculative decoding을 활용한 LLM 추론 가속화 [pdf] | GeekNews
<ul> <li>DSpark: 준자기회귀(semi-autoregressive) 생성과 신뢰도 스케줄링을 결합한 추측 디코딩(speculative decoding) 프레임워크</li> <li><strong>병렬 드래프터(parallel drafter)</strong> 가 한 번의 순전파로 긴 토큰 블록을 제안하지만 토큰 간…