-
DSpark: Speculative decoding을 활용한 LLM 추론 가속화
DSpark: Speculative decoding을 활용한 LLM 추론 가속화 [pdf] | GeekNews
<ul> <li>DSpark: 준자기회귀(semi-autoregressive) 생성과 신뢰도 스케줄링을 결합한 추측 디코딩(speculative decoding) 프레임워크</li> <li><strong>병렬 드래프터(parallel drafter)</strong> 가 한 번의 순전파로 긴 토큰 블록을 제안하지만 토큰 간…
-
DSpark: 추측적 디코딩을 통한 LLM 추론 가속
DSpark: Speculative decoding accelerates LLM inference [pdf]
<p>Article URL: <a href="https://github.com/deepseek-ai/DeepSpec/blob/main/DSpark_paper.pdf">https://github.com/deepseek-ai/DeepSpec/blob/main/DSpark_paper.pdf</a></p> <p>Comments …