-
메모리 아끼면서 Cross Entropy Loss 계산하기
메모리 아끼면서 Cross Entropy Loss 계산하기 | GeekNews
<p>긴 context, 큰 vocab의 LLM 학습에서 LM head + cross entropy가 왜 가장 큰 메모리 소비처 중 하나가 되는지 짚어본 글. 128K context에서는 logits 텐서 하나가 40GB에 육박해서, 모델 weight보다도 커진다.</p> <p>16B 모델을 128K context로 학습…
-
딥씨크 V4 - 거의 최고 수준의 성능, 저렴한 가격
DeepSeek V4 - almost on the frontier, a fraction of the price
<p>Chinese AI lab DeepSeek's last model release was V3.2 (and V3.2 Speciale) <a href="https://simonwillison.net/2025/Dec/1/deepseek-v32/">last December</a>. They just dropped the f…