-
메모리 아끼면서 Cross Entropy Loss 계산하기
메모리 아끼면서 Cross Entropy Loss 계산하기 | GeekNews
<p>긴 context, 큰 vocab의 LLM 학습에서 LM head + cross entropy가 왜 가장 큰 메모리 소비처 중 하나가 되는지 짚어본 글. 128K context에서는 logits 텐서 하나가 40GB에 육박해서, 모델 weight보다도 커진다.</p> <p>16B 모델을 128K context로 학습…
-
Claude Desktop이 채팅 전용 사용에도 실행 때마다 1.8GB Hyper-V VM
Claude Desktop이 채팅 전용 사용에도 실행 때마다 1.8GB Hyper-V VM | GeekNews
<ul> <li><strong>Claude Desktop Windows</strong> 앱이 채팅만 사용할 때도 실행마다 Hyper-V VM을 띄우고, Task Manager에서 <strong>Vmmem</strong>이 약 1,796~1,846MB RAM을 사용하는 현상</li> <li>재현 조건은 Windows 11에…