-
Codeberg는 LLM으로부터 FLOSS 공유 자원을 보호합니다
Codeberg는 LLM으로부터 FLOSS 공유 자원을 보호합니다 | GeekNews
<ul> <li>Codeberg e. V. 회원들은 <strong>사용자·프로젝트 데이터를 LLM 훈련에 쓰지 않는 방침</strong>과 ‘바이브 코딩’ 프로젝트를 제한하는 이용약관 변경안을 모두 가결함</li> <li>논쟁이 컸던 두 번째 안건은 찬성 358명, 반대 144명, 기권 14명과 약 50%의 투표율로 통과…
-
AI 스크레이퍼 공격으로 유지가 어려워지는 개방형 웹
AI 스크레이퍼 공격으로 유지가 어려워지는 개방형 웹 | GeekNews
<ul> <li>대규모 언어 모델 등의 훈련 데이터를 수집하는 <strong>웹 스크레이핑 공격</strong>이 1년 넘게 증가하면서, 독립 웹사이트가 개방성을 유지하기 어려울 만큼 트래픽 부담이 커지고 있음</li> <li>공격자는 수백만 개의 일반·모바일 기기로 구성된 <strong>주거용 프록시</strong>를 …
-
메모리 아끼면서 Cross Entropy Loss 계산하기
메모리 아끼면서 Cross Entropy Loss 계산하기 | GeekNews
<p>긴 context, 큰 vocab의 LLM 학습에서 LM head + cross entropy가 왜 가장 큰 메모리 소비처 중 하나가 되는지 짚어본 글. 128K context에서는 logits 텐서 하나가 40GB에 육박해서, 모델 weight보다도 커진다.</p> <p>16B 모델을 128K context로 학습…