-
GigaToken - 언어 모델 토큰화를 약 1,000배 가속
GigaToken - 언어 모델 토큰화를 약 1,000배 가속 | GeekNews
<ul> <li>다양한 CPU와 널리 쓰이는 토크나이저를 지원하며, 텍스트를 GB/s 단위로 처리하는 Tiktoken 과 HuggingFace Tokenizers 대체 도구</li> <li>정규식 엔진이 맡던 사전 토큰화를 <strong>SIMD</strong>로 최적화하고 분기·스레드 통신·Python 상호작용을 줄이며…
-
AI 토큰은 데이터센터를 어떻게 여행하는가
AI 토큰은 데이터센터를 어떻게 여행하는가 | GeekNews
<ul> <li>2026년 <strong>AI 추론</strong>은 전체 AI 컴퓨팅의 약 3분의 2까지 확대됐으며, 배포된 모델의 생애 컴퓨팅 비용 중 80~90%를 차지해 토큰 처리 비용과 지연시간이 인프라 경제성을 좌우함</li> <li>하나의 요청은 토큰화, API 게이트웨이, 인증, 라우팅, 스케줄링, KV 캐…