-
GigaToken - 언어 모델 토큰화를 약 1,000배 가속
GigaToken - 언어 모델 토큰화를 약 1,000배 가속 | GeekNews
<ul> <li>다양한 CPU와 널리 쓰이는 토크나이저를 지원하며, 텍스트를 GB/s 단위로 처리하는 Tiktoken 과 HuggingFace Tokenizers 대체 도구</li> <li>정규식 엔진이 맡던 사전 토큰화를 <strong>SIMD</strong>로 최적화하고 분기·스레드 통신·Python 상호작용을 줄이며…