-
Kimi K3는 Fable과 경쟁하며, 두 모델의 조합은 최고 수준의 성능을 달성함
Kimi K3는 Fable과 경쟁하며, 두 모델의 조합은 최고 수준의 성능을 달성함 | GeekNews
<ul> <li>약 <strong>1,030개 에이전트 작업</strong>에서 Kimi K3와 Fable 5를 비교한 결과, 작업별 라우팅은 <strong>93% 정확도</strong>로 개별 모델보다 높은 품질을 달성함</li> <li>SWE·터미널·알고리듬·다중 언어·법률 작업에서 전체 성능은 비슷했지만, 두 모델이…
-
Apple SpeechAnalyzer API, Whisper·이전 API와 비교 벤치마크
Apple SpeechAnalyzer API, Whisper·이전 API와 비교 벤치마크 | GeekNews
<ul> <li>Apple M2 Pro에서 5,559개 LibriSpeech 음성을 동일한 프로덕션 코드로 처리한 결과, <strong>SpeechAnalyzer</strong>가 깨끗한 음성 2.12%, 잡음이 많은 음성 4.56%의 단어 오류율(WER)로 테스트한 모든 엔진보다 정확했음</li> <li>기존 <stro…
-
Claude Code는 프롬프트를 읽기 전 3.3만 토큰, OpenCode는 7천 토큰을
Claude Code는 프롬프트를 읽기 전 3.3만 토큰, OpenCode는 7천 토큰을 | GeekNews
<ul> <li>동일한 모델·머신·작업에서 API 경계를 측정한 결과, Sonnet 4.5 첫 요청의 고정 오버헤드는 <strong>Claude Code 약 32,800토큰</strong>, OpenCode 약 6,900토큰으로 4.7배 차이 났으며 Fable 5에서는 약 3.3배로 줄어듦</li> <li>격차의 대부분은…
-
Claude Sonnet 5 공개
Claude Sonnet 5 공개 | GeekNews
<ul> <li>Anthropic은 2026년 6월 30일 Claude Sonnet 5를 출시하며, 더 비싼 Opus급 모델에 가까운 <strong>에이전트 실행 능력</strong>을 Sonnet급 비용대로 제공하려 함</li> <li>Sonnet 4.6보다 <strong>추론, 도구 사용, 코딩, 지식 작업</stro…
-
GLM 5.2, Semgrep IDOR 벤치마크에서 Claude 앞서
GLM 5.2, Semgrep IDOR 벤치마크에서 Claude 앞서 | GeekNews
<ul> <li>Semgrep의 <strong>IDOR 취약점 탐지</strong> 벤치마크에서 Zhipu AI의 open-weight 모델 <strong>GLM 5.2</strong>가 단순 프롬프트 조건만으로 Claude Code보다 높은 F1을 기록함</li> <li>실험은 데이터셋·평가 방식·시스템 프롬프트를 고정…
-
오픈 웨이트 LLM과 폐쇄형 LLM의 격차
오픈 웨이트 LLM과 폐쇄형 LLM의 격차 | GeekNews
<ul> <li>Artificial Analysis Intelligence Index에서는 <strong>오픈 웨이트 LLM</strong>이 폐쇄형 LLM의 과거 성능을 따라잡는 시간이 2024년 여름부터 꾸준히 줄어드는 흐름을 보임</li> <li>이 단일 지표에 추세선을 그으면 격차가 <strong>2026년 12월…
-
VLM은 한국 공공기관 문서를 얼마나 잘 읽을까? KOLongDoc 벤치마크 공개
VLM은 한국 공공기관 문서를 얼마나 잘 읽을까? KOLongDoc 벤치마크 공개 | GeekNews
<p>🔥 한국어 Long-Document VLM 벤치마크, <a href="https://github.com/Marker-Inc-Korea/KOLongDoc">KOLongDoc</a>를 공개했습니다!</p> <p>최근 ChatGPT, Claude, Gemini 같은 멀티모달 AI가 공공·행정 업무에도 활용되기 시작했지만,…