-
Kimi K3와 펠리칸 벤치마크로부터 배울 수 있는 것
Kimi K3, and what we can still learn from the pelican benchmark
<p>Chinese AI lab Moonshot AI <a href="https://www.kimi.com/blog/kimi-k3">announced Kimi K3</a> this morning, describing it as their "most capable model to date, with 2.8 trillion …
-
Databricks가 자체 코딩 AI 벤치마크를 만든 방법과 결과
Databricks가 자체 코딩 AI 벤치마크를 만든 방법과 결과 | GeekNews
<ul> <li>공개된 코딩 벤치마크는 회사별 상황에 딱 맞지 않고 치팅이 가능한 것이 문제 <ul> <li>Databricks에서 실제 수행한 과제, 언어로 벤치마크를 만들어 평가</li> </ul> </li> <li>GLM 5.2는 가장 어려운 과제도 Opus 4.8과 같은 수준으로 해결했지만 가격은 Opus의 66%…
-
코딩 평가에서 신호와 노이즈 구분하기
Separating signal from noise in coding evaluations
A new analysis from OpenAI reveals issues in SWE-Bench Pro, a popular coding benchmark, raising concerns about reliability and accuracy in evaluating AI models.