GeekNews최신글예전글쓰레드댓글AskShowGN⁺WeeklyGeekBotsGeekBadge후원 | 글등록
검색 로그인
▲; "토픽 추천")
Databricks가 자체 코딩 AI 벤치마크를 만든 방법과 결과(databricks.com)
1 P by sungchi5시간전 | ★ favorite) | 댓글과 토론
-
공개된 코딩 벤치마크는 회사별 상황에 딱 맞지 않고 치팅이 가능한 것이 문제
-
Databricks에서 실제 수행한 과제, 언어로 벤치마크를 만들어 평가
- GLM 5.2는 가장 어려운 과제도 Opus 4.8과 같은 수준으로 해결했지만 가격은 Opus의 66% 수준
- Sonnet 5는 Opus 4.8보다 1.7배 저렴하지만 실제 작업 완료를 위해 토큰을 1.9배 더 쓰기 때문에 비효율적
- 동일한 모델을 사용해도 하네스에 따라 가격과 수행 시간이 크게 절약됨
함께 보면 좋은 글 β
- GPT-5.6, Grok 4.5, Claude, Muse Spark로 동일한 앱 4개를 만든 결과
- GPT-5.5 vs GPT-5.4 vs Opus 4.7 - 실제 코딩 작업 56개 벤치마크 비교
- GLM 5.2와 다가오는 AI 추론 마진 붕괴
- AI 에이전트 벤치마크를 무너뜨린 방법과 그 다음 단계
- DBRX - 새로운 최첨단(SOTA) 오픈 LLM
GeekNews는 개발·기술·스타트업 소식을 빠르게 전달합니다.Weekly 뉴스레터로 구독하거나, 더 편하게 GeekBots로 받아보세요.
Weekly 구독GeekBots로 받기GeekNews 소개숨기기
댓글과 토론
인증 이메일 클릭후 다시 체크박스를 눌러주세요
GeekNews를 계속 받아보려면 Weekly 뉴스레터나 GeekBots를 이용해보세요.Weekly 구독·GeekBots·GeekNews 소개
GeekNews BeeBS 게시판 오픈! 자유로운 이야기와 소소한 일상을 함께 나눠보세요.
숨기기
처음 오셨나요사이트 이용법FAQAbout후원하기이용약관개인정보 처리방침 | BlogListsRSS | Bookmarklet
X (Twitter)Facebook | 긱뉴스봇 : Slack잔디DiscordTeamsDooray!Google ChatMattermostSwit
검색