• 일반 공개된 첫 Mythos급 모델 Claude 5 Fable은 다단계 사양서를 받아 최대 십수 시간 동안 스스로 작업을 수행하며, 이전에 사용해 본 모든 모델을 상당한 격차로 능가
  • 단일 프롬프트와 한 차례 피드백만으로 정교한 사회과학 논문과 모든 단어가 s로 시작하는 10페이지 운율시까지 생성
  • 작업 중 다른 AI(주로 저렴한 Claude Sonnet)를 직접 실행해 연구·코딩·검증을 분담시키며, 2,200건 이상의 항공편과 철도 시간표, 국가별 도로 속도 데이터를 수집
  • 사용자의 역할은 지시와 결과 판정으로 축소되고, 모델의 의사결정 과정은 노출되지 않아 궁극의 블랙박스로 작동
  • AI와의 관계가 직접 작업하는 '마법사'에서 결과를 의뢰·판정하는 '후원자(patron)'로 전환 중이며, 능력이 강할수록 인간이 개입할 여지가 줄어들 가능성 제기

Claude 5 Fable의 성능과 사용감 - Ethan Mollick

  • 대중에게 공개되는 최초의 미소스급 AI 모델인 클로드 5 페이블(Claude 5 Fable)을 미리 사용(Early Access)해 볼 기회를 가졌음
  • Claude 5 Fable은 공개되는 첫 Mythos급 AI 모델이며, 소프트웨어 보안 영향에 대한 논의가 많았지만 테스트는 그 영역을 제외하고 진행됨
  • Fable의 가드레일은 사이버보안 용도로 거의 사용하지 못하게 막는 수준으로 작동함
  • 여러 실험에서 Fable은 이전에 사용한 거의 모든 공개 모델보다 상당히 높은 성능을 보였음
  • Fable은 여러 문제에서 역량을 보였고, 다중 페이지 명세를 바탕으로 최대 12시간가량 작업을 실행함

Fable의 성능과 출력물

  • 진행한 모든 실험에서 공개된 다른 모델들을 상당한 차이로 능가했고, 전 과업에 걸쳐 전반적 성능 향상 확인
  • 단일 프롬프트와 한 번의 피드백으로 지금껏 AI가 만든 것 중 가장 정교한 학술 사회과학 논문 생성
  • Claude Code에서 모호한 초기 프롬프트와 "make it better" 같은 약간의 추가 피드백만으로 플레이 가능한 게임들을 제작
  • 더 진지한 작업에 들어갈수록 도구 사용 경험은 즐거움과 불안감 사이에 위치 — 무언가를 요청하면 그대로 이루어지기 때문

Maps and Methods — 등시선 지도 제작 사례

  • 등시선 지도(isochrone map) 는 주어진 시간 안에 이동 가능한 거리를 보여주는 지도로, 첫 사례는 1881년에 런던 출발 이동 시간을 보여주기 위해 만들어짐
  • 이전 모델들은 이런 지도를 절반이라도 유용하게 만들지 못했는데, 수천 개의 잠재 이동 거리 조사와 많은 작은 판단이 필요했기 때문임

  • 작업 진행 방식

    • 도시 선택과 공항·기차·도보·운전을 반영한 실제 데이터 기반의 고유 디자인 지도를 요청하는 프롬프트 입력, 데이터는 실시간일 필요 없이 조사 기반의 실데이터일 것을 지시
    • 모델이 먼저 1881년 원본 스타일로 제작할 것을 제안, 동의 후 작업 시작
    • 여러 시간에 걸친 빌드 세션에서 다수의 다른 AI(주로 저렴한 Claude Sonnet)를 실행해 이동 시간 조사 진행
      • TGV부터 Shinkansen까지의 철도 시간표, 여러 학술 논문 기반 국가별 도로 속도, 2,200건 이상의 구체적 항공편 데이터 확보
    • 조사 에이전트가 도는 동안 코딩을 시작하고, 코드 검증을 위한 추가 에이전트와 테스트를 실행하며 진행 상황 기록

  • 원격지 보정과 토큰 사용

    • Greenland 같은 원격지가 정확한 수치 대신 추정치만 담고 있어 실제 이동 시간을 확보하도록 수정 지시
    • 이번에는 연구하고 서로 결과를 검증하는 적대적 에이전트 그룹(adversarial groups) 워크플로 실행
    • Pacific의 Pitcairn Island로 배가 운항하는 빈도, Ottawa에서 Grise Fjord까지 가는 경로를 산출
    • 짧은 시간에 막대한 양의 토큰 소비
  • 사용자가 한 일은 야심 찬 지시와 약간의 피드백뿐, 모델이 수백 개의 작은 판단을 직접 내렸고 그 선택을 이해하거나 개입할 기회는 없었음
    • 작업량뿐 아니라 모델의 방식·접근 선택·결과 깊이에 대한 통제력도 제한됨
  • 결과물은 클릭해 볼 수 있는 등시선 지도로 제공되며, 그래프 하단에서 방법과 출처를 확인할 수 있음

Working with a Mythos-class model — Concord 사례

  • 가장 야심 찬 프로젝트는 인간이 만들어내는 지저분한 답변을 적절히 분류하는 연구 과업 — 아이디어가 얼마나 혁신적인지, 사람들이 왜 특정 책을 좋아하는지 등을 판단
    • 기존에는 인간 연구자가 판단을 내리고 다른 답변과 통계적으로 비교해 데이터 신뢰도를 확인했음
    • AI와 인간 판단의 보정(calibration)은 어렵고 비용이 큼
  • Fable에게 이 문제 해결을 요청, 먼저 19페이지 복잡한 설계 문서 를 생성한 뒤 실행
    • Fable은 이를 가지고 9시간 30분 동안 작업함
  • 결과물은 AI가 Concord라 명명한 소프트웨어로, 다중 데이터셋을 입력받아 인간·AI 응답을 보정하고 복잡한 데이터 분석 수행
    • 완벽하진 않았고 전문가 입장에서 일부 오류와 누락(일부는 요청한 설계에서 기인)을 발견해 수정 지시
    • 전달 범위는 이전에 본 어떤 것도 넘어섰고, 연구자들이 수년간 필요로 했으나 수익성이 없어 만들어지지 않던 소프트웨어
    • 남은 잠재적 버그는 소프트웨어 엔지니어가 해결할 수 있으며, 새로운 소프트웨어 활용 폭증에 대응하려면 코더가 더 많이 필요할 수 있음
    • Concord 코드는 GitHub 저장소에서 사용하거나 수정할 수 있음

한계와 제약

  • Fable의 강력함은 낯섦과 한계를 동반함

  • 토큰 비용

    • Fable은 Opus 대비 2배 비싸고, 프로덕션 비용은 "상당히 많은(a lot)" 수준으로 토큰을 빠르게 소진
    • 다만 저렴한 모델로의 영리한 위임이 실제 비용을 상당히 낮출 가능성 있음

  • 가드레일과 스타일

    • 보안 문제의 아주 미세한 기미에도 가드레일이 작동해 성능이 낮은 Claude 4.8 Opus로 전환되며, 이런 일이 지나치게 자주 발생
    • Mythos 논의는 주로 소프트웨어 보안 영향에 집중되었으나, Fable의 가드레일은 사이버보안 용도 사용을 사실상 차단
    • 여전히 들쭉날쭉한 프런티어(jagged frontier) 가 존재하며, 산출물과 진행 보고서에 특유의 "Claudism" 식 문체가 남아 있음

마법사에서 후원자로 — 인간 역할의 변화

  • 작년에는 이 경험을 '주문을 외우면 무언가 일어나는' 마법사(wizard) 에 비유했음
  • Fable에서는 주문이 충분히 강력해져 사용자 스스로가 마법사라기보다 후원자(patron) 에 가까워짐
    • 원하는 것을 묘사하고, 비용을 지불하고, 결과를 판정 — 실제 작업(conjuring)은 볼 수 없는 곳에서 수백 개의 작은 선택을 통해 진행됨
    • 작업이 과정에서 결과로 이동, 더 이상 조종(steer)하지 않고 의뢰(commission)함

  • 두 가지 가능성

    • 인터페이스가 따라잡지 못한 일시적 현상일 수 있으며, 모델 동작을 들여다보고 중간에 조종하는 더 나은 방법이 나올 가능성
    • 반대로 모델이 유능할수록 인간이 의미 있게 할 일이 줄고 블랙박스가 그 능력의 대가일 가능성이 더 크다고 봄
  • 명백한 의미의 통제 상실은 아니며, 여전히 조종 가능하고 지시를 매우 잘 따름 — 지시가 야심 찰수록 결과가 더 좋아짐
    • 그러나 조종은 더 이상 직접 수행과 같지 않으며, 모델이 자체 에이전트를 띄워 조사·작성·상호 검증을 끝내 완성본을 돌려줌
    • 후원자가 한 명의 예술가에게 의뢰하는 것이 아니라, Fable은 작업 현장에 발도 들이지 않은 채 최종 결과만 승인하는 스튜디오 전체에 가까운 형태