• 개인용 AI 코딩 비용을 줄이는 선택지는 자가 호스팅, 오픈소스 모델 API 대여, 프런티어 구독 최적화의 세 가지로 나뉨
  • 자가 호스팅은 장비를 구매해 로컬에서 오픈소스 모델을 돌리며 이후 토큰당 비용을 내지 않지만, 초기 비용이 크고 집에서 돌릴 수 있는 모델은 프런티어 연구소 모델보다 약함
  • 오픈소스 모델을 API 요금으로 빌리면 GPU 구성에 수천 달러를 묶지 않고, 성능을 끌어내는 작업을 피하며, 다음 달 더 싸거나 나은 선택지로 바꾸기 쉬움
  • OpenAI와 Anthropic의 프런티어 구독은 월 약 400달러로 정가 기준 약 2,800달러의 API 사용량을 얻을 수 있지만, 대규모 AI 네이티브 워크플로는 포함 토큰을 빠르게 소모함
  • 가장 잘 맞는 방식은 프런티어 구독을 어려운 사고와 명세 작성에 쓰고, 오픈소스 API를 작고 기계적인 작업에 쓰는 혼합 전략임

세 가지 선택지

  • 집에서 회사 수준의 지출 없이 AI 코딩을 하는 방법은 세 가지이며, 어떤 방식이 맞는지는 향후 1년의 하드웨어와 모델 출시를 얼마나 신뢰하는지에 크게 달려 있음
  • 자가 호스팅은 직접 장비를 사고 오픈소스 모델을 로컬에서 실행하는 방식이며, 이후 토큰당 비용이 들지 않음
    • 초기 비용이 크고, 집에서 실제로 돌릴 수 있는 모델은 프런티어 연구소가 내놓는 모델보다 약함
    • 느리고 저렴한 모델이 밤새 작업하는 장기 실행 작업으로 장비를 계속 활용할 수 있을 때만 비용 대비 효과가 있음
    • 대부분의 사람은 집의 장비를 그렇게 계속 높은 부하로 유지하기 어렵고, 오늘 산 하드웨어가 1년 뒤에는 나쁜 선택처럼 보일 수 있음
  • 오픈소스 모델 API 대여는 같은 오픈소스 모델을 제공업체에서 API 요금으로 빌리는 방식이며, 대부분의 사람에게 맞는 선택임
    • GPU 구성 하나에 수천 달러를 투입하지 않아도 되고, 오픈 모델에서 장기 실행 성능을 끌어내는 작업을 피할 수 있음
    • 다음 달 더 싸거나 더 나은 선택지로 바꾸기 쉬우며, 장비를 되팔 필요가 없음
    • OpenRouter 같은 서비스는 전환을 거의 한 줄 변경에 가깝게 만듦
  • 프런티어 구독 최적화는 OpenAI와 Anthropic 구독을 최대한 활용하는 방식임
    • 월 약 400달러의 요금제로 정가 기준 약 2,800달러의 API 사용량을 얻을 수 있어 한도에 닿기 전까지는 큰 할인 효과가 있음
    • 요금제는 사용량이 측정되며, 대규모 AI 네이티브 워크플로는 포함 토큰을 빠르게 소모함
    • 사람이 직접 주도하는 작업에는 잘 맞지만, 하루 종일 실행되는 에이전트의 엔진으로는 부족함

가장 잘 작동한 조합

  • 가장 잘 작동한 방식은 프런티어 구독과 오픈소스 모델 API를 함께 쓰는 조합임
  • 프런티어 구독 몇 개는 어려운 사고와 명세 작성에 유지하고, 작은 기계적 작업은 오픈소스 모델 API 요금으로 처리함
  • 명세 주도 개발을 활용하면 비싼 모델이 계획을 만들고 저렴한 모델이 그 계획을 채우는 구조가 됨
  • 이 방식을 잘 수행하면 엔지니어 20명 규모의 팀이 한 달 동안 낼 산출물을 약 1,000달러로 만들 수 있음