#gpu-pooling

Mesh LLM - iroh 기반 분산 AI 컴퓨팅

Mesh LLM - iroh 기반 분산 AI 컴퓨팅 | GeekNews

<ul> <li>여러 머신에 흩어진 GPU와 메모리를 <strong>하나의 컴퓨팅 자원</strong>으로 묶어, 로컬 실행·피어 전달·분할 실행을 OpenAI 호환 API 하나로 제공함</li> <li>요청은 로컬 GPU나 모델을 적재한 피어에서 처리되며, 한 머신에 들어가지 않는 모델은 여러 노드에 <strong>파이…