-
Mesh LLM - iroh 기반 분산 AI 컴퓨팅
Mesh LLM - iroh 기반 분산 AI 컴퓨팅 | GeekNews
<ul> <li>여러 머신에 흩어진 GPU와 메모리를 <strong>하나의 컴퓨팅 자원</strong>으로 묶어, 로컬 실행·피어 전달·분할 실행을 OpenAI 호환 API 하나로 제공함</li> <li>요청은 로컬 GPU나 모델을 적재한 피어에서 처리되며, 한 머신에 들어가지 않는 모델은 여러 노드에 <strong>파이…
-
Mesh LLM: iroh에서의 분산 AI 컴퓨팅
Mesh LLM: distributed AI computing on iroh
<p>Article URL: <a href="https://www.iroh.computer/blog/mesh-llm">https://www.iroh.computer/blog/mesh-llm</a></p> <p>Comments URL: <a href="https://news.ycombinator.com/item?id=488…