-
GPU 없이 13년 된 Xeon에서 Gemma 4 26B를 초당 5토큰으로 실행하기
GPU 없이 13년 된 Xeon에서 Gemma 4 26B를 초당 5토큰으로 실행하기 | GeekNews
<ul> <li>2013년형 듀얼 Xeon E5-2690 v2와 DDR3로 구성된 서버에서 <strong>Gemma 4 26B-A4B Q8_0</strong>을 CPU만으로 구동해 디코딩 약 5.2토큰/초, 프롬프트 평가 약 16토큰/초를 달성함</li> <li><code>ik_llama.cpp</code>의 고속 경로는…
-
Show HN: 느린 컴퓨터에서 GLM 5.2 실행하기
Show HN: 느린 컴퓨터에서 GLM 5.2 실행하기 | GeekNews
<ul> <li>colibrì는 <strong>GLM-5.2 744B MoE</strong>를 소비자용 머신의 약 25GB RAM에서 실행하도록 만든 순수 C 엔진이며, 라우팅된 expert를 디스크에서 스트리밍해 GPU 없이 동작함</li> <li>핵심 구조는 dense 부분 약 17B 파라미터를 <strong>int4…
-
Colibri: 소비자 머신의 25GB RAM에서 GLM-5.2 실행 (순수 C, 의존성 없음)
GitHub - JustVugg/colibri: Run GLM-5.2 (744B MoE) on a 25GB-RAM consumer machine — pure C, zero deps, experts streamed from disk. Tiny engine, immense model. 🐦
<p>A few days ago I found myself trying out GLM 5.2 and was really positively impressed. The capabilities and security I was getting from this LLM are similar to those I've gotten …
-
AMD Ryzen AI Halo, $4000(약 600만원) AI 개발 키트
AMD Ryzen AI Halo, $4000(약 600만원) AI 개발 키트 | GeekNews
<ul> <li>로컬 AI 개발 환경을 직접 맞추는 부담을 줄이기 위해, Ryzen AI Halo는 <strong>Ryzen AI Max+ 395</strong> 미니 PC에 ROCm·드라이버·모델·개발 도구를 묶어 제공함</li> <li>단일 구성은 16코어/32스레드 Zen 5 CPU, Radeon 8060S 내장 G…
-
Ternlight - 브라우저에서 실행되는 7MB 임베딩 모델 (WASM)
Ternlight – 7 MB embedding model that runs in browser (WASM)
<p>Article URL: <a href="https://ternlight-demo.vercel.app/">https://ternlight-demo.vercel.app/</a></p> <p>Comments URL: <a href="https://news.ycombinator.com/item?id=48811644">htt…
-
Ahmad Osman이 말하는 로컬 AI의 성장
Ahmad Osman on why local AI is catching up
After two packed AIEWF workshops, Ahmad Osman makes the case that local AI is catching up fast — from laptops and phones to enterprise-grade infrastructure.
-
ArmSoM Sige7로 구축한 저전력 고성능 홈 NVR 시스템
ArmSoM Sige7로 구축한 저전력 고성능 홈 NVR 시스템 | GeekNews
<p>호주 시드니의 대형 가정에 배포된 이 시스템은 24시간 연중무휴로 작동하는 저전력 고성능 NVR입니다. ArmSoM Sige7(RK3588) 보드를 기반으로 하며, 8대의 실외 카메라를 동시에 처리합니다.<br /> 주요 기능:<br /> AI 객체 인식: 사람, 자동차, 오토바이, 고양이 실시간 감지<br /> 번…
-
로컬 Qwen은 더 나쁜 Opus가 아니라 다른 도구다
로컬 Qwen은 더 나쁜 Opus가 아니라 다른 도구다 | GeekNews
<ul> <li>로컬 Qwen 3.6 27B는 <strong>고객 데이터와 내부 텔레메트리처럼 클라우드에 올리기 어려운 작업</strong>에서 실질적 가치를 내지만, 클라우드 SOTA 모델을 대체하지는 못함</li> <li>로컬 모델의 강점은 최고 성능 모델과의 점수 경쟁보다 <strong>고정 비용</strong>, …
-
Wasmer가 Codex를 사용하여 엣지용 Node.js 런타임을 구축한 방법
How Wasmer used Codex to build a Node.js runtime for the edge
See how Wasmer used Codex with GPT-5.5 to build a Node.js runtime for the edge, accelerating development 10x to 20x and shipping in weeks instead of months.