-
GPU 없이 13년 된 Xeon에서 Gemma 4 26B를 초당 5토큰으로 실행하기
GPU 없이 13년 된 Xeon에서 Gemma 4 26B를 초당 5토큰으로 실행하기 | GeekNews
<ul> <li>2013년형 듀얼 Xeon E5-2690 v2와 DDR3로 구성된 서버에서 <strong>Gemma 4 26B-A4B Q8_0</strong>을 CPU만으로 구동해 디코딩 약 5.2토큰/초, 프롬프트 평가 약 16토큰/초를 달성함</li> <li><code>ik_llama.cpp</code>의 고속 경로는…
-
Show HN: 느린 컴퓨터에서 GLM 5.2 실행하기
Show HN: 느린 컴퓨터에서 GLM 5.2 실행하기 | GeekNews
<ul> <li>colibrì는 <strong>GLM-5.2 744B MoE</strong>를 소비자용 머신의 약 25GB RAM에서 실행하도록 만든 순수 C 엔진이며, 라우팅된 expert를 디스크에서 스트리밍해 GPU 없이 동작함</li> <li>핵심 구조는 dense 부분 약 17B 파라미터를 <strong>int4…
-
Colibri: 소비자 머신의 25GB RAM에서 GLM-5.2 실행 (순수 C, 의존성 없음)
GitHub - JustVugg/colibri: Run GLM-5.2 (744B MoE) on a 25GB-RAM consumer machine — pure C, zero deps, experts streamed from disk. Tiny engine, immense model. 🐦
<p>A few days ago I found myself trying out GLM 5.2 and was really positively impressed. The capabilities and security I was getting from this LLM are similar to those I've gotten …
-
AMD Ryzen AI Halo, $4000(약 600만원) AI 개발 키트
AMD Ryzen AI Halo, $4000(약 600만원) AI 개발 키트 | GeekNews
<ul> <li>로컬 AI 개발 환경을 직접 맞추는 부담을 줄이기 위해, Ryzen AI Halo는 <strong>Ryzen AI Max+ 395</strong> 미니 PC에 ROCm·드라이버·모델·개발 도구를 묶어 제공함</li> <li>단일 구성은 16코어/32스레드 Zen 5 CPU, Radeon 8060S 내장 G…
-
Ternlight - 브라우저에서 실행되는 7MB 임베딩 모델 (WASM)
Ternlight – 7 MB embedding model that runs in browser (WASM)
<p>Article URL: <a href="https://ternlight-demo.vercel.app/">https://ternlight-demo.vercel.app/</a></p> <p>Comments URL: <a href="https://news.ycombinator.com/item?id=48811644">htt…
-
ArmSoM Sige7로 구축한 저전력 고성능 홈 NVR 시스템
ArmSoM Sige7로 구축한 저전력 고성능 홈 NVR 시스템 | GeekNews
<p>호주 시드니의 대형 가정에 배포된 이 시스템은 24시간 연중무휴로 작동하는 저전력 고성능 NVR입니다. ArmSoM Sige7(RK3588) 보드를 기반으로 하며, 8대의 실외 카메라를 동시에 처리합니다.<br /> 주요 기능:<br /> AI 객체 인식: 사람, 자동차, 오토바이, 고양이 실시간 감지<br /> 번…
-
로컬 Qwen은 더 나쁜 Opus가 아니라 다른 도구다
로컬 Qwen은 더 나쁜 Opus가 아니라 다른 도구다 | GeekNews
<ul> <li>로컬 Qwen 3.6 27B는 <strong>고객 데이터와 내부 텔레메트리처럼 클라우드에 올리기 어려운 작업</strong>에서 실질적 가치를 내지만, 클라우드 SOTA 모델을 대체하지는 못함</li> <li>로컬 모델의 강점은 최고 성능 모델과의 점수 경쟁보다 <strong>고정 비용</strong>, …