-
AI 토큰은 데이터센터를 어떻게 여행하는가
AI 토큰은 데이터센터를 어떻게 여행하는가 | GeekNews
<ul> <li>2026년 <strong>AI 추론</strong>은 전체 AI 컴퓨팅의 약 3분의 2까지 확대됐으며, 배포된 모델의 생애 컴퓨팅 비용 중 80~90%를 차지해 토큰 처리 비용과 지연시간이 인프라 경제성을 좌우함</li> <li>하나의 요청은 토큰화, API 게이트웨이, 인증, 라우팅, 스케줄링, KV 캐…
-
ArmSoM Sige7로 구축한 저전력 고성능 홈 NVR 시스템
ArmSoM Sige7로 구축한 저전력 고성능 홈 NVR 시스템 | GeekNews
<p>호주 시드니의 대형 가정에 배포된 이 시스템은 24시간 연중무휴로 작동하는 저전력 고성능 NVR입니다. ArmSoM Sige7(RK3588) 보드를 기반으로 하며, 8대의 실외 카메라를 동시에 처리합니다.<br /> 주요 기능:<br /> AI 객체 인식: 사람, 자동차, 오토바이, 고양이 실시간 감지<br /> 번…
-
murrdb/murr - ML/AI 워크로드용 서브 밀리초 캐시
murrdb/murr - ML/AI 워크로드용 서브 밀리초 캐시 | GeekNews
<ul> <li>AI 추론 워크로드를 겨냥한 <strong>RocksDB 기반 NVMe/S3 캐시</strong>로 Redis를 대체 가능 <ul> <li>배치 처리 방식의 <strong>low-latency 제로 카피 읽기 및 쓰기</strong>에 최적화</li> </ul> </li> <li>배치 데이터 파이프라인과 …