AI News · #llm-inference

Hacker News (front) · 2026-07-03 제목번역

로컬 LLM 실행에 관한 모든 것

GitHub - jamesob/local-llm: Everything I know about running LLMs locally

Article URL: <a href="https://github.com/jamesob/local-llm">https://github.com/jamesob/local-llm</a> Comments URL: <a href="https://news.ycombinator.com/item?id=48775921"…

#open-source #language-models #llm-inference #local-llm #deployment

GeekNews · 2026-06-28 제목번역

DSpark: Speculative decoding을 활용한 LLM 추론 가속화

DSpark: Speculative decoding을 활용한 LLM 추론 가속화 [pdf] | GeekNews

<ul> <li>DSpark: 준자기회귀(semi-autoregressive) 생성과 신뢰도 스케줄링을 결합한 추측 디코딩(speculative decoding) 프레임워크</li> <li>병렬 드래프터(parallel drafter) 가 한 번의 순전파로 긴 토큰 블록을 제안하지만 토큰 간…

#llm-inference #optimization #performance #speculative-decoding #dspark

Hacker News (front) · 2026-06-27 제목번역

DSpark: 추측적 디코딩을 통한 LLM 추론 가속

DSpark: Speculative decoding accelerates LLM inference [pdf]

Article URL: <a href="https://github.com/deepseek-ai/DeepSpec/blob/main/DSpark_paper.pdf">https://github.com/deepseek-ai/DeepSpec/blob/main/DSpark_paper.pdf</a> Comments …

#deepseek #language-models #llm-inference #performance-optimization #speculative-decoding #inference-acceleration

GeekNews · 2026-06-25 제목번역

OpenAI, Broadcom과 만든 첫 자체 추론 칩 Jalapeño 공개

OpenAI, Broadcom과 만든 첫 자체 추론 칩 Jalapeño 공개 | GeekNews

<ul> <li>Jalapeño(할라페뇨) 는 LLM 추론(inference)에 특화된 가속기이자 Broadcom과 함께 만드는 다세대 컴퓨팅 플랫폼의 첫 결과물</li> <li>설계 착수부터 제조 테이프아웃까지 단 9개월 소요, …

#openai #ai-hardware #semiconductor #llm-inference #broadcom #jalapeño

GeekNews · 2026-06-13 제목번역

macOS에서 로컬 코딩 에이전트 설정하는 방법

macOS에서 로컬 코딩 에이전트 설정하는 방법 | GeekNews

<ul> <li>로컬 코딩 에이전트 구성은 인터넷 장애 때도 macOS에서 OpenAI 호환 API로 모델을 실행하고 Pi에서 텍스트와 이미지 입력을 처리하도록 만드는 설정임</li> <li>Apple M1 Max 64GB, macOS 15.7.7에서 llama.cpp Meta…

#open-source #coding-agents #llm-inference #macos #local-models #llama-cpp