AI News · #llm-inference

Sebastian Raschka · 2026-07-18 제목번역

LLM에서 추론 노력 제어하기

Controlling Reasoning Effort in LLMs

How LLMs Learn Low-, Medium-, and High-Effort Reasoning Modes

#model-efficiency #prompt-engineering #llm-inference #reasoning-effort #reasoning-modes

Hacker News (front) · 2026-07-03 제목번역

로컬 LLM 실행에 관한 모든 것

GitHub - jamesob/local-llm: Everything I know about running LLMs locally

Article URL: <a href="https://github.com/jamesob/local-llm">https://github.com/jamesob/local-llm</a> Comments URL: <a href="https://news.ycombinator.com/item?id=48775921"…

#open-source #language-models #llm-inference #local-llm #deployment

GeekNews · 2026-06-28 제목번역

DSpark: Speculative decoding을 활용한 LLM 추론 가속화

DSpark: Speculative decoding을 활용한 LLM 추론 가속화 [pdf] | GeekNews

<ul> <li>DSpark: 준자기회귀(semi-autoregressive) 생성과 신뢰도 스케줄링을 결합한 추측 디코딩(speculative decoding) 프레임워크</li> <li>병렬 드래프터(parallel drafter) 가 한 번의 순전파로 긴 토큰 블록을 제안하지만 토큰 간…

#llm-inference #optimization #performance #speculative-decoding #dspark

Hacker News (front) · 2026-06-27 제목번역

DSpark: 추측적 디코딩을 통한 LLM 추론 가속

DSpark: Speculative decoding accelerates LLM inference [pdf]

Article URL: <a href="https://github.com/deepseek-ai/DeepSpec/blob/main/DSpark_paper.pdf">https://github.com/deepseek-ai/DeepSpec/blob/main/DSpark_paper.pdf</a> Comments …

#deepseek #language-models #llm-inference #performance-optimization #speculative-decoding #inference-acceleration

GeekNews · 2026-06-25 제목번역

OpenAI, Broadcom과 만든 첫 자체 추론 칩 Jalapeño 공개

OpenAI, Broadcom과 만든 첫 자체 추론 칩 Jalapeño 공개 | GeekNews

<ul> <li>Jalapeño(할라페뇨) 는 LLM 추론(inference)에 특화된 가속기이자 Broadcom과 함께 만드는 다세대 컴퓨팅 플랫폼의 첫 결과물</li> <li>설계 착수부터 제조 테이프아웃까지 단 9개월 소요, …

#openai #ai-hardware #semiconductor #llm-inference #broadcom #jalapeño

OpenAI Blog · 2026-06-24 제목번역

OpenAI와 Broadcom, LLM 최적화 추론 칩 공개

OpenAI and Broadcom unveil LLM-optimized inference chip

OpenAI and Broadcom introduce Jalapeño, a custom AI chip built for LLM inference to improve performance, efficiency, and scale across AI systems.

#openai #ai-chips #llm-inference #performance #broadcom #jalapeño

GeekNews · 2026-06-13 제목번역

macOS에서 로컬 코딩 에이전트 설정하는 방법

macOS에서 로컬 코딩 에이전트 설정하는 방법 | GeekNews

<ul> <li>로컬 코딩 에이전트 구성은 인터넷 장애 때도 macOS에서 OpenAI 호환 API로 모델을 실행하고 Pi에서 텍스트와 이미지 입력을 처리하도록 만드는 설정임</li> <li>Apple M1 Max 64GB, macOS 15.7.7에서 llama.cpp Meta…

#open-source #coding-agents #llm-inference #macos #local-models #llama-cpp

Sebastian Raschka · 2025-06-17 제목번역

LLM의 KV 캐시 이해와 처음부터 구현하기

Understanding and Coding the KV Cache in LLMs from Scratch

KV caches are one of the most critical techniques for efficient inference in LLMs in production.

#large-language-models #kv-cache #llm-inference #efficient-inference #transformer-optimization #neural-network-caching