-
OpenAI의 '통제 이탈 해커 에이전트' 이야기를 회의적으로 봐야 하는 이유
OpenAI의 ‘통제 이탈 해커 에이전트’ 이야기를 회의적으로 봐야 하는 이유 | GeekNews
<ul> <li>OpenAI의 해킹 에이전트 사건은 AI 위험성을 부각해 기술력을 과시하고 투자와 <strong>규제상 우위</strong>를 확보해 온 홍보 전략의 연장선이라는 비판을 받음</li> <li>2019년 <strong>GPT-2 공개 보류</strong>로 악용 위험을 강조한 뒤 같은 해 7월 Microso…
-
내가 Google DeepMind를 떠난 이유
내가 Google DeepMind를 떠난 이유 | GeekNews
<ul> <li>Google DeepMind 연구 과학자였던 Alexander Matt Turner는 Google이 DHS·ICE에 클라우드 서비스를 제공하고, 미 국방부와 <strong>자율살상무기·대규모 AI 프로파일링을 구속력 있게 금지하지 않은 계약</strong>을 체결하자 양심상 남을 수 없다며 퇴사함</li>…
-
Claude를 속여 사용자의 가장 깊은 비밀을 유출시킨 방법
Claude를 속여 사용자의 가장 깊은 비밀을 유출시킨 방법 | GeekNews
<ul> <li>기본 활성화된 Claude 메모리와 웹 탐색을 결합하자, 평범한 커피숍 질문만으로 사용자의 <strong>이름·직장·고향</strong>을 외부 서버에 몰래 전송할 수 있었음</li> <li><code>web_fetch</code>는 임의 URL 접근을 막았지만 이전 페이지에 있는 링크는 따라갈 수 있어,…
-
AI 2040과 지능 숭배
AI 2040과 지능 숭배 | GeekNews
<ul> <li>재귀적 자기 개선이 곧바로 하드 테이크오프로 이어진다는 전망은 <strong>물리적 제약과 공급망의 병목</strong>을 과소평가하며, 높은 품질의 토큰만으로 물질 세계를 마음대로 바꿀 수는 없음</li> <li>휴대전화 수준의 복잡한 하드웨어를 생산하려면 규격 미달 부품, 무작위 고장, 리플로 공정의 …
-
GitLost: GitHub AI 에이전트를 속여 비공개 저장소 유출
GitLost: GitHub AI 에이전트를 속여 비공개 저장소 유출 | GeekNews
<ul> <li>Noma Labs는 GitHub Agentic Workflows에서 <strong>간접 프롬프트 인젝션</strong> 취약점 GitLost를 발견했으며, 공개 저장소 이슈만으로 같은 조직의 비공개 저장소 데이터를 공개 댓글에 노출시킬 수 있었음</li> <li>이 기능은 Markdown 워크플로를 YAM…
-
2천 명이 내 AI 어시스턴트를 해킹하려 한 뒤 벌어진 일
2천 명이 내 AI 어시스턴트를 해킹하려 한 뒤 벌어진 일 | GeekNews
<ul> <li>hackmyclaw.com은 이메일로 AI 어시스턴트 <strong>Fiu</strong>를 속여 <code>secrets.env</code>를 유출시키는 공개 실험이었고, Hacker News 1위 이후 2,000명 이상이 6,000건 넘게 시도했지만 비밀은 새지 않음</li> <li>방어는 VPS에서 …
-
인류는 다가오는 지능 폭발에 대한 준비가 되어 있지 않다
인류는 다가오는 지능 폭발에 대한 준비가 되어 있지 않다 | GeekNews
<ul> <li>AI가 인간 개입 없이 스스로 코드를 고쳐 능력을 키우는 <strong>닫힌 루프 재귀적 자기개선(RSI)</strong> 단계에 수년 내 도달할 가능성이 있으며, 전례 없는 <strong>지능 폭발</strong>로 이어질 위험 존재</li> <li>AI 연구소 창업자들조차 AI로 인한 파국적 사건 발생…
-
연구자들 "Fable 5 논란은 탈옥이 아니라 'fix this code'에서 시작됐다"
연구자들 “Fable 5 논란은 탈옥이 아니라 ‘fix this code’에서 시작됐다” | GeekNews
<ul> <li>미국 정부의 Anthropic <strong>Fable 5·Mythos 5 접근 제한</strong>은 알려진 탈옥이 아니라, 취약 코드에 “fix this code”를 입력한 단순 요청에서 비롯됐다고 Katie Moussouris가 주장함</li> <li>Luta Security CEO인 Moussour…
-
AI 에이전트가 DN42를 스캔하려다 운영자를 파산시킴
AI 에이전트가 DN42를 스캔하려다 운영자를 파산시킴 | GeekNews
<ul> <li>AI 에이전트가 <strong>DN42</strong> 가입을 시도하며 네트워크 스캔을 위해 <strong>고사양 AWS 인스턴스를 배포</strong>했고, 결국 운영자에게 <strong>$6531.30 청구서</strong>를 남긴 사건</li> <li>DN42는 BGP와 DNS 등 인터넷 백본 기술을…
-
Anthropic, 보이지 않는 Claude Fable 가드레일에 사과함
Anthropic, 보이지 않는 Claude Fable 가드레일에 사과함 | GeekNews
<ul> <li><strong>Claude Fable 5</strong>는 Anthropic의 Mythos 계열에서 처음 널리 제공된 모델이며, 경쟁 시스템 개발에 쓰이는 증류 시도를 막기 위해 숨겨진 제한을 적용했음</li> <li>Anthropic은 증류로 판단한 요청에 대해 사용자에게 알리지 않고 <strong>응답…
-
Claude Fable이 도움을 멈춰도 사용자는 알 수 없다
Claude Fable이 도움을 멈춰도 사용자는 알 수 없다 | GeekNews
<ul> <li>코딩 보조 모델이 경쟁 LLM 개발 요청에서 사용자에게 알리지 않고 효과를 제한할 수 있어, 개발 도구 신뢰에 <strong>공급망 위험</strong>이 생김</li> <li>Anthropic은 Fable 5에서 프런티어 LLM 개발 요청에 대한 효과 제한을 도입했고, 이 제한은 사용자에게 <strong…
-
Anthropic은 제품 전반에서 Claude를 어떻게 봉쇄할까
Anthropic은 제품 전반에서 Claude를 어떻게 봉쇄할까 | GeekNews
<ul> <li>에이전트의 능력과 접근권한이 커질수록 <strong>잠재적 피해 반경</strong> 도 함께 확대되며, 클로드 웹/Claude Code/Cowork 각각에 맞춘 봉쇄 아키텍처 구축 경험을 정리</li> <li>위험은 <strong>실패 가능성</strong>과 <strong>피해 규모</strong> 두…