• LLM이 정교한 표적 사기를 대규모로 자동화하며, 과거 숙련된 인간의 노력이 필요했던 공격이 토큰 비용 수준으로 가능해진 상황
  • 가짜 채용 면접과 NDA 서명 플랫폼 로그인을 미끼로 세션 쿠키를 탈취해 계정을 장악, 신분 도용과 증권계좌 자금 유출까지 이어진 시나리오 제시
  • 기존 사기는 저비용 대량 발송형과 고비용 표적형으로 나뉘었지만, LLM은 그 사이를 메우며 표적화된 공격을 저렴하게 반복할 수 있게 함
  • “자연스러운 글”, “탄탄한 웹 존재감”, “전화·영상 통화 확인” 같은 휴리스틱은 비용과 능력의 대리 지표였지만, 음성 복제·실시간 딥페이크로 신뢰도가 약해지고 있음
  • 방어는 모든 메시지를 더 의심하는 것만으로 부족하며, 가족 간 구두 암호, 별도 채널 확인, 직접 발신한 채널 우선 신뢰, 하드웨어 2FA 같은 새 관행이 필요함

The Set-Up — 시나리오 도입

  • 구직 중인 기술에 밝은 전문가에게 LinkedIn으로 리크루터가 접근, 본인 역량에 정확히 맞춘 완벽해 보이는 기회를 제시
  • 잘 알려진 좋은 회사, 이전 직장보다 높은 급여 조건으로 제시
  • 면접은 표준 NDA 하에 진행된다며 legaltech SaaS 플랫폼으로 전송, 엔터프라이즈 SSO 로그인 후 간단한 NDA에 서명
  • 면접은 순조로웠으나 결국 다른 사람이 채용되었다는 통보를 받고 종료
  • 6개월 후 모든 것이 사기였음을 인지, 신분 도용으로 본인 명의 신용카드에 수천 달러가 쓰이고 증권계좌가 일부 비워진 상태
  • 이메일과 다수 온라인 계정 접근 권한 상실, 정리에 수개월 소요되며 전액 회복은 어려운 상황
  • 보안에 익숙한 본인에게 이런 일이 벌어진 것에 대한 당혹감 표현

The Hook — 공격 메커니즘

  • 공격 지점은 NDA 서명 플랫폼 로그인, "sign in with " 방식의 현실적인 로그인 흐름으로 유도
  • 입력한 비밀번호와 "기기에서 예 누르기" 2FA 흐름을 이용해 공격자 측에서 실제 계정에 로그인, 세션 쿠키 저장
  • 사용자 화면에는 정상 로그인으로 표시
  • 탐지되지 않은 접근을 유지하며 패턴을 모니터링, 경보 이메일을 사전 필터링해 경고가 도달하지 못하게 차단
  • "화재를 내기 전에 화재경보기를 끄는" 방식으로 비유
  • 클라우드 파일 전부 다운로드, 계정으로 타 사이트 로그인, 본인 명의 신용카드 개설
  • 면접과 탈락은 의심을 늦추기 위한 연극, 자격증명을 더 오래 유지하려는 목적
  • 자금 인출은 난도가 높음 — 현대 금융 시스템은 계정 탈취에 대한 보호 장치 다수 보유
  • 자주 로그인하지 않는 증권계좌로 급여가 자동 이체되는 점을 포착, 비밀번호 재설정으로 접근
  • 이체 계좌 추가 후 소액 이체로 사용 패턴을 형성, 추적이 어려운 방식으로 자금 인출
  • 휴가 시점을 캘린더로 파악해 발각이 늦어질 타이밍에 실행
  • 마지막에 계정을 잠가 피해자가 사건 재구성을 어렵게 만듦
  • 이 전체 공격이 LLM에 의해 기획·수행됨이 핵심 반전
  • LinkedIn 계정, 가짜 문서 서명 사이트, 그럴듯한 도메인 구성과 텍스트·오디오·영상 상호작용 합성까지 수행
  • 채용 미끼는 우연일 뿐, 대상에 따라 경찰 사칭 전화·친척의 도움 요청·은행 이메일·장기 로맨스 등으로 구실만 바뀌고 기계 장치는 동일

The Tale — 사기 비용 구조의 변화

  • 기존 사기는 두 부류로 분류 가능
  • 저비용 대량발송형(spray-and-pray) 방식: 덜 능숙한 대상을 노리며 설득에 노력을 들이지 않음
  • 고비용 표적 사기: 노력을 들일 가치가 있는 대상 대상, 보통 개인 저축보다 조직적 권한을 노림 (예: 홍콩의 2,500만 달러 딥페이크 CFO 사기)
  • "나이지리아 스캐머" 통념의 배경 설명
  • 능숙한 개인이 초기에 스스로 걸러지도록 만드는 것이 스캐머에게 유리
  • 이메일은 공짜지만 이후 표적과 주고받으며 사기를 완성하는 작업은 비용 발생
  • 대다수는 정교한 사기를 당할 "가치"가 없거나 그렇게 여김
  • 직장에서 2,500만 달러 버튼을 가진 사람은 드물다는 비유
  • 정교한 사기는 설정 시간이 많이 들고 병렬화가 어려워 확장 불가, "곰보다 옆 사람보다만 빨리 뛰면 된다"는 농담으로 표현
  • James Mickens 인용으로 적의 역량이 Mossad / not-Mossad로 나뉜다는 개념 소개
  • 핵심은 적 역량이 "비표적×저비용"과 "표적×고비용"에 군집된 양극(bimodal) 분포라는 점
  • 그러나 LLM이 그 중간 분포를 채움
  • 2024년 논문에서 스피어피싱 작업 LLM 비용이 이메일당 약 4센트로 측정
  • 면접 사기는 더 복잡하고 비싸지만 여전히 채산성 있으며, 2026년 LLM은 훨씬 향상됨
  • 수천 건 동시 운영이 가능해 for 루프로 사기를 돌리는 세계에 진입

The Wire — LLM의 사기 관련 역량

  • 과거에는 표적마다 숙련된 인간의 상당한 노력이 필요했던 작업을 LLM이 저렴하게 수행할 수 있음
  • 표적 조사를 통한 최적 공격 방식 파악
  • 반응에 따라 동적으로 조정되는 개인 맞춤 커뮤니케이션
  • 친척 등 신뢰 대상의 음성 복제
  • 그럴듯한 실시간 영상 통화 딥페이크
  • 그럴듯한 가짜 웹 존재감 구축
  • 탈취한 리소스의 실시간 감시와 그에 맞춘 공격 확장
  • 표적 탐색과 선별
  • 시그니처 기반 스팸 필터 회피 (Heiding et al.)
  • 미패치 소프트웨어의 알려진 CVE 익스플로잇 스캔 및 연쇄 활용
  • 이 능력들은 오늘날 존재하며, 천장이 아닌 바닥으로 봐야 함
  • 비용이 토큰 단위라 반복 실행이 가능, 규모 확장이 단일 사기에서 불가능했던 수를 열어줌

규모가 열어주는 세 가지 변화

  • 규모는 인내심(patience) 을 가능하게 함
  • 인간 팀이 한 개인을 상대로 몇 달이나 몇 년을 기다리기는 어렵지만, LLM으로 많은 사람을 동시에 상대하면 작전을 한동안 잠복시킬 수 있음
  • 서로 떨어진 시점에 여러 사기를 겹쳐 진행할 수도 있음
  • 규모는 조합(composition) 을 가능하게 함
  • 작은 사기로 자금 운반책을 모집한 뒤, 더 큰 자금 유출을 가능하게 하는 식의 결합이 가능함
  • 영화 The Sting에서 여러 작은 사기로 신뢰 기관을 흉내 내던 방식이, 현재는 훨씬 적은 비용으로 가능해질 수 있음
  • 규모는 새로운 표적(new targets) 을 만듦
  • 탈취된 1,000개 계정은 각 플랫폼 내부의 인증된 위치 1,000개가 됨
  • 플랫폼이 “가끔 발생하는 사기 비용보다 편익이 큰 틈”으로 감수하던 지점도, 1,000개 계정이 동시에 악용하면 즉시 닫아야 할 큰 구멍이 됨
  • “최적의 사기 양은 0이 아니다”라는 계산이 대규모 동시 악용 앞에서는 달라질 수 있음
  • 이런 공격을 결합하려면 아직 기술이 필요하지만, 재사용 가능한 도구가 사기꾼 시장에서 팔리면 사기판의 스크립트 키디(script kiddies)”가 등장할 수 있음
  • Genesis Market 같은 스캐머 마켓플레이스가 이미 존재, 누군가 도구만 만들어 팔면 됨 (이미 일어났을 수도 있음)
  • "미래는 이미 와 있으나 고르게 분포되지 않았다" — 능력은 존재하고 일부 사기꾼은 이미 이런 능력을 사용할 가능성이 있지만, 아직 보편적이지 않아 개인·기업의 휴리스틱이 재보정되지 않은 상태

The Shut-Out — 무너지는 휴리스틱

  • 사람들은 낯선 연락을 받으면 상대를 검색하고, 가족 연락은 전화나 영상 통화로 확인하고, 대화가 영향력 있는 요구로 바뀌는 지점을 경계해 왔음
  • 이런 휴리스틱의 일부는 비용의 대리 지표였음
  • 유창하고 개인화된 글은 실제 사람이 시간을 들였다는 신호였음
  • 강한 웹 존재감은 꾸미기 어렵고 비용이 큰 신호였음
  • 사기꾼이 오직 나 한 사람을 위해 그 정도 노력을 들이지 않을 것이라는 판단이 작동했음
  • 다른 휴리스틱은 능력의 한계를 전제로 했음
  • 예전에는 가족 목소리를 전화로 자연스럽게 흉내 내기 어려웠음
  • 영상 통화에서 만난 사람은 실제 사람이고, 필요하면 경찰이 식별할 수 있을 것이라는 기대가 있었음
  • LLM과 딥페이크는 비용과 능력이라는 두 기반을 모두 흔듦
  • 결과적으로 사람들은 사기를 피하는 것뿐 아니라, 무엇이 진짜인지 확신하는 데도 더 많은 노력을 들여야 함
  • 다른 도시에 있는 가족이 긴급 송금을 요청할 때, 계정 탈취와 통신 가로채기, 딥페이크 가능성을 함께 고려해야 함
  • 직접 방문하거나 그 지역의 다른 사람에게 확인을 부탁하는 수준의 추가 확인이 필요할 수 있음

제도적 휴리스틱도 흔들림

  • 개인만이 아니라 금융기관과 규제도 휴리스틱에 의존함
  • 미국 소비자 은행 보호는 송금을 누가 승인했는지에 강한 선을 그음
  • 누군가 계정에 접근해 사기 송금을 했다면 은행이 피해를 보전하는 구조임
  • 사용자가 속아서 직접 송금했다면 범죄 신고는 가능하지만, 누군가가 반드시 보전해야 하는 것은 아님
  • 이런 구분은 “비밀번호 탈취”가 표적형 수동 설득 사기보다 쉽던 세계에서는 말이 될 수 있지만, LLM으로 표적형 설득 비용이 낮아지면 흔들림
  • 영국은 2024년에 속아서 송금한 고객을 은행이 보전하도록 요구하는 법을 통과시켰음
  • 다만 모든 사기 피해를 은행이 보전하게 하면 비용이 은행에 과도하게 옮겨지고, 은행이 사기 피해 가능성이 높은 사람과 거래하지 않는 선택을 할 수 있음

The Sting — 새로운 방어 체계

  • 모든 휴리스틱을 극단까지 강화하는 방식은 작동하지 않음 — 그 휴리스틱은 이제 싸게 위조되는 것을 탐지하던 대리 지표였기 때문

  • Wikipedia를 학교 과제에 쓰지 못하게 하던 시절

  • 과거 교사들은 편집 가능성을 이유로 Wikipedia를 전면 배제하라 했으나, 이는 잘못된 방향의 보정

  • 세상이 변할 때 낡은 휴리스틱에 매달리지 말고 새 휴리스틱을 구축해야 함
  • 출처 확인·교차 증거 탐색을 익힌 세대는 현대 허위정보 캠페인에 덜 노출됨

  • 새 휴리스틱 구축 방법

  • 사기의 공통 골격 탐지: 긴급·비밀·비정상 채널 요청이라는 뼈대는 사라지지 않음, "요청은 요청"

  • 다중 채널 검증: 가족과 음성 암호(spoken passwords) 설정을 강력 권장
    • 없을 경우 기록이 남지 않을 과거 사건을 되짚어 확인
    • 기술에 덜 익숙한 가족에겐 "심각·긴급·비밀스러운 전화가 오면 의심하고 다른 채널로 확인"하라고 조언
    • 실제 금융 거래 전 영상 통화를 요청해 수년 전 통화의 특정 순간을 언급하며 신원을 확인한 사례 소개
  • 시스템 보호 범위 이해: 받는 통신의 진정성은 신뢰할 수 없으나, 의도적으로 보내는 곳은 대체로 신뢰 가능
    • 작성해 보낸 이메일은 해당 수신함에, 건 전화는 해당 기기에 도달
    • 반면 이메일 from: 헤더와 발신자 표시(caller ID)는 쉽게 위조 가능

보안 관행과 앞으로의 적응

  • 이 휴리스틱들은 불완전하나 현재보다 낫고, 표적이 되기 더 비싸고 까다로운 사람이 되어 비용을 높임
  • "완전히 사기 불가능"은 비현실적이나 "더 비싸게 만들기"는 가능
  • 방어자도 LLM 능력을 사용할 수 있음
  • 하드웨어 2FA는 사기꾼 도구의 많은 부분을 막는 데 도움이 될 수 있음
  • FIDO2/WebAuthn은 제공되는 경우 암호 교환에 웹사이트 도메인을 포함하므로, 피싱 사이트가 서명을 단순 전달하기 어려움
  • SMS나 인증 앱보다 강한 보호 수단
  • Mozilla는 Mythos로 Firefox를 레드팀한 뒤, 이런 도구로 모든 보안 취약점을 찾을 실제 가능성이 있다고 봄
  • Android는 최근 impersonated call detection을 도입함
  • 향후 몇 년의 전망 : 당분간 사기는 급증할 것
  • 기관과 시스템이 결국 적응해 더 나은 보호책을 마련할 것으로 기대하나, 시간이 걸리고 군비 경쟁 양상이 될 가능성이 있음
  • 그 사이 사기가 급증할 것으로 예상, 설명된 능력들이 다양하게 조합될 수 있음
  • 본인·친구·가족을 위해 무엇을 할 수 있을지 고민할 필요

"사기의 미래는 이미 와 있다. 단지 아직 고르게 분포되지 않았을 뿐"