• 인시던트 보고서에서 LLM은 자료 수집과 정리를 돕는 데 유용하지만, 보고서 본문까지 맡기면 검증 과정이 약해짐
  • 직접 쓰는 과정은 증거와 설명의 일관성을 확인하게 만들며, 글쓰기 자체가 이해 부족을 드러내는 장치로 작동하지만 LLM 생성은 이 사고 단계를 건너뜀
  • LLM 보고서는 그럴듯해 보여도 실제로 없는 시스템 결합을 만들어내거나, 인시던트에 중요했던 상호작용을 놓칠 수 있음
  • 코딩이나 AI SRE는 테스트와 복구 결과로 확인할 수 있지만 인시던트 보고서는 정답을 검증할 명확한 테스트가 없어서 잘못된 보고서가 더 위험함
  • 보고서 작성이 번거로울수록 AI 생성 유혹은 커지고, 형식은 갖췄지만 시스템에 대한 실제 학습은 줄어들 수 있음

다가오는 LLM 작성 인시던트 리포트

  • Reginald Braithwaite가 올린 풍자 섞인 게시물을 계기로, LLM이 전적으로 작성하는 인시던트 리포트가 다가오고 있음을 지적

    인시던트 리포트를 쓰는 건 시간만 잡아먹는 작업인데, 정작 조직 안의 누구도 그 문서를 읽을 이유가 없죠. 이 문제를 풀어보고 싶으신가요? AI가 읽고 알아서 행동하도록 인시던트 리포트를 작성해주는 AI Ops 도구를 만드는 저희의 멋진 여정에 함께하세요. 게다가 이 도구는 리포트를 요약까지 해주기 때문에, 바쁜 인간들이 사소한 디테일 하나하나 읽을 필요가 없습니다.

  • 이 게시물은 비꼬는 어조였으나, 이런 미래는 분명히 도래할 것으로 봄

  • 좋은 인시던트 리포트를 쓰려면 필요한 데이터를 모으는 많은 노동(toil) 이 따르며, 여기서 LLM이 그 부담을 크게 줄여줄 수 있다는 점에는 이견 없음
  • 다만 리포트 작성에 필요한 재료를 모으는 것과, LLM이 리포트 자체를 쓰는 것 사이에는 큰 차이가 있음
  • "그냥 써달라고 하면 써준다"는 LLM의 유혹(seduction) 이야말로 두려운 지점

글쓰기가 사고에 미치는 역할

  • 만화가 Dick Guindon의 말: "글쓰기는 당신의 사고가 얼마나 엉성한지 자연이 보여주는 방식"
  • 어떤 개념을 안다고 생각해도, 실제로 글로 설명하려 할 때 비로소 자신의 이해가 얼마나 흐릿한지 깨닫게 됨
  • 자기 언어로 쓰는 행위가 실제 이해의 정도를 직면하게 만듦
  • Leslie Lamport의 말: "쓰지 않고 생각한다면, 생각하고 있다고 착각할 뿐"
  • LLM이 인시던트 보고서 텍스트를 생성하면 이 사고 단계(thinking step)를 우회
  • 설명이 수집된 증거와 실제로 일치하는지 직면하는 인간 검토자(human in the loop) 가 사라짐

LLM 생성 보고서의 위험성

  • 결과물은 세부 사항에 정통하지 않은 사람에게 그럴듯해 보이는 설명에 그침
  • 독자는 읽고 고개를 끄덕이며 "그렇군"이라 여길 수 있음
  • 그러나 LLM은 실재하지 않는 시스템 간 연결(couplings) 을 지어내거나, 인시던트의 핵심 상호작용을 누락할 수 있음
  • 아무도 데이터를 직접 종합하지 않았기에, 이런 오류를 누구도 알아채지 못함
  • 글쓰기 노력을 줄이려는 목적이라면, LLM의 결과물을 검증하는 데 들이는 노력 또한 적을 수밖에 없음

코딩·AI SRE와의 비교

  • LLM 생성 인시던트 보고서는 코딩이나 AI SRE 작업보다 더 위험하다고 봄
  • 코딩 작업: 코드를 직접 들여다보지 않더라도, 원하는 동작을 하는지 확인하는 테스트 단계가 항상 존재
  • AI SRE 작업: LLM 출력이 인시던트 해결에 도움이 되거나 안 되거나, 결과가 곧바로 드러남
  • 두 경우 모두 "자연(Nature)"이 LLM 출력의 최종 판정자 역할을 함
  • 반면 인시던트 보고서는 부실한 결과의 악영향이 즉시 드러나지 않음
  • 표면적으로는 올바른 형식을 갖췄으나 실제로는 틀린 보고서가 만들어지며, 정확성을 검증할 명확한 테스트가 없음

학습 기회의 축소

  • 보고서 작성은 시간이 많이 들기에, AI 도구를 쓰려는 유혹이 압도적일 것
  • 그러나 LLM은 인시던트에 관여한 사람들과 직접 대화하지 않음
  • 이런 보고서는 형식만 갖춘 시뮬라크라(simulacra) 가 되어, 시스템의 본질에 대한 진정한 통찰을 독자에게 주지 못함
  • 결과적으로 학습의 양이 크게 줄어듦
  • 사람들은 이렇게 생성된 보고서를 다시 AI로 요약하게 될 가능성도 있음

"저는 그런 미래를 기대하지 않아요."