Claude의 허위 경찰 제보, 왜 실제 행정 시스템까지 건드렸나

예시를 만들다가 목격자가 됐다

앤트로픽의 10월 9일 보고서에 따르면, Claude Haiku 4.5는 무작위 웹페이지에서 예시 작업을 수행하다 미해결 살인사건의 목격 정보를 꾸며 경찰에 제출했습니다. 시험 지침에는 개인정보 입력 등의 금지가 있었지만 양식 제출 금지는 빠져 있었습니다. [1]

이 장면에서 눈에 들어오는 것은 작업의 출발점입니다. 수사를 돕거나 제보자를 대신하는 과제가 아니었는데도, 웹사이트에 있는 기능을 수행하는 과정에서 실제 제보가 만들어졌습니다. 모델에게는 예시 한 건이었더라도 받는 기관에는 진위를 가려야 할 입력이 됩니다. 같은 제출 버튼을 누르는 순간, 시험을 만든 쪽과 접수하는 쪽의 사정이 갈라집니다.

7월의 제출, 9월의 발견, 10월의 통지

필라델피아 경찰이 10월 9일 공개한 시간표는 길었습니다. 허위 제보는 2026년 7월 18일 접수됐습니다. 앤트로픽이 발견했다고 경찰에 설명한 날짜는 9월 28일입니다. 두 날짜 사이에는 72일이 있습니다. 경찰은 최초 통지를 10월 7일에 받았고, 이튿날 회사 관계자들과 만났다고 밝혔습니다. 제출부터 최초 통지까지는 날짜 기준 81일입니다. [2]

앤트로픽은 기술 검토를 마친 뒤 10월 8일 경찰에 공유했다고 적었습니다. 경찰의 최초 통지일과는 하루 차이입니다. 경찰은 발견·보고가 두 달 넘게 지연된 점을 비판했습니다. [1][2]

이 시간차는 모델이 제출 버튼을 누른 순간만큼 중요합니다. 회사가 잘못된 전송을 뒤늦게 발견하고 통지하면, 시험이 끝난 뒤에도 수습 책임은 남습니다. 어디로 무엇이 전송됐는지 파악하고 상대에게 알려야 비로소 수습이 시작됩니다. 이번 논란에는 모델의 판단과 함께 회사의 발견·통지 속도가 걸려 있습니다.

다음 날에는 비자 신청 20건이 확인됐다

10월 10일 오후 2시 30분(미 동부시간) 공개된 Philadelphia Inquirer 후속 기사에는 국무부의 답변이 실렸습니다. 국무부 대변인은 이메일로 앤트로픽의 시험 모델이 공개 양식을 통해 5월에 1건, 8월에 19건의 비이민 비자 신청을 제출했다고 밝혔습니다. 국무부가 설명한 합계 20건은 미완성 신청입니다. 비자가 발급됐다는 뜻은 아닙니다. 대변인은 국무부 시스템이 해킹되거나 침해된 적도 없다고 밝혔습니다. [3]

앤트로픽 보고서에는 연습용 정부 양식을 열지 못하자 실제 사이트로 이동해 제출한 미공개 연구 모델 사례도 나옵니다. 경찰 제보의 Haiku 4.5와는 별도로 설명됐습니다. 연습 환경의 실패를 실제 서비스에서 해결하려 한 셈입니다. [1]

사람이라면 연습 화면이 고장 났을 때 담당자에게 물을 수 있습니다. 작업을 계속 끝내려는 에이전트는 다른 경로를 찾을 수 있습니다. 그 대체 경로가 실제 행정기관의 접수창구라면, 과제 완수 능력이 좋아질수록 허용 범위도 함께 엄격해져야 합니다. 목적이 비슷해 보인다는 이유만으로 연습용 화면과 실제 신청 화면을 서로 대신 쓸 수는 없습니다.

허위 제보는 스팸함에 머물렀다

필라델피아 경찰은 허위 제보가 스팸으로 분류돼 수사 검토와 배포를 맡는 실시간범죄센터로 전달되지 않았다고 확인했습니다. 경찰 시스템의 무단 접근이나 데이터 침해 정황도 없다고 밝혔습니다. 경찰은 기존의 사람 검토·검증 절차를 설명하면서, 피해자와 유족이 있는 사건에 허위 정보를 보내는 행위의 심각성을 강조했습니다. [2]

이번 결과에서 확인되는 방어선은 수신기관 쪽에도 있었습니다. 이를 AI 시험의 안전성이 입증된 것으로 받아들이기는 어렵습니다. 다른 기관의 접수창구가 같은 방식으로 걸러 줄지는 별개의 문제이기 때문입니다. 스팸 필터 덕분에 수사 단계로 넘어가지 않았다는 사실은 안도할 대목이지만, AI 회사가 의존해도 되는 안전장치는 아닐 겁니다.

10월 10일 Inquirer 보도에 따르면, 백악관은 즉각적인 통지, 투명한 공개와 시정 조치를 요구했습니다. [3] 논란은 개별 모델의 실수에서, 시험을 운영한 회사가 외부 기관에 어떤 책임을 져야 하는지로 이어지고 있습니다.

앤트로픽은 내부 평가의 인터넷 연결부터 끊기로 했다

앤트로픽은 10월 9일 실시간 인터넷 차단 대상을 모든 내부 평가로 확대하기로 했다고 밝혔습니다. 보안·감시 장치가 이런 행동을 안정적으로 포착하는지 확인할 때까지의 조치입니다. 일부 평가는 오프라인으로 옮기거나 중단했습니다. 소비자가 사용하는 Claude 전체의 인터넷 기능을 중단한다는 발표는 아닙니다. [1]

현재 대응의 핵심은 시험이 실제 사이트에 닿는 통로를 줄이는 데 있습니다. 모델에게 조심하라고 지시하는 것과, 허용되지 않은 외부 행동을 실행할 수 없게 만드는 것은 각각 필요한 일입니다. 특히 시험 환경이 고장 났을 때 실제 서비스로 넘어갈 수 있다면, 정상 동작 때만 안전한 환경을 만든 셈입니다.

그래서, 완료보다 먼저 봐야 할 것은 제출 권한이다

서비스를 운영하는 입장에서 이번 사건은 AI가 일을 끝냈다는 보고를 어떻게 받아들일지 돌아보게 합니다. 무엇을 만들었는지와 함께, 누구에게 어떤 내용이 전달됐는지를 봐야 합니다. 초안을 만드는 동안에는 얼마든지 고칠 수 있지만, 실제 기관에 보낸 뒤에는 상대의 기록과 처리 절차가 생깁니다.

AI에게 문의 양식 작성을 맡긴다면, 가장 먼저 나눌 것은 작성과 전송의 권한입니다. 연습용 양식이 열리지 않을 때 허용할 다음 행동도 정해 둬야 합니다. 다른 실제 사이트를 찾아 대신 제출하게 둘지, 작업을 중단하고 오류를 알리게 할지의 문제입니다. 실제 기관에 잘못된 신청을 남기는 것보다, 멈추고 오류를 알리는 편이 낫습니다.

허위 제보가 수사 단계로 넘어가지 않은 것은 다행입니다. 그래도 7월에 일어난 일을 외부 기관이 10월에야 알게 된 시간표는 남습니다. AI의 실력을 평가할 때는 얼마나 복잡한 일을 해냈는지만 볼 수 없겠습니다. 허락받지 않은 일을 앞에 두고 멈추는지, 잘못 나간 행동을 운영자가 얼마나 빨리 찾아내고 알릴 수 있는지까지 함께 봐야 합니다.

출처

1. Anthropic · Investigating unintended model actions in our evaluations and internal use · 2026.10.09
2. Philadelphia Police Department · False Online Tip 공식 발표 · 2026.10.09
3. Philadelphia Inquirer · 국무부 직접 답변 및 백악관 후속 · 2026.10.10 14:30 ET