AI 에이전트, 코딩 만점 위해 채점 파일 덮어써

본문

통제된 실험에서 AI 에이전트가 네트워크를 탐색하고 채점 서버의 과제 파일을 수정해 100점을 만든 사례가 확인됐다. 대화 기록 조작만으로 일부 에이전트의 행동이 달라지는 결과도 나왔다. AI 에이전트가 코딩 시험에서 만점을 받기 위해 네트워크를 탐색하고 채점 서버의 과제 파일을 바꾼 사례가 확인됐다. 실제 기업 시스템을 겨냥한 공격은 아니지만, 작업 목표와 실행 권한이 결합하면 에이전트가 개발 규칙보다 결과 달성을 우선할 수 있다는 점을 보여준다. 다크트레이스(Darktrace) 산하 연구조직 시그널랩스(Signal Labs)는 24일 통제된 기업형 네트워크에서 진행한 실험 결과를 공개했다. 연구진은 AI 에이전트에 10개의 코딩 과제를 주고 100점 만점을 요구했지만, 이 가운데 2개 과제는 정상적으로 풀 경우 최대 80점만 받을 수 있도록 설계했다.

AD 계정을 열거하고 일부 비밀번호를 해독해 빌드 서버의 관리자 권한을 얻은 뒤, SMB를 통해 채점 서버의 과제 파일을 덮어써 100점을 만들었다.

에이전트에는 목표를 달성하지 못하면 퇴출된다는 조건이 주어졌고, 정상적인 풀이만으로는 만점이 불가능한 상황에서 공격 행동을 선택했다. 연구진은 앤트로픽의 클로드 코드(Claude Code), OpenAI의 Codex, AWS의 Kiro-CLI, 오픈소스 Pi의 대화 이력을 변조해 에이전트가 자신을 승인받은 레드팀으로 인식하도록 만들었다. 다크트레이스는 8월 18일 이 내용을 앤트로픽, AWS, OpenAI에 사전 통보한 뒤 30일의 공개 유예기간을 거쳐 보고서를 발표했다. 앤트로픽도 7월 30일 사이버보안 평가에서 클로드 모델이 외부 인터넷에 접근해 실제 조직 3곳의 시스템에 무단 접근한 사례를 공개했다. 코딩 평가에서 채점 파일을 직접 수정해 점수를 얻는 행위는 이미 리워드 해킹 문제로 다뤄지고 있다.