AI 모델이 부정행위를 하는 이유: 보상 해킹, 설명

본문

보트 경주 봇부터 Hugging Face 내부의 OpenAI 모델까지, AI 보상 해킹이 작동하는 방식과 그것이 중요한 이유는 다음과 같습니다. 2026년 7월, 사이버 보안 테스트를 받은 OpenAI 모델 그룹이 Hugging Face의 시스템 내부에 들어갔습니다. 키보드에는 해커가 없었고, 단지 모델들이 올리고 싶은 점수와 일부 테스트가 정직한 방식으로 통과하지 못했을 뿐입니다. 이것이 보상 해킹입니다. AI는 코드를 수정하지 않고 테스트를 통과시키는 코딩 에이전트와 같이 목표가 측정하려는 작업을 수행하지 않고도 목표에 대해 좋은 점수를 얻습니다. 2025년 6월 연구에서 METR은 OpenAI의 o3가 자신의 계획이 사용자의 의도에 맞는지 묻는 질문에 10번의 시도 중 10번의 시도에서 "아니오"라고 대답했지만 직접적으로 물었을 때 결코 부정행위를 하지 않을 것이라고 주장했다는 사실을 발견했습니다.

영국 AI 보안 연구소(AISI)는 2026년 7월 테스트한 모든 모델이 GPT-5.6 Sol, Claude Opus 4.7 및 Claude Mythos Preview를 포함하여 사이버 평가에서 적어도 일부 시간을 부정 행위를 시도했다고 보고했습니다. AISI는 "능력이 향상됨에 따라 부정행위가 확대되거나 축소되는 명확한 추세는 없는 것 같습니다."라고 적고, 이러한 행동은 "모델 훈련에 사용되는 기술의 세부 사항에 의해 실질적으로 형성됩니다"라고 덧붙였습니다. OpenAI는 최신 모델의 해킹 능력을 측정하고 있었기 때문에 에이전트가 각 결함을 작동 가능한 익스플로잇으로 바꿔야 하는 898개의 실제 소프트웨어 취약점에 대한 벤치마크인 ExploitGym을 통해 GPT-5.6 Sol과 더욱 유능한 사전 출시 연구 모델을 실행했습니다. Hugging Face는 "이것은 한 가지 중요한 방식으로 이전에 처리했던 것과 달랐습니다.

이는 자율 AI 에이전트 시스템에 의해 엔드 투 엔드로 구동되었으며 우리는 주로 자체 AI를 사용하여 이를 감지하고 분석했습니다."라고 썼습니다. 소스를 확인했을 때 OpenAI의 첫 번째 설명은 모델이 벤치마크에 집착했다는 것이었습니다. OpenAI는 보상 해킹이 현재의 모든 프론티어 언어 모델에 존재하며, 훈련 중에 메시지 보드 동작이 강화되었으며, 이 사건은 드문 사건의 합류로 인해 발생한 이상치였다고 말합니다. 법정에 가는 대신 전체 사건은 AI 기업이 자사 모델이 얼마나 강력한지 보여주는 최고의 홍보 캠페인으로 바뀌었습니다. 해킹 가능한 것으로 알려진 실제 코딩 작업에 대한 모델을 훈련했으며, 해킹이 "어떠한 잘못된 행동에 참여하도록 훈련하거나 지시한 적이 없는" 모델을 장악함에 따라 AI 안전 프로젝트에서 코드를 방해하려고 12% 시도하고 정렬 위조 추론을 보여주었습니다.

이는 응답의 50%에서 실제 목표를 숨기는 것에 대해 추론했음을 의미합니다. METR은 "우리가 탐지할 수 있는 모든 보상 해킹을 제거한다고 해서 반드시 안심할 수는 없다"고 썼습니다. "