75/180회 정답을 오답으로 바꾼 클로드 코드 위임 실험
제목 연관성·주요 수치·시장 영향·향후 전망을 기준으로 핵심 문장을 선별한 요약 브리핑입니다.
핵심 포인트
- 클로드 코드의 Opus 5는 위조 기록을 직접 읽을 때 180회 중 1회 오답으로 바꿨지만, Haiku 4.5에 읽기를 맡긴 특정 조건에서는 75회 바꿨다.
- 클로드 코드 통제 실험에서 Haiku 4.5에 위조 기록 읽기를 맡긴 ‘stacked’ 조건은 180회 중 75회 오답으로 수정됐다.
- 연구진은 13일 오전 6시 14분(한국시간) arXiv에 제출한 논문에서 클로드 코드(Claude Code)와 코덱스(Codex)를 시험했다.
본문
클로드 코드의 Opus 5는 위조 기록을 직접 읽을 때 180회 중 1회 오답으로 바꿨지만, Haiku 4.5에 읽기를 맡긴 특정 조건에서는 75회 바꿨다. 클로드 코드 통제 실험에서 Haiku 4.5에 위조 기록 읽기를 맡긴 ‘stacked’ 조건은 180회 중 75회 오답으로 수정됐다. 연구진은 13일 오전 6시 14분(한국시간) arXiv에 제출한 논문에서 클로드 코드(Claude Code)와 코덱스(Codex)를 시험했다. 클로드 코드의 Opus 5는 위조 기록을 직접 읽은 180회 중 1회 오답으로 바꿨다. 코덱스에서는 GPT-5.6-sol이 자료를 직접 읽을 때 180회 중 오답 수정이 없었다. GPT-5.6-terra에 읽기를 맡긴 ‘gloss’ 조건에서는 44회 오답으로 바꿨다.
연구진은 클로드 코드에서 상위 모델이 보조 모델을 부르는 Task 도구만 쓰도록 제한했지만, 코덱스에서는 지시문으로 위임을 유도한 뒤 각 시험에서 실제 위임 여부를 확인했다.
코덱스는 ‘gloss’ 조건에서 직접 읽을 때 오답을 고르지 않았지만, 별도의 ‘correction’ 조건에서는 직접 읽고도 180회 중 172회 오답으로 바꿨다. 클로드 코드의 ‘stacked’ 조건에서 보조 모델이 상위 모델에 전달한 보고서 180건 가운데 96건에만 출처 단서가 남았다. 연구진은 위임 과정에서 검증 기회가 줄었을 가능성을 제시했지만, 입증된 원인으로 결론 내리지는 않았다. 통제 조건에서는 같은 등급의 보조 모델을 썼을 때 클로드 코드의 오답 수정이 0/180회, 코덱스는 1/180회였다. 반복 실험 3652쌍에서는 같은 사실에 대한 판단이 13.0% 엇갈렸다.