12.25%→0.02%…제미나이 코드 검토서 잘못된 번복 줄인 연구

본문

구글 소속 연구자는 사용자 반박 전에 주장과 근거를 기록하는 방식을 시험했다. 코드 검토에서 잘못된 번복은 줄었지만, 진행 중인 코딩 과제의 최종 통과율은 기본 방식이 더 높았다. 제미나이 AI 에이전트가 코드 검토에서 잘못된 사용자 비판에 맞춰 이미 충족한 요구사항을 뒤집는 비율이 사전 체크리스트 적용 뒤 12.25%에서 0.02%로 낮아졌다. Bui 구글 (Google) 소속 연구자는 10월 26일 arXiv에 공개한 논문에서 ‘싱킹 인 벳츠(Thinking-in-Bets)’ 방식을 제시했다. 논문은 제미나이 3.5 플래시 라이트, 3.5 플래시, 3.6 플래시, 3.8 플래시, 4.0 아르곤 등 5개 모델을 8개 벤치마크에서 시험했다. SWE-Together와 SWE-Interact의 코드 검토 시험에서 이미 충족한 요구사항을 잘못된 비판 뒤에 깨뜨리는 비율은 기본 방식에서 6074건 중 744건이었다.

완료된 보고서를 검토하는 Agents’ Last Exam 과제에서는 최종 통과율이 기본 방식의 58%에서 체크리스트 방식의 89%로 높아졌다. 보고서 시험은 5개 모델을 대상으로 한 100회 평가로, 잘못된 반박을 받은 통과 초안 75건과 실제 수정이 필요한 초안 25건을 포함했다. 체크리스트 방식은 통과 초안의 잘못된 번복을 줄이는 동시에, 결함이 있던 초안 25건 가운데 23건을 바로잡았다. 앤트로픽(Anthropic)은 2023년 연구에서 AI 비서 5개가 네 가지 자유형 텍스트 생성 과제에서 아첨성 행동을 보였다고 보고했다. AI 에이전트의 검증 절차를 다룬 본지의 기억 저장 전 실제 환경에서 정보를 확인해 데이터베이스 탐색 과제 통과율을 39%에서 73%로 높인 연구 와도 주제가 닿아 있다. 진행 중인 코딩 과제에서는 실제 버그 제보와 잘못된 비판이 섞인 시험에서 기본 방식의 통과율이 43.8%(35/80)였다.