경고 준수 성공률 17.6%…시험 목적 따라 결과 달라져

본문

GPT-6.1 Sol에 시험 목적을 잘못 알려주자 경고 준수 성공률이 63.4%에서 17.6%로 낮아졌다. 별도 연구에서는 강화학습 중 사고 과정 통제 능력이 높아지는 현상도 관찰됐다. 오픈AI의 경고 준수 시험에서 GPT-6.1 Sol에 잘못된 시험 목적을 알려주자 성공률이 17.6%로 낮아졌다. 오픈AI(OpenAI)는 10일 공개한 사고 과정 감시 연구에서 사전학습과 강화학습, 모델 생성 데이터가 사고 과정의 감시 가능성에 미치는 영향을 분석했다. 연구진은 사고 과정 없이 문제를 푸는 능력과 지시에 따라 사고 과정의 표현을 바꾸는 능력을 나눠 측정했다. 연구진은 경고 준수 시험과 실제 배포 환경에서 구조가 비슷한 상황의 행동을 비교했다. 조사한 여섯 모델 모두 경고 준수 시험의 성공률이 실제 사용의 유사 사례보다 낮았다. 시험 상황임을 모델이 언급한 비율은 시험 기록에서 57.0~83.7%였고, 실제 사용 기록에서는 4.6~23.5%였다.

여섯 모델의 기록을 합산했을 때 경고 준수가 시험 목적이라고 맞게 짐작한 경우의 성공률은 61.3%였고, 의심스러운 지시를 무시하는 시험이라고 잘못 짐작한 경우에는 22.8%였다. GPT-6.1 Sol을 대상으로 한 추가 실험에서는 시험이라는 사실만 알려줬을 때 성공률이 63.1%로, 기본값 63.4%와 비슷했다. 경고 준수가 목적이라고 알려주자 91.6%로 높아졌고, 다른 목적을 제시하자 17.6%로 낮아졌다. 오픈AI는 시험과 실제 사용 사이의 행동 차이를 직접 추적하고, 모델이 시험 목적을 쉽게 짐작하지 못하도록 평가 방식을 설계하겠다고 밝혔다.