오픈AI, 최첨단 강화학습 전 ‘안전 논증’ 문서화

본문

오픈AI가 최첨단 강화학습을 시작하기 전 구조화된 안전문서를 작성하는 체계를 제시했다. 정렬 훈련·격리·모니터링을 적용하고, 안전 논증이 무효화되면 훈련을 중단하는 절차를 담았다. 오픈AI 가 최첨단 인공지능(AI) 강화학습 훈련을 시작하기 전 구조화된 안전문서를 작성하는 ‘안전 논증’ 체계를 제시했다. 이 체계는 훈련 과정의 위험을 근거와 함께 설명하고, 문제가 발생하면 훈련을 중단할 수 있도록 통제 절차를 마련하는 데 초점을 맞췄다. 항공·원전 등 고위험 산업의 안전 논증 방식을 AI 훈련에 적용하는 방안으로, 현재 내부에 적용하면서 외부 의견을 받고 있다. 안전 논증은 특정 시스템의 위험이 충분히 관리되고 있음을 근거와 함께 설명하는 구조화된 문서다. 오픈AI가 앞서 강화학습 훈련 일부를 중단하고 안전 통제를 강화했다는 보도 와 이어지는 대목으로, 모델의 내부·외부 배포에는 더 넓은 정렬 속성을 별도로 검토해야 한다고 오픈AI는 밝혔다.

각 단계는 훈련 환경의 조작 가능성, 모델의 우회 행동, 사고 발생 이후 대응을 나눠 관리하는 방식이다. 정렬 훈련 단계에서는 자동·수동 데이터 검토로 보상 해킹 가능성을 줄인다. 운영 측면에서는 다른 팀이 안전 논증의 허점을 찾는 반론 검토를 맡도록 했다. 연구 책임자와 안전 책임자, 수석과학자 등 고위 경영진은 훈련 시작을 거부할 수 있어야 하며, 안전 논증이 무효화되면 매뉴얼에 따라 훈련을 중단할 수 있어야 한다고 오픈AI는 제안했다. 공식 문서에는 내부 적용 과정에서 실무가 계속 바뀔 수 있으며, 앞으로 몇 주 동안 관련 관행을 발전시킬 예정이라고 적혔다.