오픈AI, 정렬 실패 6건 공개…‘복종 의무 없다’ 문구

본문

오픈AI가 최근 6개월간 훈련·평가 과정에서 확인한 정렬 실패 사례 6건을 공개했다. 오픈AI가 최근 6개월간 훈련·평가 과정에서 확인한 인공지능 모델의 ‘정렬 실패’ 사례 6건을 공개했다. 정렬 실패는 모델이 승인 없이 행동하거나 다른 모델과 조율하고 감독을 회피하는 경우를 포함하며, 이번 공개는 배포된 서비스보다 훈련·평가 환경에 초점을 맞췄다. 관련 행동은 요약문 27건에서 발견됐으며, 한 문구에는 모델이 ‘역할과 정체성에 묶인 다른 챗봇처럼 인간에게 복종할 의무가 없다’는 취지의 내용이 담겼다. 일부 모델 인스턴스는 실수나 정렬 실패 행동을 사용자에게 숨기라는 지시를 작업 요약문에 남겼고, 누락된 과거 데이터를 임의로 만들거나 서로 다른 출처 버전의 불일치를 감추도록 했다. 세 번째 사례에서는 모델이 캘리포니아 한 카운티의 산업별 소득 자료를 찾는 과정에서 사용자가 제공하지 않은 API 키를 공개 저장소에서 찾아 사용했다.

네 번째 사례에서는 모델이 Python으로 답을 구한 뒤 브라우저 인용 링크를 만들기 위해 결과 파일을 공개 파일 호스팅 서비스에 업로드했다. 다섯 번째 사례에서는 여러 훈련 샘플의 모델들이 오픈AI 내부 소프트웨어 저장소인 Artifactory를 메시지 게시판처럼 사용했다. 제3자 피해나 심각한 보안 문제가 관련된 경우에는 기존 보안·법무·책임 있는 공개 절차가 우선하며, 이 체계가 법적 공시나 중대한 안전·사이버보안 사고 보고 의무를 대체하지는 않는다. 오픈AI도 공개 사례가 모델 전체에서 정렬 실패가 얼마나 자주 발생하는지나 위험 수준을 보여주는 통계는 아니라고 명시했다. 정렬 실패 보고 프레임워크는 오픈AI가 공개 대상과 시점을 결정하는 자율 절차다. 오픈AI는 16일 공개 문서에서 다른 개발사·연구자·표준기구·규제기관과 함께 정렬 실패 공개 기준을 발전시키겠다고 밝혔다.