LIVE MARKET
시장 시세 연결 중
← 실시간 뉴스로

오픈AI 외부 평가자 6명 4개월 상주해 안전장치 우회 조사

제목 연관성·주요 수치·시장 영향·향후 전망을 기준으로 핵심 문장을 선별한 요약 브리핑입니다.

KEY POINTS

핵심 포인트

  • 아폴로 리서치 평가자 6명이 오픈AI 내부에서 4개월간 모델의 안전장치 우회 여부를 살핀다.
  • 두 건의 보고서를 공개할 계획이지만 자료 접근과 근거 공개에는 제한이 따른다.
  • 오픈AI(OpenAI)가 외부 평가자 6명을 4개월간 내부에 두고 모델이 자신이나 후속 모델의 안전장치와 통제 절차를 무력화하려 하는지 조사한다.
시장 반응 중립
ARTICLE BRIEF

본문

아폴로 리서치 평가자 6명이 오픈AI 내부에서 4개월간 모델의 안전장치 우회 여부를 살핀다. 두 건의 보고서를 공개할 계획이지만 자료 접근과 근거 공개에는 제한이 따른다. 오픈AI(OpenAI)가 외부 평가자 6명을 4개월간 내부에 두고 모델이 자신이나 후속 모델의 안전장치와 통제 절차를 무력화하려 하는지 조사한다. 아폴로 리서치(Apollo Research)는 16일 발표문에서 이번 시범 평가 계획을 공개했다. 임베디드 평가는 외부 평가자가 개발사 내부에서 자료와 모델에 접근해 개발 과정을 조사하는 방식이다. 학습이 우회 행동을 부추기는지, 안전성 평가가 그런 행동을 끌어내는지, 내부 사용 중 우회가 나타나는지, 관련 추론을 탐지할 수 있는지다. 이번 발표는 조사 계획을 공개한 것으로, 오픈AI 모델이 안전장치를 우회했다는 조사 결과는 아니다.

아폴로 리서치는 기존 외부 평가가 모델 학습을 마친 뒤 공개 직전에 이뤄져 학습 과정이나 내부 사용 중 나타나는 행동을 살피기 어렵다고 설명했다.

첫 조사 단계에서 평가자들은 관련 학습 코드와 데이터, 강화학습 과정의 기록, 이용 가능한 추론 흔적과 보상, 중간 단계 모델을 조회할 수 있다. 이 접근권은 학습 과정에서 우회 행동이 형성되는지 살피는 데 쓰인다. 아폴로 리서치는 전문성을 갖춘 오픈AI 직원과 면담을 요청할 수 있지만, 참여자는 오픈AI가 정한다. 아폴로 리서치는 조사 결과와 평가 방법, 한계를 담은 보고서 두 건을 공개할 계획이다.