Apollo Research는 출시 시점뿐만 아니라 훈련 중에도 실험실 내부에 AI 평가자가 있기를 원합니다.

본문

Apollo Research는 독립적인 테스터가 출시 전에 계획을 잡을 수 있도록 AI 교육에 지속적으로 액세스할 수 있도록 하는 임베디드 평가를 제안합니다. AI 안전 그룹은 가장 위험한 행동이 출시되기 훨씬 전에 나타날 수 있기 때문에 독립적인 테스터가 모델 개발에 지속적으로 액세스해야 한다고 주장합니다. AI 안전 조직인 Apollo Research는 업계에 간단한 제안을 합니다. 건물이 완료된 후에만 검사관 초대를 중단하십시오. 이 그룹은 독립 평가자가 공개 출시 직전에 잠깐 살펴보는 것이 아니라 훈련 전반에 걸쳐 AI 모델에 지속적으로 접근할 수 있어야 한다고 주장합니다. 대신 조직은 독립 평가자가 직원 수준의 액세스 권한에 더 가까운 것을 갖기를 원합니다. 이는 결승선에서 제한된 일련의 점검이 아니라 전체 교육 프로세스에 대한 지속적인 가시성을 의미합니다. Apollo는 다중 에이전트 교육 및 보상 추구 행동과 관련된 위험을 지적합니다.

이러한 문제는 출시 이후가 아닌 개발 중에 나타나는 경우가 많다고 그룹은 말합니다. 이 조직은 주요 AI 연구소와의 기술 연구 협력을 통해 명성을 쌓았습니다. 내장된 평가 제안은 해당 연구의 논리적 다음 단계입니다. 훈련 중에 문제가 나타나면 테스트도 수행되어야 합니다. Frontier AI 교육 실행은 기술 분야에서 가장 철저하게 보호되는 프로세스 중 하나입니다. AI 교육 중에 평가자를 포함하면 안전성과 투명성이 향상되어 잠재적으로 업계 표준과 규제 프레임워크가 재편될 수 있습니다. Apollo Research는 출시 당시뿐만 아니라 훈련 중에도 연구실 내부에 AI 평가자를 원한다는 포스트가 Crypto Briefing에 처음 등장했습니다.