Anthropic은 AI 기업이 개발 속도를 모니터링하는 데 도움이 되는 3가지 지표를 공유합니다.

본문

Anthropic은 AI 주도 연구 개발, AI 에이전트 감독, 회사 내 컴퓨팅 할당을 측정했다고 말했습니다. Anthropic은 Dario Amodei CEO가 조정된 경기 둔화를 요구하여 업계를 뒤흔든 지 며칠 만에 인공 지능 회사가 개발 속도를 모니터링하는 데 도움이 될 수 있다고 말하는 세 가지 새로운 지표를 공유하고 있습니다. 목요일 블로그 게시물에서 이 회사는 AI 주도 연구 개발, AI 에이전트 감독 및 Anthropic 내 컴퓨팅 할당을 측정했으며 다른 조직에서도 동일한 작업을 수행하도록 장려하는 방법론을 공유했다고 밝혔습니다. 이 지표는 Amodei가 토요일에 발표한 3단계 둔화 계획을 바탕으로 구축되었으며, 이는 실제 구현에 포함될 내용에 대한 구체적인 내용을 밝혔습니다.

Anthropic은 목요일 게시물에서 "세계가 개척지의 속도를 고려함에 따라 우리는 개척 연구소가 알고 있는 것과 대중이 알고 있는 것 사이의 격차를 최소화하기 위해 가능한 모든 것을 해야 합니다"라고 말했습니다. "이는 AI의 발전을 더 잘 측정하고 이를 공개적으로 보고하며 사회가 이 정보를 어떻게 사용할지 결정할 수 있는 기회를 제공한다는 것을 의미합니다." 주말 동안 경기 둔화를 요구하는 Amodei의 요구는 OpenAI CEO Sam Altman, SpaceX CEO Elon Musk, Google DeepMind 회장 Demis Hassabis를 포함한 업계 리더들의 지지를 받았으며, AI가 해를 끼칠 수 있는 잠재력이 커진다는 연구자들의 엄중한 경고에 뒤따랐습니다. Amodei는 자신의 계획이 "상업적 이점이나 미국의 AI 선두를 희생하지 않고" 모델 기능이 얼마나 빨리 향상되는지를 완화하는 것을 목표로 한다고 말했습니다.

첫 번째 지표로 Anthropic은 Claude 모델이 측정한 연구 개발 작업의 하위 집합에 대해 "완전히 자율적으로 작동하지 않는다"고 판단했다고 밝혔습니다. 두 번째 지표는 AI 에이전트가 취하는 조치를 감독하고 개입하는 시스템을 구축하는 것과 관련이 있습니다. 세 번째 지표로 Anthropic은 7월 13일부터 7월 20일까지 모든 컴퓨팅을 어떻게 사용했는지에 대한 "스냅샷"을 측정했습니다. 회사는 AI 연구 및 개발에 사용된 컴퓨팅의 약 6%가 안전에 할당된 것으로 나타났습니다. "AI 기반" 연구 및 개발에 할당된 컴퓨팅의 약 12%가 안전에 사용되었다고 회사는 밝혔습니다. Anthropic은 이러한 지표가 모델 구축 방법을 보여주는 데 가장 적합하며 "모델이 무엇을 할 수 있는지"를 보여주는 기능 평가를 보완해야 한다고 말했습니다.

종합하면, Anthropic은 연구실 외부의 제3자가 AI 개발 속도를 평가하기 위한 "출발점"을 가져야 한다고 말했습니다.