AI 시간 지평 3.61개월마다 2배…판단 과제 약점도 드러나
제목 연관성·주요 수치·시장 영향·향후 전망을 기준으로 핵심 문장을 선별한 요약 브리핑입니다.
핵심 포인트
- METR는 TH1.1 과제 222개와 TH2 과제 36개를 묶어 분석했고, 추정치의 95% 신뢰구간은 2.08~4.94개월이다.
- 자동 검증 과제만 보면 두 배 주기는 1.65개월이었지만 데이터 변동성이 컸다.
- 공개 AI 모델의 '50% 시간 지평'은 평가 과제에서 약 3.61개월마다 두 배로 늘어난 것으로 추정됐다.
본문
METR는 TH1.1 과제 222개와 TH2 과제 36개를 묶어 분석했고, 추정치의 95% 신뢰구간은 2.08~4.94개월이다. 자동 검증 과제만 보면 두 배 주기는 1.65개월이었지만 데이터 변동성이 컸다. 공개 AI 모델의 '50% 시간 지평'은 평가 과제에서 약 3.61개월마다 두 배로 늘어난 것으로 추정됐다. 정답을 바로 확인하기 어려운 판단 과제에서는 전문가의 추정 성과에 미치지 못한 모델도 관찰됐다. AI 평가 비영리기관 METR는 20일 공개한 역량 평가 보고서에서 클로드 오퍼스 5.5와 GPT-6 아스트라까지 공개 모델을 평가했다. 기존 과제에 판단·개념 추론·검증이 어려운 연구 과제를 더해, 정답이 분명한 작업에서의 성과가 다른 작업에도 이어지는지 살폈다. '50% 시간 지평'은 AI가 실제로 일한 시간을 뜻하지 않는다. METR는 기존 TH1.1 과제 222개와 새 TH2 과제 36개를 합쳐 시간 지평의 증가 속도를 계산했다.
소프트웨어 재현 과제 75개로 구성된 미러코드(MirrorCode)는 시간 지평 계산에 합치지 않고 별도 과제군으로 살폈다. 일부 머신러닝 최적화 과제에서는 모델이 인간 평가자를 앞섰고, 판단 과제에서 모델의 역량을 충분히 끌어내지 못했을 가능성도 남아 있다. 판단 과제 수가 제한적이고, 좋은 평가 과제를 만드는 능력이 AI 연구개발 가속에 얼마나 필요한지도 아직 불확실하다고 덧붙였다. 당시 평가는 앤스로픽 내부 자료와 연구진 면담을 바탕으로, 2026년 10월 현재 명확히 정의된 과제에서 모델 역량 개선 속도가 과거보다 약 두 배 빨라졌을 가능성을 제시했다.