Anthropic의 새로운 AI는 프리랜스 벤치마크를 선도하지만 작업의 58%를 실패합니다.

본문

Anthropic의 Fable 5.2는 41.3%로 프리랜서 작업 벤치마크에서 1위를 차지했으며, 프로젝트 5개 중 약 2개에서 전문 표준을 충족했습니다. Anthropic's Fable 5.2는 완전한 프리랜서 프로젝트 테스트인 원격 노동 지수(Remote Labor Index)에서 1위를 차지했으며, 결과물의 41.3%가 전문 참조 표준을 충족하는 것으로 판단되었습니다. 12 순위표에서는 Fable 5.2가 41.3%로 다음으로 높은 모델인 Opus 5.5가 21.25%를 기록했습니다. Anthropic은 11월에 결과를 보고했습니다. AI 안전 및 규모 AI 센터의 연구원이 2025년 10월에 제출한 원본 RLI 논문은 23개 프리랜스 작업 범주에 걸쳐 240개 프로젝트의 데이터 세트를 설명합니다. 이러한 범위에서는 클라이언트가 요청한 내용을 이해하는 동시에 파일 제작 및 완제품 품질이 과제의 일부가 됩니다.

연구원의 원래 평가 방법은 훈련된 인간 검토자를 사용하여 요약 및 참조 결과물과 비교하여 AI의 작업을 검사합니다. 독립적인 평가와 다수결 투표를 통해 결과가 결정되며, AI의 결과물이 합리적인 고객이 수용할 수 있는 품질로 최소한 참조 사항뿐만 아니라 개요도 충족하면 프로젝트가 통과됩니다. Anthropic의 릴리스 페이지에는 높은 노력이 명시되어 있지만 정확한 RLI 실행 설정, 프로젝트당 지출 또는 인적 지원 규모는 설정되지 않습니다. RLI는 AI의 유용성을 평가하는 기업에 대한 성공에 대한 까다로운 정의를 제공합니다. 즉, 전문적인 작업을 통해 수용 기준을 설정하여 검사 가능한 제품까지 과제를 수행하는 것입니다. 그는 분산형 기술이 다음을 만들 수 있는 잠재력을 가지고 있다고 믿습니다... Gino Matos는 로스쿨 졸업생이자 암호화폐 업계에서 6년의 경험을 가진 노련한 저널리스트입니다.

그의 전문 지식은 주로 브라질 블록체인에 중점을 두고 있습니다. Fable 5.2는 전문 참조 작업과 비교하여 완전한 결과물을 판단하는 Scale의 원격 노동 지수를 이끌고 있습니다.