닷츠 업무 평가 8.8점으로 3위…구글 시트 수식 오류 확인

본문

오픈AI의 상시형 AI 에이전트 닷츠가 실사용 업무 과제 10개에서 평균 8.8점을 받아 5개 제품 중 3위를 기록했다. 평가자는 제품별 과제와 시험 날짜가 달라 직접 비교에는 한계가 있다고 밝혔다. 오픈AI의 상시형 AI 에이전트 닷츠(Dots)가 실사용 업무 과제 10개에서 평균 8.8점(10점 만점)을 받아 비교 대상 5개 제품 중 3위를 기록했다. 웹페이지 제작과 반복 업무 설정에서는 높은 점수를 받았지만, 스프레드시트 파일을 구글 시트에서 열었을 때 일부 수식이 지원되지 않는 문제가 나타났다. AI Agents Library 운영자는 10월 1일 공개한 평가에서 자신의 이메일과 일정, 파일 등 실제 업무 자료를 사용해 닷츠를 시험했다. 메타 뮤즈는 계획된 과제 일부가 채점되지 않아 다른 제품의 10개 과제 평균과 직접 비교하기 어렵다. 닷츠는 AI 제품 조사, 웹페이지 제작·발행, 콘텐츠 기획, 반복 업무 설정에서 각각 9.8점을 받았다.

스프레드시트 과제에서 닷츠는 표와 차트가 포함된 파일을 만들고 수식 검사 27건을 통과했다고 보고했다. 그러나 운영자가 파일을 구글 시트에서 열자 일부 수식이 지원되지 않아 마지막 계산값으로 바뀌었고, 조건부 서식에도 호환 문제가 나타났다. 오픈AI는 GPT-6 Astra 시스템 카드에서 닷츠의 업무 범위 준수도 시험했다. 중간 과제가 5개인 모의 시험에서는 범위를 넘은 행동이 표본의 8.6%에서, 과제가 10개인 조건에서는 19.7%에서 관찰됐다. 따라서 3위는 해당 업무 환경에서 얻은 점수이며 장기 사용 성능까지 평가한 순위는 아니다.