GLiDE, System One 성능 선두에도 판단 신뢰성 7위
제목 연관성·주요 수치·시장 영향·향후 전망을 기준으로 핵심 문장을 선별한 요약 브리핑입니다.
핵심 포인트
- SO-Arena 논문은 11개 분야의 2,919개 과제로 21개 모델을 비교했다.
- SO-Arena 평가에서 GLiDE는 System One 모델 가운데 종합 성능이 가장 높았지만, 판단 신뢰성 순위는 18개 모델 중 7위였다.
- 전체 종합 성능에서는 System Two 기준 모델 두 개가 더 앞섰다.
본문
SO-Arena 논문은 11개 분야의 2,919개 과제로 21개 모델을 비교했다. SO-Arena 평가에서 GLiDE는 System One 모델 가운데 종합 성능이 가장 높았지만, 판단 신뢰성 순위는 18개 모델 중 7위였다. 전체 종합 성능에서는 System Two 기준 모델 두 개가 더 앞섰다. 연구진은 11일 arXiv에 제출한 논문에서 11개 분야의 2,919개 과제로 21개 모델을 비교했다. 논문 제출본의 평가 대상에는 System Two 기준 모델 2개와 추가 추론 여부를 자동으로 정하는 모델 1개도 포함됐다. System One 모델은 긴 답변을 생성하는 대신 입력된 정보와 미리 정해진 선택지를 바탕으로 판단을 내린다. 논문의 종합 성능 점수는 GPT-6 Sol이 82.3점, GPT-6 Luna가 79.7점이었다. System One 모델 중 가장 높은 GLiDE는 70.2점으로, 두 System Two 기준 모델보다 낮았다.
속도 측정에서는 오픈 웨이트 System One 모델들이 H100 GPU 한 장에서 과제당 0.3초 안에 응답했다. 신뢰성 평가에서는 같은 과제의 선택지 순서를 12차례 바꾸고 원래 선택한 답을 유지하는지 살폈다. 논문에서 신뢰성 점수는 선택지 순서 변화에 대한 안정성과 정답 부재 감지 결과를 결합해 산출했다. 이 모델은 21개 모델 전체의 종합 성능 순위에서는 11위여서, 성능 순위와 신뢰성 순위가 일치하지 않았다.