69.4% 기록한 큐원 3.5-2B…기준 모델은 21.6%
제목 연관성·주요 수치·시장 영향·향후 전망을 기준으로 핵심 문장을 선별한 요약 브리핑입니다.
핵심 포인트
- Tree-Ising 연구진은 큐원 3.5-2B의 GSM8K 평가에서 정답률 69.4%를 보고했다.
- 초기 200문제로 평가 조건을 선택한 뒤 나머지 1,119개 문제에서도 수정 모델은 69.6%를 기록했다.
- Tree-Ising 연구진은 큐원(Qwen) 3.5-2B의 GSM8K 정답률이 가중치 일부를 수정한 뒤 69.4%를 기록했다고 보고했다.
본문
Tree-Ising 연구진은 큐원 3.5-2B의 GSM8K 평가에서 정답률 69.4%를 보고했다. 초기 200문제로 평가 조건을 선택한 뒤 나머지 1,119개 문제에서도 수정 모델은 69.6%를 기록했다. Tree-Ising 연구진은 큐원(Qwen) 3.5-2B의 GSM8K 정답률이 가중치 일부를 수정한 뒤 69.4%를 기록했다고 보고했다. QDeep와 ITMO대 LEAD 연구진은 11월 10일 arXiv에 공개한 사전논문에서 결과를 제시했다. 연구진은 GSM8K 시험 세트의 초기 200개 문제를 살펴본 뒤 기준 모델이 가장 어려움을 겪는 탐욕적 디코딩을 평가 조건으로 선택했다. 이 200개를 제외한 1,119개 문제에서도 수정 모델은 69.6%, 기준 모델은 21.6%를 기록했다. 전체 평가에서 답변이 토큰 상한에 도달한 비율은 77.9%에서 26.7%로 줄었지만, 기준 모델이 맞힌 285개 문제 가운데 38개는 수정 뒤 오답이 됐다.
큐원 3.5-0.8B의 MATH-500 4회 생성 평가에서 시뮬레이티드 어닐링 방식은 54.6%, 시뮬레이티드 바이퍼케이션 방식은 55.1%를 기록했다. 같은 평가 절차로 연구진이 다시 측정한 에이전트 수정 모델은 51.7%였다. 기준 모델의 7.9%는 이번 연구진이 직접 재측정한 결과가 아니라 선행 연구 수치다. 논문 비용표에서 Tree-Ising의 0.8B 절차를 한 차례 실행하는 데 순전파 요청 4회와 약 31분, 0.90달러(약 1,200원)가 들었다. 기존 에이전트가 수정 방법을 찾는 과정에는 순전파 요청 50회와 LLM 대화 158회, 총 8,970만 토큰, 약 15.6시간과 312달러(약 41만7,000원)가 소요된 것으로 계산됐다.