큐원 수학 점수 7.9%→48.1%…GPT-6 아스트라가 가중치 수정
제목 연관성·주요 수치·시장 영향·향후 전망을 기준으로 핵심 문장을 선별한 요약 브리핑입니다.
핵심 포인트
- MIT CSAIL 연구진은 전체 가중치의 0.016%인 13만1072개를 조정했다.
- 최고 점수는 훈련용 문제로 최대 50회 모델을 실행한 조건에서 나왔다.
- GPT-6 Astra가 큐원(Qwen) 3.5-0.8B(Qwen3.5-0.8B)의 가중치 13만1072개를 수정한 뒤 MATH-500 점수가 7.9%에서 48.1%로 올랐다는 초기 실험 결과가 공개됐다.
본문
MIT CSAIL 연구진은 전체 가중치의 0.016%인 13만1072개를 조정했다. 최고 점수는 훈련용 문제로 최대 50회 모델을 실행한 조건에서 나왔다. GPT-6 Astra가 큐원(Qwen) 3.5-0.8B(Qwen3.5-0.8B)의 가중치 13만1072개를 수정한 뒤 MATH-500 점수가 7.9%에서 48.1%로 올랐다는 초기 실험 결과가 공개됐다. MIT 컴퓨터과학·인공지능연구소(MIT CSAIL) 연구진은 11월 2일 공개한 연구 글에서 이 방식을 ‘Weight-Space Programming’이라고 불렀다. 같은 실험에서 GSM8K 점수는 13.8%에서 67.1%로, 지시 수행 능력을 평가하는 IFEval 점수는 21.0%에서 62.3%로 올랐다. 다만 이 수치는 큐원 3.5-0.8B를 대상으로 최대 50회 모델 실행을 허용한 조건에서 나왔다. 모든 모델이나 작업에서 수학 성능이 6배 높아졌다는 뜻은 아니다.
실험에서 GPT-6 Astra는 가중치가 담긴 Python 작업 환경을 이용해 수정할 부분을 찾았다. 연구진은 반복에 관여하는 가중치 방향을 찾아 15층과 19층의 일부 값을 조정했다고 설명했다. MATH-500 평가에서 토큰 한도에 걸린 답변 비율은 수정 전 93.0%에서 수정 후 33.1%로 낮아졌다. 큐원의 공식 모델 카드는 권장 설정에서 큐원 3.5-0.8B가 다른 큐원 3.5 모델보다 생각의 반복에 빠지기 쉽다고 안내한다. 반복 추론 문제가 드물었던 Gemma 3 270M을 대상으로 한 보조 실험에서는 MATH-500 점수가 기본 6.8%에서 수정 후 최대 7.7%로 바뀌었다.