모델별 준수 점수 41.2%p·34.5%p 상승…첫 토큰 제한·예시 병행
제목 연관성·주요 수치·시장 영향·향후 전망을 기준으로 핵심 문장을 선별한 요약 브리핑입니다.
핵심 포인트
- Qwen3-32B와 OLMo-3.1-32B-Think에서 첫 토큰 제한과 사용자 예시를 함께 적용하자 형식 지시 준수 점수가 각각 41.2%포인트, 34.5%포인트 높아졌다.
- 최종 답변의 정답률이 아닌 사고 과정의 지시 준수도 측정 결과다.
- 추론 모델 두 종에서 사고 과정의 첫 토큰을 제한하고 사용자 예시를 함께 제시하자, 형식 지시 준수 점수가 각각 41.2%포인트와 34.5%포인트 높아졌다.
본문
Qwen3-32B와 OLMo-3.1-32B-Think에서 첫 토큰 제한과 사용자 예시를 함께 적용하자 형식 지시 준수 점수가 각각 41.2%포인트, 34.5%포인트 높아졌다. 최종 답변의 정답률이 아닌 사고 과정의 지시 준수도 측정 결과다. 추론 모델 두 종에서 사고 과정의 첫 토큰을 제한하고 사용자 예시를 함께 제시하자, 형식 지시 준수 점수가 각각 41.2%포인트와 34.5%포인트 높아졌다. 하버드대와 매사추세츠공대(MIT), Cambridge Boston Alignment Initiative 소속 연구진은 10월 29일 arXiv에 공개한 논문 'The First Few Tokens Matter: Understanding Chain-of-Thought Controllability'에서 실험 결과를 제시했다. 이번 연구의 준수 점수는 이 텍스트가 형식 지시를 얼마나 따르는지 측정하며, 최종 답변의 정답률과는 다르다.
지시가 없을 때 Qwen3-32B가 첫 추론 토큰으로 'Okay'를 선택할 확률은 99.89%였고, OLMo-3.1-32B-Think는 99.52%였다. 첫 토큰 제한과 사용자 예시를 함께 적용한 조건에서 Qwen3-32B의 평균 점수는 0.078에서 0.490으로 올랐다. 한 종류의 지시 준수 점수만으로 모델의 통제 능력을 판단하기 어렵다는 취지다. 2026년 3월 공개된 CoT-Control 연구는 클로드 소네트 4.5가 사고 과정 지시는 2.7%, 최종 답변 지시는 61.9% 따랐다고 보고했다. 2026년 10월 공개된 별도 연구는 지시를 사고 과정 안에 자기 지시 형태로 넣으면 통제 성능이 높아지고, 모니터 회피 실험에서도 효과가 나타났다고 보고했다. 개발비나 추론비 절감액도 측정하지 않았으며, API 제약으로 GLM-5.2에서는 첫 토큰 제한 실험을 진행하지 못했다.
◇ 시작 토큰에 따라 달라진 준수 점수 연구진은 Qwen3-14B·32B,...