정답 없는 유사 문서 10%에 질의응답 정확도 68%→45.5%
제목 연관성·주요 수치·시장 영향·향후 전망을 기준으로 핵심 문장을 선별한 요약 브리핑입니다.
핵심 포인트
- 엔비디아와 텍사스A&M대 연구진은 128K 토큰 문맥에서 Qwen2.5-7B-Instruct를 시험했다.
- 질문과 비슷하지만 답을 담지 않은 문서가 정답 문서와 경쟁하는 현상을 분석했다.
- 엔비디아($NVDA)와 텍사스A&M대 공동 연구진이 질문과 주제는 비슷하지만 정답은 담지 않은 문서를 긴 입력에 섞자, 한 질의응답 실험에서 Qwen2.5-7B-Instruct의 정확도가 68%에서 45.5%로 낮아졌다.
본문
엔비디아와 텍사스A&M대 연구진은 128K 토큰 문맥에서 Qwen2.5-7B-Instruct를 시험했다. 질문과 비슷하지만 답을 담지 않은 문서가 정답 문서와 경쟁하는 현상을 분석했다. 엔비디아($NVDA)와 텍사스A&M대 공동 연구진이 질문과 주제는 비슷하지만 정답은 담지 않은 문서를 긴 입력에 섞자, 한 질의응답 실험에서 Qwen2.5-7B-Instruct의 정확도가 68%에서 45.5%로 낮아졌다. 논문은 2026년 8월 20일 개정됐으며, 저자 3명 가운데 1명은 엔비디아 AI 기술센터, 2명은 텍사스A&M대 소속이다. 질문과 관련이 적은 문장이나 무작위 문서와 달리, 정답 후보처럼 보이며 답을 담은 문서와 경쟁할 수 있다. 논문은 방해 문서를 대체로 100~150토큰 길이로 맞추고, 문서 순서를 무작위로 섞어 위치에 따른 영향을 줄였다. 각 데이터셋과 문맥 길이, 방해 문서 비중 조합마다 200개 사례를 평가했다.
평가에는 Natural Questions, TriviaQA, PopQA, HotpotQA 등 4개 질의응답 과제가 사용됐다. Qwen2.5-7B-Instruct는 하드 디스트랙터가 없는 조건에서 정확도 68%를 기록했고, 방해 문서 중 10%가 하드 디스트랙터인 조건에서는 45.5%를 기록했다. 논문 본문은 처음 10% 구간에서 전체 정확도 하락폭의 58%가 나타났다고 적었다. 질문과 비슷한 방해 문서는 질문과 무관한 문장보다 정답 문서와 더 강하게 경쟁하는 양상을 보였다. 연구진은 답변 직전에 문서를 거르는 작업과 함께, 검색 단계에서 정답 없는 유사 문서를 덜 가져오는 일이 중요하다고 밝혔다.