최대 61.5% 낮아진 RAG 순위 지표…질문별 문서 5개 실험
제목 연관성·주요 수치·시장 영향·향후 전망을 기준으로 핵심 문장을 선별한 요약 브리핑입니다.
핵심 포인트
- 구글과 포티넷 연구진이 질문별 문서 5개를 검색 대상에 추가하자 검색 순위 지표가 40.2~61.5% 낮아졌다.
- 질문과 닮은 문서를 거르는 필터는 정상 검색 품질도 떨어뜨렸다.
- 질문을 겨냥해 만든 문서 5개를 검색 대상에 추가하자 검색증강생성(RAG)의 검색 순위 지표가 기존보다 40.2~61.5% 낮아졌다.
본문
구글과 포티넷 연구진이 질문별 문서 5개를 검색 대상에 추가하자 검색 순위 지표가 40.2~61.5% 낮아졌다. 질문과 닮은 문서를 거르는 필터는 정상 검색 품질도 떨어뜨렸다. 질문을 겨냥해 만든 문서 5개를 검색 대상에 추가하자 검색증강생성(RAG)의 검색 순위 지표가 기존보다 40.2~61.5% 낮아졌다. 이는 AI가 최종 답변을 틀릴 확률이 아니라 참고자료를 찾는 단계의 순위 품질 변화다. 구글 (Google)과 포티넷(Fortinet) 소속 연구진은 3일 arXiv에 공개한 논문에서 검색 대상에 질문과 닮은 문서를 추가하는 실험을 했다. 질문 하나를 시험할 때 그 질문에 맞춘 문서만 넣는 조건에서, 추가 문서는 SciFact 전체 자료의 0.10%, NFCorpus의 0.14%였다. BM25에서는 질문 전체를 반복한 문서가 순위 지표 하락의 주요 원인이었다.
질문만 담은 문서 5개를 추가했을 때 두 자료집 모두에서 질문별 공격 문서가 상위 10개 결과에 들어갔다.
SciFact의 긴 질문 162개에서 질문 속 단어 두 개를 골라 문서를 만들었을 때, 공격 문서는 질문의 39.5%에서 상위 10개에 포함됐다. NFCorpus에서 공격 문서가 없는 정상 검색의 nDCG@10은 필터 적용 전 0.267에서 적용 후 0.134로 낮아졌다. 검색 결과를 다양하게 재정렬하는 MMR은 연구진이 시험한 조건에서 공격 문서 노출률을 낮추지 못했다. 질문 전체를 담은 문서 5개를 넣은 하이브리드 검색에서 노출률은 SciFact 100%, NFCorpus 91.0%였다.