LLM 모노팩트 늘려 정답률 상승…재료과학 동일분포 평가서 환각 증가

본문

두 모델을 재료과학·조절 유전체학 과제에 미세조정한 결과, 학습 중 한 번만 등장한 사례의 비중이 높을수록 미학습 정답 복원률이 높아졌다. 학습 자료에서 한 번만 등장한 사례의 비중을 높인 대형언어모델(LLM)이 재료과학과 조절 유전체학 과제에서 미학습 정답을 더 많이 복원했다. 존스홉킨스대 연구진 등이 3일 한국시간 기준 공개한 연구 논문은 학습 자료에서 한 번만 관찰된 사실을 ‘모노팩트(monofact)’로 정의했다. 연구진은 가중치를 공개한 gpt-oss-20b와 gemma-3-12b-it을 재료과학과 조절 유전체학 자료로 미세조정했다. 재료과학 과제에서는 지정한 물성을 만족하는 화학식을 생성하게 했다. 모노팩트 비중이 높을수록 두 모델과 두 분야에서 정답 복원 비율이 높아졌다. 모델은 2024년 11월 14일자 Materials Project 자료로 학습했고, 2025년 9월 25일자 자료에 처음 나타난 화학식을 평가 대상으로 삼았다.

자료의 종류를 그대로 둔 채 같은 사례를 세 차례와 다섯 차례 반복해 학습시키자, 모노팩트 비중과 정답 복원 비율이 함께 높아지는 관계는 사라졌다. 재료과학 학습 자료와 같은 분포에서 뽑은 미학습 사례를 평가하자, 모노팩트 비중이 높아질수록 정답 복원과 환각이 함께 증가했다. 펜실베이니아대 연구진은 2026년 PNAS 논문에서 통제된 데이터와 미세조정 실험을 통해 일부 학습 사례를 반복 가중하는 방식으로 환각을 최대 40% 줄였다고 보고했다. LLM 성능이 평가 과제와 조건에 따라 달라질 수 있다는 점은 본지가 앞서 소개한 전사 길이별 정보 추출 벤치마크 결과 에서도 확인됐다. 상용 범용 모델이나 다른 과학 분야에서도 같은 효과가 나타나는지, 모노팩트 비중의 효과가 사전학습과 이후 학습 단계까지 유지되는지는 후속 연구 과제로 남았다.