속도 높이고 비용 줄였다…스탠퍼드·메타가 개발한 AI 추론 기술

본문

[디지털투데이 최재원 기자] AI가 추론 과정을 일일이 문자로 생성하지 않고 내부 공간에서 처리해 속도와 비용을 개선하는 기술이 등장했다. 기존 대형 언어모델(LLM)의 추론 효율을 높이면서 문제 해결 능력까지 향상할 수 있다는 연구 결과다.19일(현지시간) 일본 매체 기가진에 따르면 스탠퍼드대와 투게더 AI, 일리노이대 어배너·섐페인, 메타 공동 연구팀은 새로운 AI 추론 기술 하이브리드 리즈닝 에이전트(Hybrid Reasoning Agents)를 발표했다.기존 LLM 기반 AI 에이전트는 문제를 해결하는 과정에서 중간 추론과 19일(현지시간) 일본 매체 기가진에 따르면 스탠퍼드대와 투게더 AI, 일리노이대 어배너·섐페인, 메타 공동 연구팀은 새로운 AI 추론 기술 하이브리드 리즈닝 에이전트(Hybrid Reasoning Agents)를 발표했다.

기존 LLM 기반 AI 에이전트는 문제를 해결하는 과정에서 중간 추론과 도구 호출, 최종 답변을 모두 텍스트 토큰으로 생성한다.

복잡한 문제일수록 토큰 생성량이 늘어나 처리 속도가 느려지고 비용도 높아지는 구조다. 연구팀은 이러한 한계를 해결하기 위해 AI가 중간 추론을 숫자 벡터로 구성된 잠재 공간에서 수행하도록 했다. AI는 내부적으로 문제를 해결할 때 잠재 모드를 사용하고, 외부 도구를 호출하거나 최종 답변을 작성할 때는 텍스트 모드로 전환한다. 두 모드를 연결하는 하이브리드링크(HybridLink) 기술을 적용해 추론 과정의 연속성도 유지한다. 연구팀은 큐웬3 기반 40억·80억·140억 파라미터 모델을 활용해 수학과 과학, 검색 등 11개 벤치마크를 평가했다. 그 결과 기존 방식보다 생성 토큰 수는 35.5~54.7% 감소했고, 추론 속도는 1.8~2.6배 빨라졌다. 문제 해결 성능도 비교 대상보다 평균 10.4% 향상된 것으로 나타났다. 특히 40억 파라미터 모델의 추정 연산 비용은 기존 방식의 약 27% 수준으로 줄었다.

다만 연구 결과는 아직 동료심사를 거치지 않은 논문으로, 실제 서비스 환경에서의 성능과 비용 절감 효과는 추가 검증이 필요하다.