커지는 AI 청구서 잡는다…LGU+, '토큰 최적화' 승부수 [현장+]

본문

인공지능(AI) 에이전트가 기업 업무와 일상에 빠르게 확산하면서 AI 서비스의 핵심 경쟁력이 모델 성능에서 운영 비용 효율화로 이동하고 있다. LG유플러스 역시 이러한 시장 변화에 대응해 토큰 최적화 기술 확보에 속도를 내고 있다. 단순히 저렴한 모델을 사용하는 데 그치지 않고 AI 에이전트의 업무 수행 경로부터 모델 선택, 하드웨어 자원 배분까지 전 과정을 최적화한다는 전략이다. LG유플러스는 최근 서울 서대문구 위드스페이스에서 국내 미디어를 대상으로 'AI 토큰 최적화 스터디'를 열고 실제 상용 환경에서 입증한 AI 비용 절감 핵심 기술과 연구 성과, 향후 사업 추진 방향 등을 공개했다. 특히 기업 업무와 일상으로 AI 에이전트가 빠르게 퍼지면서 토큰 소비량도 급증하고 있다.

이혜진 기술 전략 담당자는 "AI를 켜는 순간 토큰이 흐르며 토큰은 일상 속 AI 서비스의 생명선이자 인프라"라며 "최근 수개월 사이 글로벌 토큰 단가는 최대 80% 가량 하락했으나 사용량이 늘어날수록 오히려 전체 토큰 지출 비용은 급증하는 '제본스의 역설' 현상이 뚜렷하게 나타나고 있다"고 말했다. LG유플러스는 토큰 최적화를 위해 AI 에이전트의 업무 수행 방식부터 모델과 하드웨어에 이르는 기술 체계를 구축하고 있다. 권기덕 AX엔지니어링 랩장은 "무작위하게 탐색이 많이 늘어나고 평가가 많이 늘어나면 거대언어모델(LLM)을 많이 쓰게 되고 그렇게 되면 토큰 버닝이 일어나는 현상이 발생한다"며 "내부 연구를 통해 일반적인 질의응답에서 약 40%, 코딩 영역에서는 85~90% 수준의 토큰 효율화가 가능하다는 결과를 확인했다"고 말했다.

구체적으로는 AI 모델이 동작하는 과정을 '프리필(입력 데이터 분석)'과 '디코딩(답변 생성)' 영역으로 분리해 연산 속도가 뛰어난 엔비디아 GPU에 프리필을 맡기고, 메모리 용량이 큰 AMD GPU에 디코딩 작업을 이관해 전체적인 토큰 생산량을 극대화한다. 이러한 연구 성과를 바탕으로 내년부터 토큰 최적화 관련 사업도 추진한다. 이 CTO는 "단순히 토큰 단가를 얼마나 낮췄는지가 아니라 실제 고객이 수행하려는 여러 업무를 얼마나 최적의 비용으로 처리할 수 있는지가 중요하다"며 "고객의 AI 성능을 높이고 AI 청구서를 낮추는 사업을 추진하겠다"고 강조했다. 향후 카카오와 선보이는 '모두의 AI' 서비스에서도 프런트엔드는 카카오가 맡되 모델 서빙 영역은 LG유플러스가 전담해 그간 확보한 토큰 최적화 노하우를 접목할 계획이다.