LG유플러스, 옵트에이아이와 AI 최적화…AI 토큰 생산비 낮춘다

본문

옵트에이아이와 토큰 최적화 공동 연구 같은 GPU서 처리량 최대 4배 AI 연산 비용·시간 절감 목표로 온디바이스서 서버로 연구 확대 LG유플러스가 인공지능(AI) 모델 최적화 기업 옵트에이아이와 손잡고 같은 그래픽처리장치(GPU)로 처리할 수 있는 AI 작업량을 늘리는 기술 개발에 나선다. 2일 LG유플러스는 옵트에이아이와 AI 모델의 ‘토큰 최적화’ 기술을 공동 연구한다고 밝혔다. 토큰 최적화는 모델의 크기를 줄이는 경량화를 넘어 AI 요청을 GPU에 배정하는 방식과 GPU 자원 활용 방법 등 AI가 답변을 만들어내는 전 과정을 효율화하는 기술이다. 정성권 LG유플러스 AX서비스개발그룹장(전무)은 “토큰 최적화는 모델 경량화를 포함해 서빙 최적화와 아키텍처 최적화, 실행 최적화까지 아우른다”고 설명했다. 향후 대규모 AI 서비스를 운영할 때 같은 GPU 자원으로 더 많은 이용자의 요청을 처리할 수 있도록 기술을 고도화할 계획이다.

LG유플러스는 확보한 최적화 기술을 익시오와 모두의 AI 등 자사 서비스와 대규모 AI 인프라에 단계적으로 적용할 계획이다. 이상엽 LG유플러스 최고기술책임자(CTO)는 “AI 경쟁력은 단순히 성능을 높이는 것을 넘어 같은 자원으로 얼마나 많은 토큰을 효율적으로 처리할 수 있느냐에 달려 있다”며 “토큰 최적화 기술 연구를 확대하고 실제 서비스에 적용할 수 있는 성과를 만들어 나가겠다”고 말했다. LG유플러스가 옵트에이아이와 공동 연구를 통해 서버 GPU의 토큰 최적화 처리량을 기존 대비 최대 4배 높였습니다. 업계에서는 이번 기술 고도화가 향후 대규모 AI 인프라 운영의 비용 효율성 을 높일 계기가 될 것으로 전망합니다. LG유플러스는 인공지능(AI) 모델 최적화 기업 옵트에이아이와 협력하여 GPU 작업량을 늘리는 토큰 최적화 기술 개발에 착수한다고 2일 발표했다.

장기적으로는 AI 서비스 확대에 따라 증가하는 연산 수요를 충족하기 위해 스마트폰에서 클라우드까지 AI 환경의 전반적인 최적화 방안을 모색할 계획이다.

💻 LG유플러스와 옵트에이아이의 협력처럼 서버 환경에서 토큰 처리량을 최대 4배까지 높이는 연구 성과들이 나오면서, 기업들은 AI 운영 비용 부담을 덜어내고 효율적인 서비스 인프라를 다져갈 수 있게 되었어요.