GLM-5.3 에이전트, 추론 처리량 3.2배 높였다

본문

지스푸의 GLM-5.3 기반 인프라 에이전트가 GLM-5.3-Flash 추론 시스템 최적화에 참여했다. 전체 운영 트래픽 전환까지 2주가 걸리지 않았고 엔드투엔드 처리량은 초기 대비 3.2배로 높아졌다. GLM-5.3 기반 인프라 에이전트가 GLM-5.3-Flash의 추론 시스템 최적화에 참여해 엔드투엔드 처리량을 초기 대비 3.2배 높였다. 첫 실행부터 전체 운영 트래픽을 맡기까지 걸린 시간은 2주가 되지 않았다. 지스푸는 GLM-5.3 기반 인프라 에이전트가 GLM-5.3-Flash 추론 시스템 개선에 참여했다고 밝혔다. 이번 사례는 AI 에이전트가 코드를 작성하는 데 그치지 않고 실행 결과를 측정하고 다음 수정 방향을 정하는 과정까지 수행했다는 점에서 주목된다. 한 차례 수정으로 처리량이 20% 떨어졌다는 사실은 확인해도 어느 계층에서 문제가 생겼는지, 다음에 무엇을 점검해야 하는지는 별도의 분석이 필요하다는 의미다.

이 가운데 커널 하나를 다시 작성한 뒤 처리 속도는 1.71배 높아졌다.

같은 모델이라도 커널의 실행 방식과 데이터 이동 구조에 따라 추론 속도와 자원 사용량이 달라질 수 있다. KV 전송은 추론 과정에서 생성된 중간 상태 정보를 다른 연산 단계나 장치로 전달하는 작업이다. 지스푸는 앞서 GLM-5.3-Flash의 추론 성능과 비용 정보를 공개했다 . 이번에는 모델 자체의 성능 수치보다 이를 서비스하는 추론 시스템을 에이전트가 최적화했다는 점이 부각됐다.