초당 600만건 처리 구글 추론 엔진 공개…서버서 파이썬 제거
제목 연관성·주요 수치·시장 영향·향후 전망을 기준으로 핵심 문장을 선별한 요약 브리핑입니다.
핵심 포인트
- 모델 개발은 파이썬으로 하고 이용자 요청 처리는 C++ 런타임에 맡기는 구조다.
- 구글은 내부 서비스에서 초당 600만건 넘는 요청을 처리한다고 밝혔다.
- 구글 (Google)이 AI 모델 추론을 파이썬 실행 환경 없이 처리하는 XLA Serving Engine(XSE)을 오픈소스로 공개했다.
본문
모델 개발은 파이썬으로 하고 이용자 요청 처리는 C++ 런타임에 맡기는 구조다. 구글은 내부 서비스에서 초당 600만건 넘는 요청을 처리한다고 밝혔다. 구글 (Google)이 AI 모델 추론을 파이썬 실행 환경 없이 처리하는 XLA Serving Engine(XSE)을 오픈소스로 공개했다. 구글은 11월 5일 공식 블로그에서 XSE를 아파치 2.0 라이선스로 공개했다고 밝혔다. 구글이 제시한 적용 사례에는 유튜브 쇼츠(YouTube Shorts), 구글 광고(Google Ads), 검색 서비스와 제미나이 옴니(Gemini Omni)의 일부가 포함됐다. 구글은 XSE가 내부에서 초당 600만건이 넘는 요청을 처리한다고 밝혔다. XSE 처리량은 구글이 구축한 최적화 파이썬 서버보다 2~5배 높았고, 기본 구성의 파이썬 서버와 비교하면 8~36배였다.
구글은 예측 한 건에 쓰는 CPU 시간이 파이썬 구현보다 30~70% 적고, 메모리 사용량은 약 4분의 1이라고 밝혔다.
구글은 요청별 지연 시간을 낮추는 데 초점을 둔 경량 추론 엔진으로 설명했다. OpenXLA 공개 저장소는 한 번 내보낸 모델 묶음을 CPU, 엔비디아($NVDA) GPU, 구글 클라우드 TPU에서 실행할 수 있다고 안내한다. XSE는 독립형 추론 엔진으로 배포하거나 더 복잡한 서빙 시스템에 연결해 사용할 수 있다. 서비스 요청을 처리하는 실행 경로에서 파이썬 인터프리터를 제외하도록 설계됐다.