투게더AI, GPU 추론 코드 최적화 도구 공개
제목 연관성·주요 수치·시장 영향·향후 전망을 기준으로 핵심 문장을 선별한 요약 브리핑입니다.
핵심 포인트
- AI 에이전트가 추론용 GPU 코드를 반복 조정하는 투게더 컴파일러가 공개됐다.
- 회사는 신규 모델 최적화에 걸리는 시간을 24시간 이내로 줄일 수 있다고 밝혔으며, 성능 수치는 자체 시험 결과다.
- 투게더AI(Together AI)가 4일 AI 에이전트로 추론용 GPU 코드를 반복 최적화하는 도구 ‘투게더 컴파일러(Together Compiler)’를 공개했다.
본문
AI 에이전트가 추론용 GPU 코드를 반복 조정하는 투게더 컴파일러가 공개됐다. 회사는 신규 모델 최적화에 걸리는 시간을 24시간 이내로 줄일 수 있다고 밝혔으며, 성능 수치는 자체 시험 결과다. 투게더AI(Together AI)가 4일 AI 에이전트로 추론용 GPU 코드를 반복 최적화하는 도구 ‘투게더 컴파일러(Together Compiler)’를 공개했다. 투게더AI는 발표문에서 새 도구가 모델을 구동하는 GPU 코드를 고친다고 설명했다. 회사는 모델 구조와 요청 트래픽, GPU가 바뀔 때 필요한 추론 코드 재최적화 작업을 자동화한다고 밝혔다. 투게더AI는 여러 에이전트가 코드 변경을 반복 시험해 기존 에이전트형 추론 최적화 시스템보다 252배 많은 실험을 수행한다고 주장했다. 단일 이용자 기준으로는 MiniMax M3.1 Flash가 엔비디아(NVIDIA, $NVDA) B200에서 초당 1111토큰을 기록해 기준선의 1.5배를 보였다.
DeepSeek v4.1 Flash는 엔비디아 GB300에서 초당 1205토큰으로 기준선의 1.2배를 기록했다고 회사는 밝혔다. 다만 투게더AI 발표문에는 이번 비교에 해당하는 실행 기록과 전체 시험 설정이 제시되지 않았다. 투게더AI는 고객사 Phonic의 음성 모델 Phonic-1을 최적화한 뒤 첫 음성 출력까지 걸리는 시간의 중앙값이 거의 50% 줄었다는 사례도 소개했다. 회사는 새 도구가 추론 서비스에서 GPU 코드를 최적화한다고 설명했다. 투게더AI는 앞서 에퀴닉스(Equinix, $EQIX)·엔비디아와 기업용 분산 AI 추론 서비스를 공개했다 .