AI 연산 병목, 칩에서 패키징·메모리로 이동

본문

AI 연산 인프라의 제약 요인이 칩 성능에서 첨단 패키징과 시스템 연결, 메모리 관리로 옮겨가고 있다는 분석이 나왔다. AI 연산 인프라의 병목이 반도체 성능 경쟁에서 첨단 패키징과 시스템 연결, 메모리 관리로 이동하고 있다는 분석이 나왔다. Bubble)은 22일 Frictionless Podcast 인터뷰에서 이 같은 견해를 밝혔다고 블록비츠(BlockBeats)가 전했다. 미스터 버블은 앞으로 AI 연산의 기본 단위가 단일 칩이나 서버가 아니라 완전한 랙, 나아가 복수의 랙이 될 수 있다고 내다봤다. 이 경우 PCB와 패키징, 칩과 칩을 연결하는 상호 연결 기술이 전체 시스템 성능을 제한하는 요소가 된다. 칩의 연산 성능이 높아져도 부품 사이 데이터 이동이 늦으면 시스템 처리량이 제한될 수 있다는 의미다. AI 추론에서 처리해야 할 문맥 창이 길어질수록 모든 과거 정보를 고가의 고대역폭메모리(HBM)에 저장하기 어렵기 때문이다.

미스터 버블은 사용 빈도가 높은 데이터는 HBM에 두고, 사용 빈도가 낮은 문맥은 더 큰 용량과 낮은 비용의 플래시 메모리로 옮기는 방식을 제시했다. 이 같은 메모리 계층화는 AI 추론 과정에서 데이터의 위치와 이동 경로를 함께 관리해야 한다는 점을 보여준다. AI 시스템 설계에서는 학습과 추론 과정의 구조 변화도 변수로 제시됐다. 미스터 버블은 22일 Frictionless Podcast 인터뷰에서 대형언어모델 기업보다 하드웨어·패키징·메모리·기타 기반시설 역량을 보유한 기업이 AI 산업에서 장기적인 역할을 할 가능성을 언급했다. 이번 분석은 AI 연산 경쟁의 초점이 GPU와 모델 개발사에만 머물지 않고, 여러 부품과 메모리 계층을 하나의 시스템으로 묶는 기술로 확장되고 있음을 보여준다.