AI로 커진 메모리 병목…SK하이닉스의 해법 '수직 적층'[현장+]

본문

에이전틱 인공지능(AI) 확산으로 그래픽처리장치(GPU) 옆에 고대역폭메모리(HBM)를 배치하는 현재 구조가 한계에 부딪힌다는 진단이 나왔다. 적층 과정에서 발생하는 발열 문제를 풀기 위해서는 델테크놀로지스 같은 시스템·인프라 기업과 냉각 및 시스템 설계를 함께 준비해야 한다고 강조했다. 주영표 SK하이닉스 부사장은 25일 서울 강남구 코엑스에서 열린 '델테크놀로지스 포럼 2026'에서 HBM을 지금과 같은 방식으로 발전시키는 것만으로는 에이전틱AI가 요구하는 성능을 공급하기 어렵다고 진단했다. AI 에이전트가 사람 대신 복잡한 업무를 처리하고 서로 통신하면서 GPU에 데이터를 공급하는 메모리 대역폭 수요가 빠르게 늘고 있기 때문이다. GPU의 연산 능력을 높이는 것만으로는 부족하며 메모리 대역폭과 데이터 이동에 필요한 전력, 값비싼 GPU와 메모리의 활용률을 함께 개선해야 한다는 설명이다.

답변 속도를 높이려면 같은 시간에 더 많은 데이터를 GPU로 보내야 하기 때문에 메모리 용량뿐 아니라 대역폭 확장 역시 필수적이다. 주 부사장은 "거대언어모델(LLM)은 메모리를 많이 사용한다"며 AI 모델 확산이 고성능 메모리 수요를 끌어올리고 있다고 설명했다. 쇼어라인 문제는 GPU의 연산 성능은 칩 면적에 따라 커지는 반면 메모리 연결 통로는 칩 가장자리 길이에 제한돼 메모리 대역폭이 연산 성능을 따라가지 못하는 현상이다. 챗봇 넘어 에이전트끼리 통신…메모리 부담 커진다주영표 SK하이닉스 부사장은 25일 서울 강남구 코엑스에서 열린 '델테크놀로지스 포럼 2026'에서 HBM을 지금