GPU만 빠르면 뒤처진다… 불붙은 ‘AI 시스템 대전’

기사 소리로 듣기

다시듣기

글씨 크기 조절
글자크기 설정

닫기

글자크기 설정 시 다른 기사의 본문도 동일하게 적용 됩니다.
- 가
- 가
- 가
- 가
- 가
공유하기
공유

닫기
https://m.seoul.co.kr/news/economy/industry/2026/09/01/20260901029004
URL 복사
댓글
0

곽소영 기자

수정 2026-09-01 00:55

입력 2026-09-01 00:55

구글에서 서울신문 먼저 보기

SK하닉 “AI, 칩만으로 설명 안 돼”

연산 속도만 빠르면 병목현상 발생
전체 시스템 효율까지도 뒤떨어져

브로드컴 ‘맞춤형 AI 인프라’ 확대
엔비디아 ‘고속 인터커넥트’ 꺼내
전문가 “국내도 SW 상용화 필요”

인공지능(AI) 모델의 규모와 연산량이 급증하면서 AI 인프라 전쟁이 개별 반도체의 성능을 높이는 데서 메모리와 저장장치, 네트워크 등을 하나의 시스템으로 얼마나 잘 연결하느냐를 겨루는 경쟁으로 확장되고 있다. 아무리 연산 성능이 뛰어난 칩을 갖춰도 데이터가 제때 공급되지 않으면 AI 효율이 떨어지기 때문이다.

SK하이닉스는 31일 뉴스룸을 통해 “AI는 더 이상 하나의 모델이나 칩만으로 설명되지 않는다”며 AI 시스템의 실제 성능이 데이터를 얼마나 빠르게 공급하고 이동시키느냐에 달려 있다고 진단했다.

AI 연산에 필요한 데이터는 스토리지(저장장치)에 보관됐다가 시스템 메모리를 거쳐 고대역폭메모리(HBM) 등 AI 가속기와 가까운 메모리로 이동한 뒤 그래픽처리장치(GPU) 등으로 공급된다. GPU 한 개의 연산 속도가 아무리 빨라도 메모리 대역폭이나 스토리지, 서버 간 네트워크 중 한 곳에서라도 병목이 발생하면 전체 시스템의 처리 속도가 떨어진다. 데이터가 끊김 없이 빠르게 흐르기 위해선 메모리, 스토리지, 네트워크, 전력·냉각 등이 유기적으로 연결돼야 한다는 뜻이다.

UC버클리 연구진의 ‘AI와 메모리 월’ 논문에 따르면 지난 20년간 서버의 연산 성능이 2년에 3배씩 높아지는 동안 D램 대역폭은 1.6배, 장치와 장치 사이에서 데이터를 전달하는 인터커넥트 대역폭은 1.4배 증가하는 데 그쳤다. 고속 상승한 칩의 연산 능력에 비해 데이터를 공급하고 옮기는 기술의 발전이 뒤처지면서 ‘데이터 병목’이 AI 성능을 좌우하는 요소로 부상한 것이다.

이에 따라 AI 산업 생태계의 경쟁 방식도 달라지고 있다. 이전까지 반도체, 서버, 네트워크, 클라우드, 스토리지 등의 업체들이 각자 자신의 부품 성능만 높였다면, 최근에는 고객사의 AI 모델과 데이터 종류 등을 고려해 맞춤형 제품을 내놓는 경우가 늘고 있다. 브로드컴은 고객별로 AI 데이터센터 수요에 맞춘 주문형 반도체(ASIC)를 설계하면서 네트워킹과 인터커넥트, 첨단 패키징까지 아우르는 ‘맞춤형 AI 인프라’ 사업을 확대 중이다.

AI 가속기 기업의 사업 영역도 커지고 있다. 엔비디아는 GPU뿐 아니라 고속 인터커넥트인 ‘엔비링크’와 중앙처리장치(CPU)·네트워크·소프트웨어까지 아우르는 ‘AI 데이터센터 시스템’으로 사업 영역을 확장했다. 대표 제품이 72개의 루빈 GPU와 36개의 베라 CPU를 엔비링크로 연결한 ‘베라 루빈 NVL72’다. AMD도 지난 7월 72개 GPU를 하나의 컴퓨팅 자원처럼 연결하고 네트워크와 소프트웨어까지 통합한 제품 ‘헬리오스’를 공개했다.

김용석 가천대 반도체대학 석좌교수는 “AI 성능을 결정하는 데 칩의 역할은 30~40%이고, 소프트웨어의 비중이 60~70%라고 본다”며 “칩을 잘 팔기 위해선 결국 칩 외의 풀스택 소프트웨어까지 함께 갖춰야 하는 것”이라고 설명했다. 이어 “국내 팹리스 기업들도 칩 성능에만 몰두하기보단 소프트웨어 인력을 확보하며 상용화에 나서야 한다”고 제언했다.

곽소영 기자

세줄 요약