[반도체 이슈 알아보기] HBM (4) - CXL, PIM 비교

HBM

---

 
지난해 AI의 발전이 가속화되면서 데이터 처리를 위한 차세대 솔루션으로 HBM이 주목받고 있습니다. HBM은 DRAM die를 여러 층으로 적층하고 TSV 기술을 통해 연결하는 차세대 메모리 솔루션으로 빅데이터를 처리하기 위해 필수적입니다. 하지만 HBM의 어려운 생산 난이도는 높은 단가로 직결되는 한계가 있습니다. 이에 따라 HBM을 대체할 수 있는 CXL(Compute eXpress Link), PIM(Process In Memory) 등의 다른 솔루션들도 주목받고 있습니다. 이번 포스팅에서는 CXL과 PIM에 대해 알아보도록 하겠습니다.
 
♭HBM (Hign Bandwidth Memory)

HBM은 대용량 데이터를 처리하기 위해 DRAM을 여러 단으로 적층하고 TSV(Through Silicon Via) 기술을 통해 연결하는 차세대 메모리입니다. TSV 기술을 통해 기존 DRAM보다 입출력 단자 수가 월등히 늘어나(32배) 최고 전송 속도인 대역폭은 약 4배가량 빨라졌습니다.
 
♭CXL (Compute eXpress Link)

CXL은 고성능 연산을 위해 컴퓨터 시스템 내부에서 CPU, GPU, 메모리 간의 데이터를 빠르게 전송하기 위한 연결 기술입니다. 서로 다른 디바이스를 하나의 시스템으로 연결하여 메모리를 공유할 수 있는(Expandable) 특징을 갖고 있습니다. CXL을 활용하면 컴퓨팅 작업 시 메모리가 부족한 장치에 다른 메모리를 할당하여 빠른 속도로 처리가 가능합니다.
 
♭ PIM (Process In Memory)

PIM은 메모리 내부에서 연산(Process) 처리를 수행할 수 있는 차세대 메모리입니다. 기존의 폰 노이만 구조는 CPU와 메모리가 독립적으로 존재하여 데이터 전송에 병목 현상이 발생하여, CPU와 메모리 사이의 거리를 좁히는 Processing near memory가 개발되어 왔습니다. PIM는 연산을 처리할 수 있는 CPU와 데이터를 저장할 수 있는 메모리가 동일한 위치에 존재하는 것이 특징입니다.
 
♭ HBM의 대안은 CXL or PIM?
HBM, CXL, PIM은 대용량 데이터를 빠르게 처리하는 목적으로 개발된 것은 동일합니다. 그러나 대용량 데이터를 빠르게 처리하기 위한 방법은 HBM, CXL, PIM은 서로 상이합니다.

HBM은 DRAM을 여러 층 적층하여 TSV으로 전극을 연결하여 입출력 단자 수를 늘려 대역폭(최대 전송 속도)을 늘린 솔루션입니다.
-> 도로의 차선을 늘려 차량의 속도를 높이는 방법

CXL은 CPU/GPU, 메모리 사이를 효율적으로 연결하여 데이터 처리 속도를 향상시킨 솔루션입니다.
-> 고가도로를 설치하여(도로와 도로를 연결하여) 차량의 속도를 높이는 방법

PIM은 메모리와 CPU를 동일한 위치에 두어 단순한 연산 처리로 불필요한 데이터 전송을 줄여 처리속도는 늘리고 소비 전력은 줄인 솔루션입니다.
-> 불필요한 차량(고속도로에 리어카)을 도로로 진입하지 못하게 하여 차량의 속도를 높이는 방법

따라서 HBM의 역할을 CXL이나 PIM을 완전히 대체할 수 없습니다. 

 

하지만 HBM의 가격이 높기 때문에 CXL(우측 그림 - NVLink)이나 PIM(좌측 그림 - HBM-PIM) 솔루션을 이용하여 HBM의 사용량을 줄일 수 있어 가격 경쟁력을 높일 수 있습니다.

 

<출처>

-AMD

-SK하이닉스
-Yole, 이베스트투자증권 리서치센터

-NVDIA