[반도체 이슈 알아보기] HBM (1) - HBM 개요

HBM(High Bandwidth Memory)

---

 
지난 2022년부터 ChapGPT를 비롯하여 다양한 AI 모델들이 출시되고 있습니다. AI 모델은 대용량 데이터의 연산을 담당하는 CPU/GPU와 같은 처리 장치와 CPU/GPU와 연결되어 빠른 데이터 전송을 담당하는 메모리가 필요합니다. HBM은 기존 메모리에 비해 데이터 입출력 단자 수도 많고, 메모리 사이의 간격도 좁아 데이터 전송에 유리하여 AI 모델 개발에 필수적인 요소 중 하나입니다.
 
- HBM (High Bandwidth Memory) 이란?
 

HBM은 High Bandwidth Memory의 약자로 넓은 대역폭을 갖는 메모리를 의미합니다. HBM은 여러 개의 DRAM을 수직으로 적층한 형태로 메모리 사이의 간격이 짧아지고 단위 면적당 용량이 크게 늘어난 것이 특징입니다.
 
- HBM을 사용하는 이유? (DRAM과 비교 설명)

 
기존 그래픽 처리용 메모리인 GDDR6는 데이터 입출력 단자 (I/O; Input/Output) 수가 Wire bonding 또는 Flip-chip bonding 방식을 이용하여 최대 32개의 전기적 통로를 갖고 있습니다. 하지만, HBM3은 수직으로 적층된 메모리를 미세한 구멍을 뚫어 전극을 한 번에 연결하는 TSV(Through Silicon Via)을 이용하여 최대 1024개의 전기적 통로를 갖고 있습니다.
 

GDDR은 GPU와 12개의 메모리 유닛이 연결되어 총 384개의 I/O 단자 수, 24GB 용량, 768GB/s 대역폭을 갖습니다. 그에 반해 HBM은 GPU 주변에 4개의 Stacked memory가 연결되어 총 4096개의 I/O 단자수, 96GB 용량, 3276.8GB/s의 대역폭을 갖고 있습니다.

	GDDR5	HBM
I/O 단자 수	32 × 12 = 384개	1024 × 4 = 4096개
GDDR5 총 용량	2GB × 12 = 24GB	24GB × 4 = 96GB
핀 당 정보 전송 속도	16Gb/s (2GB)	6.4Gb/s
대역폭	2GB × 32(I/O) × 12 = 768GB/s	819.2 × 4 = 3276.8 GB/s

 
→ HBM이 GDDR5 보다 약 4배의 용량과 대역폭을 보여줍니다.
 

- HBM 구조
HBM은 CoWoS(Chip on Wafer on Substrate) 패키지 방식을 채택하고 있습니다. CoWoS를 자세히 풀어보면 패키지 기판(Substrate) 위에 Wafer(Interposer) 위에 Chip(메모리)가 차례로 적층되어 있는 구조입니다. 여기서 패키지 기판은 FC-BGA(Flip-Chip Ball-Grid Array)를, Wafer는 Interposer를, Chip은 메모리(Logic die, DRAM die)를 의미합니다.
 

 
1) Core DRAM die
Core DRAM die는 TSV 기술을 이용하여 여러 단의 DRAM이 미세한 구멍을 통해 연결되어 있는 부분을 의미합니다. TSV 기술을 이용한 전극으로 DRAM die와 DRAM die가 통신을 하며, 기존 Bonding(Wire bonding, Flip-Chip bonding) 방식보다 데이터 입출력 단자 수가 늘어나 데이터 전송 및 처리에 유리합니다.
 
2) Base logic die
Base logic die는 Core DRAM die 사이의 통신을 제어하는 회로가 있어 HBM의 동작을 제어하는 핵심 구성 요소 중 하나입니다.
 
3) Substrate
Substrate는 Package substrate를 의미하며 HBM은 FC-BGA 기판을 이용합니다. FC-BGA는 PCB(Printed Circuit Board)와 메모리 사이의 전기적 신호를 전달하는 중간 다리 역할을 수행하는 기판입니다.
 
4) Intereposer
본래 Interposer는 한 소캣 또는 다른 소캣으로의 연결 사이를 라우팅하는 전기적 인터페이스를 지칭합니다. 하지만 최근 반도체 칩을 외부와 연결하는 전기적 배선 사이의 간섭을 막기 위해 의도적으로 더 넓은 피치(Pitch)로 연결하거나 배선을 다른 피치의 배선으로 다시 라우팅하여 기판과 연결하는 목적으로 사용합니다. HBM에서 사용하는 Interposer는 피치 차이가 큰 메모리 칩과 Substrate 사이를 전기적으로 연결하기 위해 삽입하는 전기적 배선층입니다.
 
출처)
AMD