DEEP RESEARCH · HBM4 · PIM · 메모리 권력 이동

HBM4와 PIM — 메모리 기업의 야망, '조연'에서 '주연'으로

베이스 다이가 로직이 되고, 메모리 안에 연산이 들어간다 — TSMC와 메모리 3사의 이익 분배 구조가 뒤집히는 마진 플립의 본질.

작성일: 2025-12-26 · 반도체 가치 사슬 재편 · 네이버 블로그 원문

---

0. 결론 먼저

• HBM: 대역폭. HBM4부터 베이스 다이에 로직 파운드리 공정 필수 — 메모리에 '두뇌'가 이식되는 첫 걸음.
• CXL: 용량·풀링. CPU 종속 탈피, '메모리 중심' 서버로 가는 과도기.
• PIM: 연산 내장. 추론에서 GPU 대비 2배 성능 + 에너지 효율 70~85%↑.
• 뉴로모픽: 폰 노이만 탈피 — 뇌 모방. 메모리/로직 구분이 사라지는 미래.
• 이익 구조 전쟁: SK하이닉스-TSMC 동맹 vs. 삼성 IDM 턴키. CoWoS 독점이 TSMC의 마지막 해자.

1. 폰 노이만의 붕괴 — '메모리 장벽'과 에너지 위기

현재 컴퓨터는 CPU/GPU와 DRAM이 물리적으로 분리된 폰 노이만 구조다. AI 모델이 거대해질수록 데이터가 메모리↔프로세서를 오가는 시간이 연산 시간보다 길어지는 '메모리 장벽(Memory Wall)'이 심각해진다.

공식 사실: 최신 연구에 따르면 AI 연산 에너지의 60%~80% 이상이 연산 자체가 아니라 단순히 데이터를 메모리와 프로세서 사이에서 '이동'시키는 데 소모된다.

해석: "데이터를 옮기는 데 에너지를 낭비하지 말고, 메모리 내부에서 직접 연산하자" — 이것이 PIM의 철학이고, 메모리 기업이 단순 저장장치에서 '지능형 연산 장치'로 격상되겠다는 의지의 선언이다.

1.1 SoC의 진화 — 칩렛과 이종 집적

AI 시대 SoC는 단일 칩(Monolithic)로 모든 성능 요구를 감당할 수 없다(수율 급락·비용 폭증·메모리 대역폭 한계). 해법은 칩렛(Chiplet) + 이종 집적(Heterogeneous Integration). 서로 다른 최적 공정에서 만든 칩들을 한 패키지 안에 결합한다. TSMC의 CoWoS(Chip-on-Wafer-on-Substrate)가 핵심 — 실리콘 인터포저로 로직 칩과 HBM을 병렬로 배치해 초고속 데이터 통로를 만든다. 이 과정에서 메모리 제조사가 로직 파운드리에 의존하거나 직접 경쟁하는 새로운 관계가 만들어진다.

2. 미래 기술의 순서 — HBM → CXL → PIM → 뉴로모픽

2.1 HBM — 대역폭 혁명, 그리고 로직 침투

HBM은 D램을 TSV로 수직 적층해 I/O를 폭발적으로 늘린 기술이다. HBM3E까지는 '더 높이·더 빠르게'의 메모리 성능 경쟁이었다. 그러나 HBM4(6세대)부터 패러다임이 바뀐다.

공식 사실: HBM4의 베이스 다이(Base Die)는 더 이상 메모리 공정이 아니라 12나노 또는 5나노급 파운드리 로직 공정으로 만들어진다. 2048비트 광대역 인터페이스 제어와 다양한 기능 통합이 필요하기 때문이다.

2.2 CXL — 용량의 해방

HBM이 속도를 풀었다면, CXL은 용량·효율을 푼다. PCIe 기반으로 외장 하드처럼 메모리를 확장하고, 여러 프로세서가 거대한 메모리 풀(Pool)을 공유한다. 삼성의 CMM-D(CXL Memory Module)는 데이터센터 TCO를 획기적으로 낮추는 솔루션으로 자리잡았다.

2.3 PIM — 연산과 저장의 융합

메모리 내부에 ALU/NPU를 통합해 데이터 이동을 최소화한다. 삼성의 HBM-PIM, SK하이닉스의 GDDR6-AiM이 대표 사례. LLM 추론처럼 '복잡 연산보다 빠른 데이터 접근'이 더 중요한 워크로드에 강력하다.

공식 사실: PIM 적용 시스템은 기존 GPU 대비 에너지 효율을 70~85% 이상 개선하는 것으로 보고된다.

해석: PIM이 상용화되면 메모리 기업은 'Bit 판매(용량)' 모델에서 'Performance 판매(성능)' 모델로 진화하며, GPU의 일부 영역을 잠식하는 '가속기(Accelerator) 공급사'가 된다.

2.4 뉴로모픽 — 폰 노이만의 종결

인간의 뇌 시냅스처럼 메모리와 연산이 소자 레벨에서 통합된 구조(예: 멤리스터). 인텔 Loihi, IBM NorthPole이 초기 연구 단계. 이 단계에 이르면 메모리·시스템 반도체의 물리적 구분은 사라진다.

3. TSMC vs. 메모리 3사 — '베이스 다이' 주도권 전쟁

3.1 HBM4 베이스 다이 — 이익의 원천이 이동한다

HBM3E까지는 메모리 제조사가 자체 메모리 공정으로 베이스 다이를 만들었다. 하지만 HBM4부터는 베이스 다이가 메모리 컨트롤러 + 다양한 기능을 수행하는 '두뇌' — 12/5나노 로직이 필요하다.

공식 사실: SK하이닉스는 HBM4 가격을 HBM3E 대비 50% 이상 인상(약 500~600달러)해 베이스 다이·패키징 비용 상승을 흡수하며 수익성을 유지하려 한다.

해석: 매출 파이는 커지지만, 부가가치의 상당 부분이 TSMC와 공유되는 구조. 삼성이 외부 파운드리 비용을 내부화한다면 압도적 원가 경쟁력이 되지만, 최근 "고객 요구 시 TSMC 베이스 다이도 사용 가능"이라는 유연한 입장 변화는 자존심보다 실리를 택해 HBM 점유율을 회복하려는 전략 수정으로 읽힌다.

3.2 마진 플립(Margin Flip) — 전례 없는 역전

공식 사실: 역사적으로 파운드리(TSMC)는 50%+ 매출총이익률, 메모리는 시황 종속이었으나, 2025년 4분기 전망에 따르면 SK하이닉스·삼성 메모리 사업부 이익률이 63~67%에 달해 TSMC(~60%)를 추월할 것으로 예상된다.

• 원인: HBM은 일반 D램 대비 5~7배 비싸고, AI 붐으로 공급<수요 → 가격 주도권이 메모리로 이동.
• 의미: 메모리 기업이 '상품(Commodity)'에서 '맞춤형 고부가가치(Specialty)'로 질적 전환. 엔비디아는 HBM 확보를 위해 수십조 원 선수금을 메모리 제조사에 지급하며 설비 투자를 지원할 정도.

3.3 TSMC의 방어 무기 — CoWoS 독점

엔비디아 H100 같은 AI 칩은 TSMC의 CoWoS 없이는 완제품이 될 수 없다. TSMC는 이 길목을 독점하며 칩 제조 비용의 상당분을 흡수하고, '파운드리 2.0'(웨이퍼 + 패키징 + 테스트 + 마스크) 개념으로 가치 사슬을 확장한다. CoWoS 생산 능력은 이미 2026년까지 예약이 꽉 차 있다.

4. 미래 — PIM 상용화와 소버린 AI

4.1 메모리 기업의 플랫폼화

PIM이 적용된 가속기(SK하이닉스 GDDR6-AiM, 삼성 HBM-PIM)는 LLM 추론에서 GPU 대비 2배 이상의 성능 + 에너지 효율 70%+ 개선을 보여준다. 메모리 기업이 엔비디아에 의존하지 않고 데이터센터·온디바이스 AI 시장에 독자 가속기 솔루션을 직접 판매하는 길이 열린다 — '부품사 → 플랫폼 솔루션 기업'으로의 진화. 삼성·SK하이닉스가 OpenAI 등과 협력해 PIM 기반 전용 AI 칩 개발을 논의 중이다.

4.2 소버린 AI와 비용 효율

각국의 '소버린 AI' 트렌드 + 엔비디아 만성 수급난·고가 환경에서, 저렴한 LPDDR에 PIM 연산 기능을 추가한 비용 효율적 인프라가 부상한다. 이는 HBM 외에 또 다른 거대 수익원이 될 잠재력 + TSMC 중심 고비용 생태계를 벗어날 발판이다.

5. 결론 — 상호 의존 속의 치열한 주도권 다툼