|
시장보고서
상품코드
2139014
cHBM에서 3D 적층 SRAM에 이르기까지 AI 추론에 의한 AI 액셀러레이터의 메모리 아키텍처 혁신 추진From cHBM to 3D Stacked SRAM, AI Inference Drives AI Accelerators Toward Memory Architecture Innovation |
||||||
DIGITIMES는 클라우드 AI 가속기 분야의 메모리 개발 주요 방향성으로 메모리 근접 처리, 3D 적층 SRAM, 그리고 고대역폭 플래시를 꼽고 있습니다.
요약
DIGITIMES는 클라우드 AI 가속기 분야의 메모리 개발 3대 주요 방향성으로 메모리 근접 처리(PNM), 3D 적층 SRAM, 그리고 고대역폭 플래시를 꼽고 있습니다. 첫째, 맞춤형 고대역폭 메모리(HBM)(cHBM)는 로직 기반 다이의 역할을 데이터 전송에서 관리 및 연산으로 전환함으로써, HBM 시스템에서 메모리 근접 처리(PNM)를 실질적으로 구현하는 경로가 될 수 있습니다. 둘째, 3D 적층 SRAM은 온칩 SRAM에 가해지는 비용 및 면적 부담을 완화하고, 재사용률이 높으며 레이턴시에 민감한 데이터를 연산 코어에 더 가깝게 배치하는 데 도움이 됩니다. 셋째, 고대역폭 플래시(HBF)는 용량 면에서 우위를 점하고 있지만, 레이턴시 및 전력 효율의 제약을 받고 있으며, 2028년까지는 검증 단계에 머물 가능성이 높습니다. 전반적으로 AI 메모리 분야의 경쟁은 단일 구성 요소의 사양에서 메모리 아키텍처와 패키징의 협업적 최적화로 전환되고 있으며, 메모리 계층이 주요 경쟁의 장이 되고 있습니다.
클라우드 AI 가속기의 개발은 세 단계로 나눌 수 있습니다. 2020-2024년에는 훈련용과 추론용 아키텍처가 혼용되어 사용되었습니다. 2025년과 2026년에는 디코딩 지향 가속기가 점차 형태를 갖추기 시작했고, 업계는 단일 아키텍처에서 훈련용과 디코딩용의 듀얼 아키텍처로 전환했습니다. 2027년 이후, 업계는 메모리 아키텍처 혁신 단계에 접어들 것입니다. 키-값 캐시(KV 캐시) 및 롱 컨텍스트에 대한 요구 사항이 확대됨에 따라 경쟁의 초점은 단순한 연산 능력의 확장에서 메모리 대역폭, 용량 및 데이터 이동 효율의 향상으로 이동하고 있습니다. PNM, 3D 적층 SRAM, HBF가 3대 주요 방향으로 부상하고 있습니다.
이 보고서에서는 PNM, 3D 적층 SRAM 및 HBF에 대해 현재의 개발 진행 상황, 각각의 장단점, 그리고 남아 있는 과제에 대해 다루고 있습니다.
목차
서론
- 그림 1 : 2027년 이후, AI 액셀러레이터는 메모리 아키텍처의 혁신으로 전환합니다.
- 그림 2 : 추론 단계에서 AI 액셀러레이터 하드웨어 보틀넥은 연산으로부터 메모리로 전환합니다.
- 그림 3 : PNM, SRAM, HBF가 AI 액셀러레이터에서 메모리 3의 주요 방향성이 됩니다.
니어 메모리 컴퓨팅
- 그림 4 : 클라우드 AI 액셀러레이터에서 PNM 기술은 PIM보다 급속히 진전할 것으로 예상됩니다.
- 그림 5 : Nvidia와 Google은 HBM의 가치 구조를 재구축하기 위해 우선 cHBM의 도입을 계획하고 있습니다.
- 그림 6 : 경쟁 장벽이 높아짐에 따라 제휴나 기술 통합이 중요해집니다.
3D 적층 SRAM
- 그림 7 : 온칩 SRAM으로부터 3D 적층 SRAM으로의 진전
- 그림 8 : Nvidia와 AMD가 3D 적층 SRAM 시험을 시행하고 있으나, 여전히 복수의 과제에 직면하고 있습니다.
- 그림 9 : 3D 적층 SRAM은 고도로 맞춤화되어 있으며, 파운드리의 역할이 중요해지고 있습니다.
3D 고대역폭 플래시
- 그림 10 : HBF는 HBM 용량 부족을 보충하나, AI 액셀러레이터 내에서의 상용화는 2028년 이전에는 전망할 수 없습니다.
요약
- 그림 11 : AI 추론이 메모리 벽에 직면 : 계층형 메모리 아키텍처가 결정적인 요인이 됩니다.
DIGITIMES identifies three main directions for memory development in cloud AI accelerators: processing near memory, 3D Stacked SRAM, and high-bandwidth flash.
Abstract
DIGITIMES identifies three main directions for memory development in cloud AI accelerators: processing near memory, 3D Stacked SRAM, and high-bandwidth flash. First, custom high-bandwidth memory (HBM) (cHBM) can serve as a practical implementation path for processing near memory (PNM) in HBM systems by shifting the logic base die from data transport to management and compute. Second, 3D Stacked SRAM helps relieve cost and area pressure on on-chip SRAM and brings high-reuse, latency-sensitive data closer to the compute core. Third, although high-bandwidth flash (HBF) offers a capacity advantage, it remains constrained by latency and power efficiency and is likely to remain in validation through 2028. Overall, competition in AI memory is shifting away from single-component specifications toward coordinated optimization of memory architecture and packaging, with the memory hierarchy becoming the key battleground.
Cloud AI accelerator development can be divided into three phases. From 2020 to 2024, training and inference architectures were used interchangeably. In 2025 and 2026, decode-oriented accelerators gradually took shape, and the industry moved from a single architecture to dual architectures for training and decoding. From 2027 onward, the industry enters a phase of memory architecture innovation. As key-value cache (KV cache) and long-context requirements expand, competition is shifting from simple compute scaling to improvements in memory bandwidth, capacity, and data movement efficiency. PNM, 3D Stacked SRAM, and HBF are emerging as the three main directions.
This report covers the current development progress, their pros and cons, as well as the remaining challenges for PNM, 3D Stacked SRAM, and HBF.
Table of Contents
Introduction
- Chart 1: From 2027 onward, AI accelerators move toward memory architecture innovation
- Chart 2: Inference phase AI accelerator hardware bottlenecks shift from compute to memory
- Chart 3: PNM, SRAM, and HBF become three main directions for memories in AI accelerators
Near memory computing
- Chart 4: PNM technology is expected to advance faster than PIM in cloud AI accelerators
- Chart 5: Nvidia and Google plan for cHBM first to restructure HBM value
- Chart 6: High barriers to competition; alliances and technical integration become critical
3D Stacked SRAM
- Chart 7: From on-chip SRAM to 3D stacked SRAM
- Chart 8: Nvidia and AMD test 3D stacked SRAM; still face multiple challenges
- Chart 9: 3D stacked SRAM highly customized, foundry roles elevated
3DHigh-bandwidth flash
- Chart 10: HBF fills HBM's capacity gap, but commercial adoption inside AI accelerators is unlikely before 2028
Summary
- Chart 11: AI inference hits the memory wall; layered memory architecture becomes deciding factor
