샌디스크 CTO 알퍼 일크바하르(Alper Ilkbahar)는 AI 데이터센터와 엣지 컴퓨팅을 위한 새로운 메모리인 고대역폭 플래시 메모리(HBF)에 대해 소개하며 최적화된 메모리가 AI 컴퓨팅 성장의 장벽을 허물 것이라고 밝혔다.

알퍼 일크바하르(Alper Ilkbahar), 샌디스크 CTO

인공지능(AI)은 컴퓨팅 환경 전반에 걸쳐 끊임없이 확산되고 있다. 오늘날 데이터센터의 약 7분의 1만이 AI 워크로드를 처리할 수 있는 환경을 갖추고 있지만, 2030년까지 그 비중은 약 70%에 이를 것으로 예상된다. 

AI는 하이퍼스케일 데이터센터에서 엔터프라이즈 데이터센터로, 그리고 네트워크 엣지로 확장되고 있으며, 엣지 AI 애플리케이션은 이번 10년이 끝나기 전에 약 665억 달러에 달하는 매출을 창출할 것으로 전망된다. 새로운 컴퓨팅 시대의 연료는 바로 데이터로, 요구 수준이 높고 빠르게 확장되는 AI 컴퓨팅 인프라에 고속으로 공급되어야 하는 방대한 규모를 갖는다. 

이처럼 방대한 데이터 저장소는 기존 스토리지 구조에 부담을 주고 있으며, 근본적인 구조적 한계를 더욱 분명하게 드러내고 있다. 데이터센터 메모리(DRAM 및 HBM으로 알려진 특수 고대역폭 메모리)는 집적도, 저장 용량 및 확장성 측면에서 대규모 AI 모델의 증가하는 요구를 따라가기 어려워지고 있다. 동시에 하이퍼스케일 컴퓨팅 제조업체들은 DRAM 및 HBM의 생산 비용 증가, 설계 복잡성, 전력 소비 증가 문제에 직면하고 있다. 특히 엔터프라이즈 데이터센터 및 엣지 AI 애플리케이션 환경에서는 물리적 공간이 상대적으로 제한적이기 때문에 이러한 메모리 비용 및 전력 증가를 감당하기 더욱 어렵다. 

또 다른 문제는 현재 지배적인 AI 워크로드로 부상하며 AI 학습(training)과는 다른 데이터 관리 요구사항을 가지는 AI 추론(inference)으로 인해 발생한다. 추론은 점점 더 커지는 AI 모델을 저장해야 하지만, 기존 HBM 및 DRAM 기반 메모리는 이러한 새로운 요구를 충족하기 위한 용량과 비용 효율성 측면에서 한계를 보이고 있다. 이처럼 다른 메모리 특성을 고려할 때, AI 추론에 최적화된 새로운 메모리 기술의 필요성이 대두된다. 

DRAM과 HBM이 AI 추론 워크로드를 제대로 지원하지 못하는 이유

DRAM과 HBM이 장기적인 AI 활용에 최적화되지 않는 이유를 이해하기 위해, 다음과 같은 한계를 살펴볼 필요가 있다³. 현재는 작은 문제처럼 보일 수 있지만, 해결되지 않을 경우 시간이 지남에 따라 차세대 AI 중심 스토리지의 기반을 무너뜨릴 수 있다. 

Ÿ   집적도 한계: DRAM의 용량 확장은 정체된 반면, AI 추론을 위한 대용량 메모리 수요는 지속적으로 증가하고 있다.

Ÿ   AI 추론과의 부적합성: DRAM의 장점인 낮은 지연 시간과 랜덤 엑세스 특성은, 데이터 프리패칭과 같은 기법으로 인해 데이터 접근이 비교적 예측 가능하고 지연 허용도가 높은 AI 추론과는 관련성이 없다.

AI 추론 최적화를 위한 메모리 아키텍처의 특성

이러한 구조적 균열은 이번 10년이 지나기 전까지 하이퍼스케일 사업자의 AI 인프라 지출이 6조 7천억 달러에 이를 수 있는 가운데, 데이터센터에 대한 지배력을 유지하려는 1,200억 달러 규모의 DRAM 산업 전반에 걸쳐 존재한다. 

이제는 기존 방식에서 벗어나, 요구에 맞춰 완전히 새로운 메모리를 설계해야 할 시점이 아닐까? AI에 최적화된 스토리지 클래스 메모리는 다음과 같은 특성을 갖는다.

Ÿ   추론 워크로드를 위한 대용량 및 확장 가능한 메모리

Ÿ   높은 메모리 집적도(GB/mm²)

Ÿ   AI 추론 요구사항을 충족하는 높은 대역폭

Ÿ   낮은 시스템 전력 소비

Ÿ   비용 효율적인 구조($/TB 기준) 

고대역폭 플래시 메모리, AI 데이터센터를 겨냥하다

고대역폭 플래시 메모리(HBF™)는 차세대 AI 컴퓨팅을 위해 특별히 설계된 혁신적인 새로운 메모리 아키텍처다. HBF는 고성능 컴퓨팅 및 데이터 집약적 애플리케이션이 요구하는 용량, 전력 효율, 처리량, 확장성을 충족한다. 

HBM 대비 HBF는 AI 추론 트렌드에 보다 적합하면서도 유사한 수준의 대역폭을 유지하면서 더 높은 용량과 메모리 집적도를 제공한다. 또한 비휘발성 저장 매체로서 HBF는 전원이 꺼져도 데이터를 유지하며, 온도 측면에서 안정적이어서 높은 동작 온도를 지원한다.

이러한 장점을 구현하기 위해 HBF는 Sandisk의 BiCS NAND 설계 및 제조 기술과 다이 아키텍처를 활용해, 고대역폭 및 추론 메모리 특성에 맞게 최적화함으로써 NAND 플래시를 효과적으로 재설계한다. 특히 BiCS CBA(CMOS Bonded Array) 웨이퍼 기술의 활용은 에너지 효율성과 대역폭을 더욱 향상시킨다. 

HBF, AI 애플리케이션을 위한 NAND 플래시의 재정의

기존 NAND 플래시 대비 HBF는 병렬 처리, 고도화된 로직 미세화, 맞춤형 적층 기술을 통해 지연 시간을 줄이고 읽기 대역폭을 크게 향상시켜, 대형 언어 모델이 DRAM에 근접한 속도로 데이터를 처리할 수 있도록 한다.

또한 HBF는 길고 복잡한 사용자 프롬프트와 고객 및 도메인 특화 데이터를 효율적으로 처리하기 위해 대규모 KV 캐시를 지원하며, 이를 통해 AI 추론 정확도 향상에 기여한다. 

엔터프라이즈와 네트워크 엣지로 메모리 중심 AI 확장

HBM은 밀도, 비용, 전력 측면의 제약으로 인해 엣지 및 모바일 환경에서 일반적으로 사용하기 어렵기 때문에, 보다 복잡한 AI 추론 문제를 처리하기 위한 대용량 메모리 수요는 HBF를 통해 충족된다. 이는 실시간으로 의사결정을 수행할 수 있는 스마트폰과 같은 엣지 디바이스가 다양한 고도화된 작업을 처리할 수 있는 가능성을 열어준다. HBF는 비휘발성 메모리 특성을 통해 이전 질의의 컨텍스트를 자연스럽게 재활용하는 것도 가능하다. 

HBF의 장점은 엔터프라이즈 컴퓨팅 환경까지 확장된다. 엔터프라이즈 환경은 하이퍼스케일 데이터센터에 비해 운영 규모가 작아, HBM 기반의 대규모 GPU 클러스터를 활용하기에는 비용 부담이 크다. 이로 인해 HBF 기반 가속기를 도입하면, 중소 규모 엔터프라이즈도 도메인 특화 목적의 대규모 사전 학습 모델을 미세 조정할 수 있다. 

최적화된 메모리가 AI 컴퓨팅 성장의 장벽을 허물다

우리 주변 곳곳에서 데이터센터와 엣지 AI 디바이스는 자율적으로 작동하며, 오늘 저녁 식사 레시피부터 획기적인 과학적 발견에 이르기까지 다양한 작업을 지원하고 있다. 웹사이트 호스팅과 엔터프라이즈 데이터 관리와 같은 일상적인 작업은 머신러닝, 딥러닝 및 데이터 분석을 활용해 실행 가능한 인사이트를 생성하는 지능형 워크로드로 점차 대체되고 있다. 

이제는 예측을 수행하고 결과를 생성하는 대규모 추론 모델을 관리하기 위해 데이터센터 및 엣지 메모리의 구조를 재고해야 할 시점이다. HBF는 HBM 대비 용량 면에서 뚜렷한 우위를 가지면서도, AI 추론에 필요한 높은 처리량을 동시에 충족한다⁶. 확장 가능한 차세대 시스템 메모리로서 HBF는 성능 병목을 줄이고, 최신 데이터센터 및 엣지 네트워크 환경에서 AI 애플리케이션의 인사이트 도출 속도를 가속화하는 데 기여한다.