메가와트에서 토큰까지, 엔비디아 AI 팩토리 생산성 극대화

엔비디아(www.nvidia.co.kr)가 엔비디아 DSX MaxLPS와 엔비디아 DSX 플렉스(NVIDIA DSX Flex)를 통해 AI 팩토리의 전력 효율과 전력망 유연성을 높이고, 동일한 전력 예산으로 더 많은 토큰을 처리할 수 있도록 지원한다고 밝혔다. 

지난 8월 실리콘밸리에서 냉방 수요가 급증하자, 실리콘밸리 파워(Silicon Valley Power)는 AI 팩토리에 전력 소비량을 조정하도록 신호를 보냈다. 당시 에메랄드 AI(Emerald AI)의 바룬 시바람(Varun Sivaram)을 비롯한 샌프란시스코 사무실의 에메랄드 AI 팀, 데이터센터 엔지니어, 전력회사 관계자 등 약 40명이 줌(Zoom)을 통해 상황을 지켜봤으며, 별도의 수동 조작은 이뤄지지 않았다.

엔비디아의 파트너사인 에메랄드 AI의 그리드 오케스트레이션(grid-orchestration) 플랫폼인 ‘컨덕터(Conductor)’는 엔비디아 DSX 플렉스가 구현하고자 하는 유연성의 초기 사례로, 전력망 상태에 관한 신호를 수신해 데이터센터의 유연한 컴퓨팅 워크로드를 조정한다. 우선순위가 높은 서비스는 계속 운영되는 반면, 지연이 가능한 작업은 처리 속도를 늦추거나 일정을 변경한다.

목표는 전력망에 제약이 있을 때 핵심 AI 워크로드를 중단하지 않으면서 전력 수요를 줄이는 것이며, 이는 실리콘밸리 파워가 필요로 했던 기능이었다. 전력 사용량이 실제로 줄어드는 것을 확인했을 때, 모두가 환호했다. 에메랄드 AI 창업자 겸 CEO인 바룬 시바람은 “모두가 숨을 죽인 채 화면을 지켜봤다. 수천 개의 엔비디아 GPU에 이 기술을 적용한 것이 처음이었기 때문”이라고 말했다. 에메랄드 AI의 제품 책임자인 만시 샤(Mansi Shah)는 “마치 스페이스X(Space X)의 로켓 발사를 지켜보는 듯한 기분이었다”고 덧붙였다.

이후 실리콘밸리 파워는 해당 AI 팩토리에 200건 이상의 수요 조정 신호를 보냈으며, 그때마다 모든 신호가 성공적으로 처리됐다.

샌프란시스코에 위치한 에메랄드 AI 팀은 실리콘밸리 파워의 전력 수요 신호가 AI 팩토리에 전달되는 것을 지켜보고 있다. 전력은 4메가와트에서 3메가와트로 자동으로 감소하지만, 우선순위가 높은 작업은 모두 계속 실행된다. 

이는 전력망 유연성이 실제 운영 환경에 적용된 사례다. 또한 산타클라라의 단일 시설을 넘어, 새로운 송전망 구축에 10년을 기다리지 않고도 미국 AI 팩토리에 필요한 전력을 확보할 수 있는 가능성을 보여준다. 

지난 화요일 AI 인프라 서밋(AI Infra Summit)에서 엔비디아 하이퍼스케일 및 고성능 컴퓨팅 부문 부사장 이안 벅(Ian Buck)은 인프라 기조연설을 통해 AI 팩토리 효율성을 핵심 주제로 제시했다.

같은 날 공개된 클라우드 서비스 제공업체 람다(Lambda)의 실제 배포 환경에서 진행된 첫 검증 결과는 이러한 효과를 수치로 보여준다. 전력을 지능적으로 관리할 경우, 동일한 전력 예산으로 토큰 처리량을 24% 높일 수 있는 것으로 나타났다. 

람다 클라우드 서비스 부문 사장 데이브 워드(Dave Ward)는 “이번 개념 검증(PoC)을 통해 고정된 전력 예산의 한계를 넘어설 수 있음을 확인했다. 엔비디아 DSX MaxLPS는 동일한 설치 면적에서 컴퓨팅 밀도를 획기적으로 높임으로써, 활용되지 못했던 전력 용량을 실제 사용 가능한 자원으로 전환할 수 있는 길을 열어준다”고 말했다. 

지난 8월, 실리콘밸리 파워가 전력 수요 조정 신호를 보내자 컨덕터는 사전에 설정된 워크로드 우선순위에 따라 작업을 수행했다. 우선순위가 가장 낮은 작업은 중단되고 우선순위가 높은 추론 워크로드는 계속 실행됐으며, 전체 전력 소비량은 4메가와트에서 3메가와트로 감소했다. 이 과정은 모두 자동화돼 별도의 운영자가 필요하지 않았다. 

AI 팩토리 경제에서 전력은 제약 요소이며, 기가와트당 처리할 수 있는 작업량이 핵심 지표가 된다. 데이터센터 운영자는 전력 효율을 면밀하게 관리하며, 투입되는 모든 전력이 실제 컴퓨팅 성능으로 이어지도록 최적화하고 있다. 업계는 시설 설계부터 랙 단위 전력 변환에 이르기까지 스택 전반에서 효율성을 크게 향상시켜 왔다. 

엔비디아 DSX는 이러한 원칙을 AI 워크로드 자체로 확장한다. 지능형 랙 프로비저닝(provisioning)을 통해 워크로드가 실제로 필요로 하는 곳에 전력을 공급한다. 정교한 스케줄링, 신속한 재시작, 효율적인 체크포인팅 등의 운영 인텔리전스를 활용해 GPU의 대기 시간을 줄이고 가동 시간을 높인다. 이는 데이터센터 운영자가 지속적으로 추구해 온 목표, 즉 주어진 전력으로 더 많은 작업을 처리하는 것과 같다. 

엔비디아 창립자 겸 CEO 젠슨 황(Jensen Huang)은 “1기가와트 규모의 AI 팩토리가 2기가와트 규모로 늘어날 수는 없다”고 말한 바 있다. 

시스템이 물리적 한계에 도달했을 때 엔지니어들이 찾는 해법은 일관된다. 개별 요소의 최적화를 넘어 시스템 전체를 설계하는 것이다. 지난 5월 GTC 타이베이에서 공개된 엔비디아 DSX는 이러한 접근을 AI 팩토리에 적용한 플랫폼이며, 초기 구축 사례를 통해 그 효과가 입증되고 있다. 이 통합 플랫폼은 네트워킹, 냉각, 수자원 효율, 시설 설계 전반을 아우른다. 아래에서는 이 가운데 전력 관리와 전력망 연계 분야에서 지금까지 확인된 주요 성과를 살펴본다. 

동일한 전력 예산으로 더욱 강력한 컴퓨팅 성능: DSX MaxLPS

AI 인프라 서밋에서 공개된 람다의 결과는 엔비디아 HGX B200 GPU 서버에서 엔비디아 DSX MaxLPS를 검증한 최초의 사례다. 

DSX MaxLPS는 GPU와 랙 단위의 전력 소비를 모니터링하고, 워크로드 유형에 따라 노드 간 여유 전력 용량을 재할당한다. 이를 통해 정적인 전력 프로비저닝 방식에서는 활용되지 못했던 전력 용량을 확보할 수 있다. 학습과 추론은 전력 소모 패턴이 서로 다른 만큼, MaxLPS는 두 워크로드를 모두 실행하는 AI 팩토리에서 전력 할당을 최적화한다. 

AI 네이티브 스타트업부터 하이퍼스케일러까지 1만 개 이상의 고객에게 서비스를 제공하는 GPU 클라우드 기업 람다는 5개 랙, 19개 노드로 구성된 클러스터에서 DSX MaxLPS를 테스트했다.

그 결과, 16개 노드를 최대 전력으로 가동할 때와 동일한 전력 예산으로 19개 노드를 운영함으로써 클러스터 전체 토큰 처리량을 초당 약 400만 개에서 500만 개로 24% 높였으며, 와트당 성능도 23% 향상됐다.

엔비디아의 전망에 따르면, 적합한 구축 환경에서 DSX MaxLPS를 활용할 경우 동일한 메가와트 전력 예산으로 차세대 베라 루빈 NVL72(Vera Rubin NVL72) AI 팩토리의 GPU 용량을 최대 40%까지 늘릴 수 있다.

실제 운영 환경에서 검증된 자동 수요 반응

산타클라라 사례는 DSX 플렉스를 구축한 사례는 아니다. 그러나 상업용 규모에서 이러한 개념이 실제로 작동한다는 점을 입증한 선행 사례라는 데 의미가 있다. 

엔비디아 Eos AI 팩토리는 실리콘밸리 파워의 유연 부하 연계 프로그램(Flexible Load Interconnect Program)에 참여해 에메랄드 AI 컨덕터를 운영하고 있다. 이는 AI 팩토리를 전력망 상황에 따라 전력 사용량을 조정할 수 있는 자원으로 활용하도록 설계된 최초의 상업용 전력 유틸리티 프로그램이다. 

실리콘밸리 파워가 신호를 보내면 컨덕터는 1분 이내에 대응한다. 이처럼 전력 사용량을 유연하게 조정할 수 있는 AI 팩토리는 더 큰 규모로 운영될 수 있다. 

DSX 플렉스는 이러한 방식을 보다 광범위하게 적용할 수 있도록 설계됐으며, 플랫폼이 고도화됨에 따라 에메랄드 AI 컨덕터가 DSX 플렉스에 통합될 예정이다. 

첫 DSX 플렉스 전용 상업용 구축 사례는 버지니아주 매너서스에 위치한 엔비디아 AI 팩토리 리서치 센터(NVIDIA AI Factory Research Center)의 96메가와트 규모 베라 루빈 AI 팩토리가 될 예정이다. 이는 앞서 두 개 대륙에서 진행된 5건의 실증을 기반으로 구축된다. 

차세대 전력 아키텍처: 800V DC 전력 아키텍처

현재 AI 팩토리에서 얻을 수 있는 이점은 이미 실제 구축 환경에 적용할 수 있는 수준이다. 다음 단계는 더욱 고밀도화되는 가속 컴퓨팅 랙에 전력을 공급하는 방식이다. 

AI 팩토리의 규모가 확대되면서 기존의 저전압 전력 공급 방식은 전력 변환 과정의 복잡성을 높이고 배전에도 제약을 가져올 수 있다. 엔비디아의 800V DC 아키텍처는 전력 변환 과정을 간소화하고 전력 공급 효율을 높이며, 더욱 고밀도화된 가속 컴퓨팅 랙을 지원하도록 설계됐다. 

엔비디아 DSX는 레퍼런스 설계에 800V DC 아키텍처를 적용하고 있다. 

개별 요소가 아닌 전체 팩토리 최적화

단일 구성 요소만으로는 AI 팩토리 전체를 최적화할 수 없다. 더 빠른 GPU도 네트워크를 기다려야 하며, 잘못된 프로비저닝으로 전력이 활용되지 못할 수도 있다. 냉각에 필요한 전력 또한 GPU에 사용할 수 있는 전력의 일부를 소모한다. 예를 들어 직접 액체 냉각 방식으로 운영되는 GB200 NVL72 랙에서는 약 120kW의 열이 발생하며, 이를 외부로 방출하기 위한 냉각이 필요하다. 

메가와트당 더 많은 토큰을 생성하기 위한 가장 확실한 방법은 AI 팩토리 전체를 최적화하는 것이다. 첫 번째 랙을 구축하기 전에는 DSX Sim을 활용하고, 운영 단계에서는 DSX OS와 DSX Exchange를 활용하며, DSX Reference Designs를 활용하면 처음부터 설계를 새로 구축하는 대신 검증된 아키텍처를 기반으로 AI 팩토리를 구축할 수 있다. 

기가와트급 인프라의 새로운 기준

결국 핵심은 소비되는 메가와트당 얼마나 많은 유효 작업을 처리할 수 있는가다. 

엔비디아 DSX는 인프라 구축 기업이 현재의 하드웨어는 물론 차세대 시스템에 이르기까지 해당 지표를 기준으로 경쟁력을 확보할 수 있도록 참조 설계, 시뮬레이션 도구, 운영 소프트웨어 및 전력 관리 기술을 제공한다. 

전력망의 수요 조정이 필요했을 때, AI 팩토리는 추가 전력을 요구하거나 작업을 중단하지 않고 이에 대응했다. 

엔비디아 DSX는 이러한 역량을 AI 팩토리가 갖춰야 할 새로운 기준으로 제시한다.