엔비디아 - 메타, 스펙트럼-6·멀티플레인 기술로 AI 네트워킹 고도화

엔비디아(www.nvidia.co.kr)가 OCP 글로벌 서밋(OCP Global Summit)에서 메타(Meta)가 엔비디아 스펙트럼-6(NVIDIA Spectrum-6) 102.4Tb/s 이더넷 스위치를 도입해 개방형 네트워킹을 기반의 더 큰 규모와 높은 성능을 갖춘 엔비디아 베라 루빈(Vera Rubin) AI 팩토리를 구축한다고 발표했다. 

스펙트럼-6은 스펙트럼-4(Spectrum-4) 대비 2배 높은 스위칭 용량과 레인당 대역폭을 제공한다. 또한 레인당 200Gb/s의 무손실 이더넷 AI 패브릭을 구현하며, 높은 유효 대역폭과 성능 격리 기능을 통해 한 작업의 트래픽이 다른 작업의 속도를 저하시키지 않도록 지원한다. 

메타의 스펙트럼-6 기반 스위치인 N-아이스큐브(N-IceCube)는 메타의 100T급 액체 냉각 랙인 아이스팩(IcePack)에 탑재된다. N-아이스큐브는 하이퍼스케일 환경에서 효율적인 네트워킹을 지원하기 위해 OCP에 기여한 메타의 오픈소스 네트워크 운영체제인 페이스북 오픈 스위칭 시스템(Facebook Open Switching System, FBOSS)을 실행한다. 

FBOSS는 엔비디아가 개발에 참여한 OCP 표준인 스위치 추상화 인터페이스(Switch Abstraction Interface)를 기반으로 구축됐으며, 이를 통해 특정 공급업체에 종속되지 않고 스위치 하드웨어를 제어할 수 있다. 이러한 기술을 결합하면 10만 개 이상의 GPU를 활용해 대규모 전문가 혼합(mixture-of-experts, MoE) 모델을 학습하고 서비스하는 에이전틱 AI 팩토리를 지원할 수 있다. 

이번 발표는 메타의 하이퍼스케일 AI 인프라 운영 경험과 엔비디아의 네트워킹 기술을 결합한 협력이 한 단계 더 발전했음을 보여준다. 

이번 협력의 핵심은 스펙트럼-6 스위치와 커넥트X-9(ConnectX-9) 슈퍼NIC(SuperNIC)를 통해 구현되는 스펙트럼-X 멀티플레인(Spectrum-X Multiplane) 기술이다. 멀티플레인은 GPU 트래픽을 하드웨어 수준에서 최대 8개의 독립적인 네트워크 플레인으로 분산시켜, AI 팩토리가 더 적은 수의 스위치 계층과 더 낮은 인프라 비용으로 10만 개 이상의 GPU 규모로 확장할 수 있도록 지원한다. GPU 간 다중 경로는 네트워크 활용도와 복원력을 향상시킨다. 구성 요소에 장애가 발생하면 트래픽이 나머지 플레인으로 전환돼, 대역폭이 감소한 상황에서도 GPU를 지속적으로 활용하고 AI 애플리케이션을 계속 실행할 수 있도록 지원한다. 

메타와 엔비디아는 구축 경험과 신속한 엔지니어링 반복 과정을 통해 이러한 복원력을 강화하기 위해 협력했다. 양사는 온프레미스와 클라우드 환경 전반에서 개선 사항을 검증했다. 

메타의 데이터센터 및 AI 네트워킹 부문 수석 이사 오마르 발도나도(Omar Baldonado)는 “멀티플레인 패브릭을 운영 측면에서 확장 가능하고 높은 성능을 확보할 수 있도록 엔비디아와 긴밀히 협력하게 돼 기쁘다. 이는 메타 자체 인프라 구축뿐 아니라 공동 클라우드 파트너들에게도 필수적인 요건”이라며, “FBOSS를 스펙트럼 ASIC으로 확장함으로써 다양한 패브릭에서 동일한 소프트웨어 스택을 운영할 수 있게 됐다. 또한 메타의 새로운 스펙트럼 기반 스위치인 N-아이스큐브는 차세대 가속기들을 연결하는 스케일아웃용 액체 냉각 102.4T 네트워크 랙인 아이스팩에 이러한 기술을 적용한다”고 말했다. 

메타와 엔비디아는 다른 AI 인프라 운영 기업들이 도입할 수 있는 아키텍처와 운영 지침을 공동으로 개발하고 있다. 이를 통해 까다로운 실제 운영 워크로드에서 얻은 경험을 바탕으로 더욱 확장 가능하고 복원력과 효율성이 높은 AI 팩토리를 구현할 수 있도록 지원한다.