인터넷 개인화 돕는 대규모 AI 모델 정확도 향상, 엔비디아 차세대 추천 시스템에 이상적인 새로운 엔비디아 그레이스 호퍼 도입

엔비디아(www.nvidia.co.kr, CEO 젠슨 황)가 인터넷의 경제 엔진인 추천 시스템에 새로운 터보차저인 엔비디아 그레이스 호퍼 슈퍼칩을 도입했다. 

추천 시스템은 매일 수십억 명의 사람들에게 수조 개의 검색 결과, 광고, 제품, 음악, 뉴스 기사 등을 제공한다. 추천 시스템은 사용자가 인터넷의 정보 홍수 속에서 원하는 정보를 찾는 데 매우 효과적이기 때문에 현재 가장 중요한 AI 모델 중 하나이다.

머신 러닝 파이프라인은 테라바이트 규모의 데이터에서 실행된다. 추천 시스템이 데이터를 더 많이 소비할수록 더 정확한 결과와 더 많은 투자 수익을 제공한다. 

이러한 데이터 쓰나미를 프로세싱하기 위해 기업은 이미 가속 컴퓨팅을 채택해 고객 서비스를 맞춤화하고 있다. 그레이스 호퍼는 이러한 발전을 한 단계로 더 높여줄 것이다.

GPU로 참여율 16% 증가

이미지 공유 소셜 미디어 회사인 핀터레스트(Pinterest)는 엔비디아 GPU를 채택해 100배 더 큰 추천 모델로 이동했다 그 결과 4억 명이 넘는 사용자의 참여도가 16% 증가했다. 

핀터레스트의 소프트웨어 엔지니어는 최근 블로그에서 "우리는 보통 2% 증가에도 만족하는데 16%는 시작에 불과하다. 앞으로 추가적인 이익을 보고 기대하며, 이는 많은 기회의 문을 열어준다"라고 말했다.

추천 시스템은 수십 테라바이트의 임베딩, 정확한 예측을 위한 컨텍스트를 제공하는 데이터 테이블을 사용한다. 

차세대 엔비디아 AI 플랫폼은 초대형 추천 모델로 방대한 데이터 세트를 프로세싱하는 회사에 훨씬 더 큰 이점을 약속한다. 

데이터는 AI의 연료이기 때문에, 그레이스 호퍼는 추천 시스템을 통해 지구상의 다른 프로세서보다 더 많은 데이터를 펌핑하도록 설계됐다. 

NVLink로 그레이스 호퍼 가속화

그레이스 호퍼가 슈퍼칩이기 때문에 한 유닛에 두 개의 칩이 들어가 초고속 칩-투-칩(chip-tochip) 상호 연결을 공유하는 게 가능해진다. 암(Arm) 기반 엔비디아 그레이스 CPU와 엔비디아 NVLink-C2C를 통해 통신하는 호퍼 GPU이다. 

또한 NVLink는 테라바이트급 추천 시스템을 실행하도록 구축된 컴퓨팅 클러스터인 슈퍼 시스템에 많은 슈퍼칩을 연결한다. 

NVLink는 초당 900기가바이트라는 엄청난 속도로 데이터를 전송한다. 이는 PCIe Gen 5 대역폭의 7배에 달하는 것으로, 최신 시스템이 가장 많이 사용하게 될 인터커넥트이다. 

이는 그레이스 호퍼가 사용자를 위해 결과를 맞춤화하는 데 필요한 임베딩(컨텍스트가 포함된 데이터 테이블)을 7배 더 많이 추천자에게 제공할 수 있다는 뜻이다. 

더 큰 메모리, 더 높은 효율성

그레이스 CPU는 추천 시스템과 기타 까다로운 워크로드에 대해 대역폭, 에너지 효율성, 용량, 비용의 최적 균형을 찾는 메모리 유형인 LPDDR5X를 사용한다. 기존 DDR5 메모리 서브시스템의 기가바이트당 전력의 8분의 1을 사용하면서 50% 더 많은 대역폭을 제공한다. 

클러스터의 모든 호퍼 GPU는 NVLink를 통해 그레이스의 메모리에 액세스할 수 있다. 역대 최대의 GPU 메모리 풀을 제공하는 그레이스 호퍼의 기능이다. 

또한 NVLink-C2C는 전송되는 비트당 1.3피코줄(pJ)만 필요하기 때문에 PCIe Gen 5 대비 5배 이상의 에너지 효율성을 제공한다. 

종합적인 결과에 따르면 추천 시스템이 기존 CPU와 함께 호퍼를 사용하는 것보다 그레이스 호퍼를 사용할 때 최대 4배 더 높은 성능과 효율성을 얻을 수 있다(아래 차트 참조).

필요한 모든 소프트웨어 제공

그레이스 호퍼 슈퍼칩은 현재 세계 최대 규모의 추천 시스템에 사용되는 엔비디아 AI 소프트웨어의 전체 스택을 실행한다. 

엔비디아 멀린(Merlin)은 더 나은 예측을 제공하고 클릭을 늘릴 수 있는 AI 시스템을 구축하기 위한 모델, 방법, 라이브러리의 모음인 추천 시스템의 로켓 연료 역할을 한다. 

추천 프레임워크인 엔비디아 멀린 휴즈CTR(HugeCTR)은 사용자가 엔비디아 콜렉티브 커뮤니케이션 라이브러리(Collective Communications Library)의 도움을 받아 분산된 GPU 클러스터에서 대규모 데이터 세트를 빠르게 처리할 수 있도록 한다.