혁신의 전환점 만들기 위한 ‘과감한 도전’과 ‘하나의 팀’ 강조, 엔비디아 혁신 이끌어 낸 리서치 팀 핵심 가치 공유

엔비디아(www.nvidia.co.kr)가 미국 새너제이에서 열린 GTC에서 자사 연구 조직인 ‘엔비디아 리서치(NVIDIA Research)’ 팀을 통해 그룹 혁신과 핵심 가치에 대해 공유했다. 

AI, 가속 컴퓨팅, 실시간 레이 트레이싱, 원활하게 연결된 데이터 센터를 구동하는 기술 기반과 같은 엔비디아의 주요 혁신의 뿌리는 자사 연구 조직인 엔비디아 리서치에서 찾을 수 있다. 이 조직은 약 400명의 컴퓨터 아키텍처, 생성형 AI, 그래픽, 로보틱스 분야 전문가로 구성된 글로벌 팀이다.

엔비디아 리서치는 2006년에 설립돼 2009년부터 스탠퍼드 대학교(Stanford University)의 컴퓨터 과학과 의장을 역임한 빌 달리(Bill Dally)가 이끌고 있다. 이들은 복잡한 기술적 과제를 추구하면서, 회사와 세계에 큰 영향을 미친다는 사명감을 가지고 설립된 독보적인 기업 연구 조직이다. 

엔비디아 리서치의 수석 과학자이자 수석 부사장인 달리는 “우리는 회사와 연관성이 있으면서도 훌륭한 연구를 수행하기 위해 의식적으로 노력하고 있다. 둘 중 하나를 하기는 쉽다. 그러나 둘 다 하기는 어렵다”고 말했다. 

많은 연구 조직이 제품 팀보다 더 긴 기간의 프로젝트를 추구하는 반면, 엔비디아 연구진은 ‘위험 부담’이 더 크고 성공 시 큰 보상을 받을 수 있는 프로젝트를 찾는다. 

엔비디아의 첫 번째 연구원이자 그래픽 연구 담당 부사장인 데이비드 루브케(David Luebke)는 “우리의 임무는 회사를 위해 옳은 일을 하는 것이다. 최고의 논문상 트로피 케이스나 유명 연구자 박물관을 만드는 것이 아니다. 우리는 실패할 수도 있는 아이디어를 연구할 수 있는 특권을 누리는 소수의 사람들이다. 따라서 그 기회를 낭비하지 않고 성공 시 큰 변화를 불러올 프로젝트에 최선을 다하는 것이 우리의 의무다”라고 말했다. 

하나의 팀

엔비디아의 핵심 가치 중 하나는 ‘하나의 팀’이다. 연구자들이 제품 팀, 업계 이해관계자들과 긴밀히 협력해 아이디어를 실제 영향력으로 전환할 수 있도록 지원하는 협업에 대한 깊은 의지이다. 

엔비디아의 응용 딥 러닝 연구 담당 부사장 브라이언 카탄자로(Bryan Catanzaro)는 “엔비디아의 가속 컴퓨팅 작업은 풀스택 최적화를 필요로 하기 때문에 엔비디아의 모든 사람은 함께 일하는 방법을 찾도록 인센티브를 받고 있다. 각 기술이 독립적으로 존재하고 모두가 사일로에 머물러 있으면 그렇게 할 수 없다. 가속화를 달성하려면 하나의 팀으로 협력해야 한다”고 말했다. 

잠재적인 프로젝트를 평가할 때, 엔비디아 연구원들은 해당 과제가 연구 팀과 제품 팀 중 어느 팀에 더 적합한지, 최고 수준 콘퍼런스에서 발표할 만한 가치가 있는지, 엔비디아에 명확한 잠재적 이익이 있는지를 고려한다. 프로젝트를 추진하기로 결정하면 주요 이해관계자들과 소통하면서 프로젝트를 진행한다. 

카탄자로는 “우리는 사람들과 협력해 실제 무언가를 만들어낸다. 그 과정에서 실험실에서 생각했던 훌륭한 아이디어가 실제 세계에서는 작동하지 않는 것을 발견하는 경우가 많다. 이것은 긴밀한 협업이다. 연구팀은 자신의 아이디어를 실현하기 위해 필요한 것이 무엇인지 회사의 다른 사람들로부터 배울 수 있을 만큼 겸손해야 한다”고 말했다. 

이 팀은 논문, 기술 콘퍼런스, 그리고 깃허브(GitHub)와 허깅 페이스(Hugging Face) 같은 오픈 소스 플랫폼을 통해 작업의 대부분을 공유한다. 하지만 이것의 초점은 여전히 업계에 미치는 영향에 있다. 

루브케는 “출판은 우리가 하는 일의 매우 중요한 부수적 효과이지만, 그것이 우리가 하는 일의 핵심은 아니다”라고 말했다. 

엔비디아 리서치의 첫 번째 노력은 레이 트레이싱에 집중됐으며, 10년간의 지속적인 연구 끝에 엔비디아 RTX의 출시와 실시간 컴퓨터 그래픽 재정에 직접적으로 기여했다. 현재 이 조직에는 칩 설계, 네트워킹, 프로그래밍 시스템, 거대 언어 모델(Large Language Model, LLM) 물리 기반 시뮬레이션, 기후 과학, 휴머노이드 로보틱스, 그리고 자율 주행 자동차 전문 팀이 포함돼 있다. 또한 추가적인 연구 분야를 다루고 전 세계의 전문성을 활용하기 위해 계속해서 확장하고 있다. 

엔비디아와 산업

엔비디아 리서치는 엔비디아의 가장 잘 알려진 제품의 토대를 마련했을 뿐만 아니라, 혁신을 통해 오늘날의 AI와 가속 컴퓨팅 시대를 앞당기고 가능하게 했다. 

연구자들이 수많은 애플리케이션에 GPU 가속을 활용할 수 있게 된 것은, 병렬 컴퓨팅 소프트웨어 플랫폼이자 프로그래밍 모델인 쿠다(CUDA)에서 시작됐다. 2006년에 출시된 쿠다는 개발자들이 GPU의 병렬 처리 기능을 쉽게 활용해 과학 시뮬레이션, 게임 애플리케이션, AI 모델 제작 속도를 높일 수 있도록 했다. 

루브케는 “쿠다 개발은 엔비디아에게 가장 혁신적인 일이었다. 정식 연구 그룹이 생기기 전이었지만, 최고의 연구원을 고용하고 최고의 아키텍트들과 함께 작업했기 때문에 가능했다”고 말했다. 

레이 트레이싱을 현실로 만들기

엔비디아 리서치가 설립된 후, 구성원들은 GPU 가속 레이 트레이싱을 연구하기 시작했다. 그리고 이를 가능하게 하는 알고리즘과 하드웨어를 개발하는 데 수년을 보냈다. 2009년, 실시간 레이 트레이싱의 선구자이자 엔비디아의 전문가용 그래픽 담당 부사장이었던 고(故) 스티븐 파커(Steven Parker)가 주도한 이 프로젝트는 2010년 시그라프(SIGGRAPH) 논문에서 자세히 설명된 엔비디아 옵틱스(OptiX) 애플리케이션 프레임워크로 제품화 단계에 이르렀다. 

연구원들의 작업은 확장됐고, 엔비디아 아키텍처 그룹과 협력해 결국 엔비디아 RTX 레이 트레이싱 기술 개발로 이어졌다. 이는 게이머와 전문 크리에이터를 위한 실시간 레이 트레이싱을 가능하게 하는 RT 코어를 포함한다. 

2018년에 공개된 엔비디아 RTX는 또 다른 엔비디아 리서치 혁신의 시작을 알렸다. 바로 엔비디아 DLSS, 딥 러닝 슈퍼 샘플링(Deep Learning Super Sampling)이다. DLSS를 사용하면 그래픽 파이프라인이 더 이상 비디오의 모든 픽셀을 그릴 필요가 없다. 대신 일부 픽셀만 그리고 AI 파이프라인에 선명한 고해상도로 이미지를 생성하는 데 필요한 정보를 제공한다.

모든 애플리케이션을 위한 AI 가속

엔비디아의 AI 소프트웨어 연구 공헌은 GPU 가속 뉴럴 네트워크를 위한 엔비디아 cuDNN 라이브러리에서 시작됐다. 이는 딥 러닝 분야가 아직 초기 단계에 있을 때 연구 프로젝트로 개발된 후 2014년에 제품으로 출시됐다.

딥 러닝의 인기가 치솟고 생성형 AI로 발전함에 따라 엔비디아 리서치는 그 선두에 있었다. 뉴럴 네트워크가 사실적인 이미지를 빠르게 생성하는 방법을 보여준 획기적인 시각 생성형 AI 모델인 엔비디아 스타일GAN(StyleGAN)이 그 예시이다. 

생성적 적대 신경망, 즉 GAN(Generative Adversarial Network)은 2014년에 처음 소개됐다. 그러나 루브케는 “스타일GAN은 사진으로 완전히 통과할 수 있는 비주얼을 생성한 최초의 모델이었다. 그것은 분수령이 되는 순간이었다”고 말했다.

엔비디아 스타일GAN 

엔비디아 연구원들은 AI 페인팅 도구 고갱(GauGAN)과 같은 인기 있는 GAN 모델을 다수 소개했으며, 이는 나중에 엔비디아 캔버스(Canvas) 애플리케이션으로 발전했다. 또한 확산 모델, 신경 방사 필드, 가우시안(Gaussian) 스플래팅의 등장으로 에디파이 3D(Edify 3D), 3DGUT와 같은 최신 모델을 통해 3D를 포함한 시각 생성형 AI를 계속 발전시키고 있다.

엔비디아 고갱 

거대 언어 모델 분야에서 메가트론-LM(Megatron-LM)은 콘텐츠 생성, 번역, 대화형 AI와 같은 언어 기반 작업을 위한 대규모 LLM의 효율적인 훈련과 추론을 가능하게 하는 응용 연구 이니셔티브였다. 이는 맞춤형 생성형 AI 개발을 위한 엔비디아 네모(NeMo) 플랫폼에 통합돼 있다. 또한 엔비디아 리서치에서 시작된 음성 인식, 음성 합성 모델도 갖추고 있다.

칩 설계, 네트워킹, 양자 컴퓨팅까지

AI와 그래픽은 엔비디아 리서치에서 다루는 분야 중 일부에 불과하다. 여러 팀이 칩 아키텍처, 전자 설계 자동화, 프로그래밍 시스템, 양자 컴퓨팅 등에서 획기적인 성과를 거두고 있다. 

2012년에 달리는 가속 컴퓨팅 시스템에서 GPU와 CPU 프로세서 간의 빠른 통신을 가능하게 하는 고속 인터커넥트인 엔비디아 NV링크(NVLink)와 NV스위치(NVSwitch)가 될 프로젝트에 관한 연구 제안서를 미국 에너지부에 제출했다.

NV링크 스위치 트레이 

2013년에 회로 연구팀은 다이 간 고속, 저면적, 저전력 링크를 구현하기 위해 인터커넥트와 공동 설계된 신호 시스템을 도입한 칩투칩(chip-to-chip, C2C) 링크에 관한 연구를 발표했다. 이 프로젝트는 결국 엔비디아 그레이스(Grace) CPU와 엔비디아 호퍼(Hopper) GPU를 잇는 연결고리가 됐다. 

2021년에 ASIC와 VLSI 리서치 그룹은 많은 머신 러닝 모델을 4비트 가중치와 4비트 활성화로 높은 정확도로 실행할 수 있는 VS-퀀트(VS-Quant)라는 AI 가속기를 위한 소프트웨어-하드웨어 코드 설계 기술을 개발했다. 이들의 연구는 엔비디아 블랙웰(Blackwell) 아키텍처의 FP4 정밀도 지원 개발에 영향을 미쳤다. 

그리고 차세대 로봇과 자율 주행 차량을 위한 물리 AI 개발을 가속화하기 위해 엔비디아 리서치에서 만든 플랫폼인 엔비디아 코스모스(Cosmos)가 올해 CES에서 공개됐다. 자세한 내용은 연구 논문과 코스모스에 대한 AI 팟캐스트 에피소드를 통해 확인할 수 있다.

여기에서 엔비디아 창립자 겸 CEO인 젠슨 황(Jensen Huang)의 기조연설을 시청할 수 있다. 여기 소프트웨어 제품 정보에 대한 공지를 참조할 수 있다.