엔비디아(www.nvidia.co.kr)가 차세대 AI 기반 그래픽 기술 ‘DLSS 5’를 출시한다. DLSS 5는 새로운 3D 가이드 뉴럴 렌더링(3D-Guided Neural Rendering) 기법을 통해 AI를 활용한 실시간 그래픽을 할리우드급 극사실성에 한층 더 가깝게 구현한다.  

엔비디아(NVIDIA)는 지속적으로 PC 게이밍의 지평을 넓혀 왔다. 실시간 레이 트레이싱을 도입하고 DLSS 슈퍼 레졸루션(Super Resolution), 프레임 생성(Frame Generation), 레이 리컨스트럭션(Ray Reconstruction)을 통해 AI 기반 그래픽 기술을 개척하는 등, 엔비디아 RTX 기술은 게임의 렌더링 방식과 플레이 경험을 혁신해 왔다.

이제 DLSS 5는 9월 4일 오후 1시(한국 시간) 비주얼 콘셉츠(Visual Concepts)가 개발하고 2K가 배급하는 ‘NBA 2K27’에서 이용할 수 있다. 모든 지포스(GeForce) RTX 50 시리즈 GPU와 노트북에서 지원되며, 지포스 나우(GeForce NOW)를 통해서도 이용할 수 있다. ‘NBA 2K27’은 게임 아티스트가 DLSS 5를 활용해 창작 의도에 부합하도록 시각적 충실도를 향상시킨 첫 번째 사례다. 

비주얼 콘셉츠 수석 프로듀서 피터 캐빅(Peter Kavic)은 “DLSS 5의 장점은 높은 수준의 제어 기능이다. 기존 아트 디렉션에 맞춰 전반적인 분위기와 스타일을 설정한 뒤, 픽셀 단위의 향상 제어 마스크를 활용해 가장 중요한 부분을 정밀하게 조정하고 캐릭터의 디테일을 세밀하게 다듬을 수 있다. 실제 인물의 외형을 최대한 세심하게 구현해야 하는 만큼 이러한 기능이 중요하다”고 말했다. 

시네마틱 그래픽과 실시간 그래픽의 격차를 좁히다

지포스가 등장한 이래 엔비디아는 조명과 반사, 그림자가 자연의 법칙을 따르는 현실적인 세계를 구현할 수 있는 그래픽 성능을 게임 개발자에게 제공해 왔다. 

2001년 지포스 3의 프로그래머블 셰이더(programmable shaders)에서 시작해 2006년 지포스 8800 GTX의 쿠다(CUDA), 2018년 지포스 RTX 2080 Ti의 실시간 레이 트레이싱, 그리고 2025년 지포스 RTX 5090의 패스 트레이싱과 뉴럴 셰이더에 이르기까지 엔비디아는 주요 아키텍처 혁신과 함께 컴퓨팅 성능을 37만 5천 배 향상해 왔다. 

그러나 할리우드 수준의 사실감은 여전히 실시간 그래픽의 영역을 벗어나 있다. 극사실적 할리우드 VFX 프레임은 단일 프레임을 렌더링하는 데 수 시간 또는 수일이 걸릴 수 있다. 반면 게임 개발자는 부드러운 플레이 경험을 위해 초당 60프레임 이상의 화면을 구현해야 한다. 따라서 게임 개발자는 실시간 성능을 우선하는 대가로 아티스틱 비전을 축소해야만 했다. 개발자가 무한한 수의 광선을 구현할 수 있더라도, 장면 자체의 콘텐츠를 줄여야 하므로 극사실적인 프레임 구현은 불가능했다. 예를 들어 머리카락은 단순화된 지오메트리로 대체되고, 피부와 같은 복잡한 다층 소재는 자연스러운 깊이를 잃게 됐다.

각 프레임을 강제로 렌더링하거나 장면에 더 많은 디테일을 추가하는 대신, 극사실적 비주얼을 구현하기 위한 접근 방식으로 생성형 AI가 등장했다. 

생성형 모델은 실제 세계의 복잡한 조명 패턴을 학습함으로써 전통적인 렌더링 방식으로는 구현하기 어려운 극사실적 조명 효과를 생성할 수 있다. 예를 들어 역광을 받은 머리카락이 빛나는 모습이나 인간 피부와 같은 복잡한 다층 소재를 통해 빛이 자연스럽게 산란하는 현상을 구현할 수 있다. 

그러나 기존 생성형 모델은 규모가 크고 속도가 느리며, 본질적으로 확률을 기반으로 작동한다. 동일한 텍스트 프롬프트를 10번 입력하면 일반적인 디퓨전 모델은 10개의 서로 다른 결과를 생성한다. 이러한 예측 불가능성은 아티스트가 원하는 결과물을 선택할 수 있는 오프라인 이미지 생성에는 적합하다. 반면 인터랙티브 게임은 플레이어의 입력에 따라 절대적인 픽셀 일관성, 고정된 캐릭터 정체성, 프레임 간 안정성을 유지해야 한다. 따라서 캐릭터의 얼굴이나 환경이 밀리초 단위로 변형되는 예측 불가능성은 게이밍 환경에서 허용될 수 없다.

DLSS 5, 3D 가이드 뉴럴 렌더링 도입

2018년 처음 출시된 엔비디아 DLSS는 슈퍼 레졸루션을 활용해 AI로 성능을 향상시키는 기술로 시작했다. 이후 프레임 생성과 멀티 프레임 생성(Multi Frame Generation)으로 발전하며 AI 기반 성능 향상 기술의 표준으로 자리 잡았다. 현재 DLSS 4.5 기술은 AI를 활용해 화면에 표시되는 24개 픽셀 가운데 최대 23개를 생성할 수 있다. 

이제 DLSS는 성능을 넘어 시각적 충실도까지 혁신하고 있다. 이전 DLSS 기술은 기존 장면 데이터를 재구성해 고해상도 이미지와 추가 프레임, 더욱 깨끗한 레이 트레이싱 조명을 구현하는 데 집중했다. 이제 3D 가이드 뉴럴 렌더링을 적용한 DLSS 5는 실시간 성능 제약으로 인해 기존에 구현하기 어려웠던 풍부한 조명과 소재 디테일을 AI로 생성함으로써, 개발자가 원래의 아티스틱 비전을 구현할 수 있도록 지원한다. 

또한 3D 가이드 뉴럴 렌더링은 텍스트 프롬프트로 프레임을 생성하는 대신, 아티스트가 설계한 지오메트리와 텍스처, 조명 버퍼를 포함한 게임 엔진의 렌더링 프레임을 기반으로 활용한다. DLSS 5는 그래픽 파이프라인의 최종 렌더링 단계에서 작동하며, 장면에 사실적인 조명과 소재 디테일을 더한다. 동시에 게임 엔진의 프레임을 기반으로 반드시 유지돼야 하는 요소와 변경 가능한 요소를 구분하고, 아티스트가 후자를 직접 제어할 수 있도록 한다.

DLSS 5는 프레임의 색상과 모션 벡터를 입력으로 활용한다. 따라서 게임 콘텐츠를 기반으로 하면서도 일관되고 시간적 안정성을 갖춘 사실적 조명과 소재를 구현한다. 

DLSS 5를 구현하기 위해 엔비디아는 아티스틱 의도 보존, 시간적 안정성 보장, 밀리초 단위의 실행 속도 달성이라는 세 가지 핵심 엔지니어링 과제를 해결하는 새로운 실시간 AI 모델을 개발했다. 

먼저 DLSS 5는 동일한 입력 프레임을 처리할 때 일관된 결과를 제공하는 결정론적 방식으로 작동한다. 아티스트와 게임 엔진이 제작한 원본 프레임을 기반으로 모델은 화면 속 객체와 소재, 공간적 관계, 광원을 분석한다. 또한 색상과 표면 알베도, 세부 조명, 표면 노멀 등 엔진 데이터를 인식하도록 훈련해 렌더링된 프레임을 기반으로 작동한다.

DLSS 5는 객체, 소재, 광원 등 객체 수준의 장면 의미 정보를 인식한다. 

그 결과 DLSS 5는 자연스러운 피부의 서브서피스 스캐터링(subsurface scattering), 머리카락과 식생을 통과하는 사실적인 빛의 투과, 글로벌 일루미네이션(global illumination)과 함께 더욱 깊어진 접촉 그림자(contact shadow) 등 사실적인 소재 상호작용을 장면에 더한다.

둘째, DLSS 5는 실시간 프레임 단위의 시간적 안정성을 제공한다. 여러 프레임 시퀀스를 일괄 처리하는 비디오 생성 모델과 달리, DLSS 5는 하나의 프레임을 입력받아 하나의 프레임을 출력하는 방식으로 작동한다. 또한 게임 엔진의 모션 벡터를 직접 활용해 플레이어가 움직이는 상황에서도 시각적 깜빡임이나 흔들림, 시간적 드리프트 없이 모든 프레임을 안정적으로 유지한다.

셋째, 엔비디아는 실시간 3D 렌더링 파이프라인을 위해 특별히 설계된 빠르고 전문화된 AI 모델을 개발했다. 이 소형 네트워크는 렌더링된 프레임에서 엔진 데이터를 직접 해석하고 지포스 RTX 50 시리즈 GPU의 강력한 텐서 코어(Tensor Core)를 활용해 복잡한 조명과 소재를 실시간으로 렌더링한다. 단일 GPU에서 로컬로 실행되며 최대 4K 해상도에서도 부드러운 프레임 속도를 유지한다. 

개발자를 위한 통합도 간단하다. DLSS 5는 기존 DLSS 기술 전반에서 활용되는 엔비디아 스트림라인(Streamline) 프레임워크와 언리얼 엔진(Unreal Engine) 게임을 위한 언리얼 엔진 5 플러그인을 활용한다. 또한 DLSS 5는 선택적으로 사용할 수 있는 독립적인 기능으로 작동해, 게임 스튜디오가 필요에 따라 슈퍼 레졸루션, 멀티 프레임 생성, 레이 리컨스트럭션과 함께 유연하게 활성화할 수 있다. 

전통적인 래스터화, 레이 트레이싱, 패스 트레이싱과 함께 작동하는 DLSS 5는 기존 게임 렌더링과 실시간 뉴럴 그래픽을 결합해 시네마틱 그래픽과 실시간 그래픽 간의 격차를 좁힌다. 

게임 개발자를 위한 DLSS 5 아티스틱 제어 기능

이미지를 더욱 사실적으로 구현하는 것은 궁극적으로 창의적인 결정이다. 이에 따라 DLSS 5는 개발자에게 직접 아트 디렉션 도구를 제공한다. 컴퓨팅 성능과 VRAM 예산만으로는 명시적으로 모델링하고 렌더링하기 어려운 극사실적인 디테일을 추가할 수 있도록 지원한다. 동시에 다양한 모델과 제어 기능을 통해 적용 방식과 영역을 세밀하게 조정할 수 있다. 게이머에게는 단순히 켜고 끄는 기능으로 제공된다.

먼저 DLSS 5가 아티스틱 의도를 보존하는 방식을 살펴볼 수 있다. 라멘 요리사를 예로 들면, 기본적인 얼굴 비율과 지오메트리는 아티스트가 설계한 그대로 유지된다. DLSS 5를 활성화하면 빛에 대한 반응과 소재 디테일이 향상된다. 앰비언트 오클루전(ambient occlusion)은 머리띠 주변에 더욱 뚜렷한 깊이감을 더하고, 향상된 서브서피스 스캐터링을 통해 빛이 귀를 자연스럽게 통과하는 효과를 구현한다. 이러한 미묘한 요소는 캐릭터의 핵심적인 정체성을 유지하면서 캐릭터와 장면의 완성도를 높인다.

여기에서 전체 화면 4K 비교를 확인할 수 있다. 

DLSS 5 SDK를 통해 개발자는 서로 다른 결과를 생성하는 다양한 파라미터 가중치를 적용한 여러 모델 중에서 선택할 수 있다. 이를 통해 각 게임에 가장 적합한 모델을 선택할 수 있다. 

이러한 모델 선택은 게임 전체에 적용할 수 있으며, 서로 다른 장면에 따라 여러 모델을 조합할 수도 있다. 예를 들어 아티스트는 빽빽한 야외 식생을 위해 하나의 모델을 선택하고, 극적인 실내 장면을 위해 또 다른 모델을 선택할 수 있다. 또한 아티스틱 비전에 맞춰 게임 플레이와 시네마틱 장면에 서로 다른 모델을 조합할 수도 있다.

또한 DLSS 5는 구조 강도(Structure Intensity)와 톤 강도(Tone Intensity) 조정 기능을 제공한다. 구조 강도는 앰비언트 오클루전과 반사, 서브서피스 스캐터링과 같은 고주파 디테일을 제어한다. 이를 통해 개발자는 게임의 사실감을 높이면서도 원하는 수준으로 시각적 효과를 세밀하게 조정할 수 있다. 

한편 톤 강도를 통해 개발자는 보다 넓은 범위의 조명과 색상 반응과 같은 저주파 디테일을 제어할 수 있다. 개발자는 이 값을 0으로 설정해 렌더링된 프레임의 색상을 그대로 표시하거나, 장면에 따라 색조를 조정할 수 있도록 설정값을 높일 수 있다. 두 기능을 함께 활용하면 아티스트는 최종 출력에 어느 정도의 향상을 적용할지 결정할 수 있다.

여기에서 전체 화면 4K 비교를 확인할 수 있다. 

향상 효과가 의도한 영역에만 적용되도록 DLSS 5는 장면의 객체를 자동으로 인식하는 시맨틱(semantic) AI 마스킹 기능을 제공한다. 이를 통해 개발자는 캐릭터에 적용되는 효과를 줄이는 대신 환경에 대한 향상 효과를 강화하거나, 그 반대로 적용할 수 있다.

또한 엔진 수준의 마스킹을 통해 아티스트는 유리 식기, 물방울, 식생과 같은 특정 소품이나 에셋 그룹을 분리할 수 있다. 이를 통해 주변 요소에는 영향을 주지 않으면서 게임의 특정 요소에 맞춤형 뉴럴 조명 효과를 적용할 수 있다.

뉴럴 렌더링 결과는 엔진의 기본 프레임에 기반하며, 최종 출력 품질은 입력의 충실도에 따라 향상된다.

DLSS 5는 기존 래스터화 그래픽의 품질을 대폭 향상시키지만, 레이 트레이싱이나 패스 트레이싱처럼 더욱 풍부한 조명 데이터를 제공하면 훨씬 더 정확한 결과를 얻을 수 있다. 다시 말해 게임이 제공하는 기반 정보의 품질이 높을수록 최종 출력 품질도 더욱 향상된다.

여기에서 전체 화면 4K 비교를 확인할 수 있다. 

엔비디아는 여러 게임 스튜디오와 협력하고 있으며, 개발자의 피드백을 지속적으로 반영해 기술을 개선하고 모델과 제어 기능을 확장하고 있다. 

DLSS 5 지원 ‘NBA 2K27’, 9월 4일 출시

비주얼 콘셉츠는 ‘NBA 2K’를 통해 25년 이상 사실적인 스포츠 게이밍 경험을 제공해 왔다. 이들은 게임 내 경험을 실제 NBA 또는 WNBA 중계를 시청하는 것과 최대한 유사하게 구현하는 데 집중하고 있다. 

엔비디아는 비주얼 콘셉츠, 2K와의 협력을 통해 ‘NBA 2K27’에 DLSS 5 3D 가이드 뉴럴 렌더링을 적용하고 플레이어 경험의 사실감을 새로운 수준으로 끌어올리고 있다. 

DLSS 5 지원 ‘NBA 2K27’는 9월 4일 오후 1시(한국 시간)부터 지포스 RTX 50 시리즈 PC와 노트북에서 플레이할 수 있으며, 엔비디아가 운영하는 지포스 RTX 5080 기반 클라우드 게이밍 시스템인 지포스 나우의 얼티밋(Ultimate) 회원도 이용 가능하다. 

비주얼 콘셉츠는 ‘NBA 2K27’을 더욱 사실적으로 구현하기 위해 DLSS 5를 활용하며, 게임의 시각적 요소를 향상하고 세밀하게 조정한다. DLSS 5를 통해 플레이어는 빛이 선수의 귀를 자연스럽게 통과하는 모습과 피부에 자연스럽게 표현되는 조명, 빛에 따라 달라지는 머리카락의 모습을 확인할 수 있다. 이 과정에서 실제 선수의 얼굴을 스캔해 제작한 얼굴 지오메트리는 그대로 유지된다. 

비주얼 콘셉츠 수석 프로듀서 피터 캐빅은 “DLSS 3D 가이드 뉴럴 렌더링은 소재와 조명의 시각적 품질을 향상하는 데 도움을 줬으며, 게임 전반의 극사실성을 크게 끌어올렸다”고 말했다. 

DLSS 5를 활성화하면 올스타 가드 케이드 커닝햄(Cade Cunningham)의 캐릭터가 눈에 띄게 향상된다. 개선된 피부 서브서피스 스캐터링은 경기장 조명 아래에서 생동감 있는 따뜻한 느낌을 제공하고, 더욱 정교해진 접촉 그림자는 목과 유니폼 칼라 주변의 세밀한 디테일을 강조한다. 자연스러운 빛의 투과는 머리카락의 디테일을 더욱 향상해 전반적인 사실감을 높인다.

여기에서 DLSS 3D 가이드 뉴럴 렌더링을 적용한 케이드 커닝햄의 전체 화면 4K 비교를 확인할 수 있다. 

DLSS 5는 올 NBA 포인트 가드 타이리스 할리버튼(Tyrese Haliburton)의 시각적 충실도도 향상시킨다. 서브서피스 스캐터링은 경기장 조명 아래에서 얼굴에 사실적인 따뜻함을 더하고, 코와 턱 아래에는 정밀한 접촉 그림자를 구현한다. 또한 개선된 앰비언트 오클루전은 팔토시 주름 전반에 선명한 그림자 표현을 더한다.

여기에서 DLSS 3D 가이드 뉴럴 렌더링을 적용한 타이리스 할리버튼의 전체 화면 4K 비교를 확인할 수 있다. 

코트 주변의 관중과 스태프 역시 자연스러운 피부 서브서피스 스캐터링과 뚜렷한 접촉 그림자를 통해 더욱 풍부한 조명과 소재 반응을 구현하며, 캐릭터 모델의 이미지 품질을 향상한다.

여기에서 전체 화면 4K 비교를 확인할 수 있다. 

지포스 RTX 5090 사용자는 ‘NBA 2K27’에서 전체 DLSS 기술을 활용해 4K 해상도, 울트라 프리셋(Ultra Preset), 레이 트레이싱 설정에서 DLSS 5와 함께 최대 370 FPS로 플레이하며 최상의 게이밍 경험을 누릴 수 있다.

2560×1440 해상도에서는 지포스 RTX 50 시리즈 게이머가 울트라 프리셋과 레이 트레이싱, DLSS 5가 적용된 ‘NBA 2K27’을 지포스 RTX 5090에서 최대 590 FPS, 지포스 RTX 5080에서 최대 410 FPS, 지포스 RTX 5070 Ti에서 최대 350 FPS, 지포스 RTX 5070에서 최대 260 FPS로 경험할 수 있다.

1920×1080 해상도에서는 거의 모든 지포스 RTX 50 시리즈 게이머가 울트라 프리셋과 레이 트레이싱, DLSS 5를 함께 적용한 ‘NBA 2K27’을 플레이할 수 있다.

DLSS 5 3D 가이드 뉴럴 렌더링과 슈퍼 레졸루션, 멀티 프레임 생성은 더욱 높은 프레임 속도와 크게 향상된 이미지 품질을 제공한다. DLSS 5는 제이슨 테이텀(Jayson Tatum)의 피부에 자연스러운 서브서피스 스캐터링과 개선된 수염 조명을 적용하고, 유니폼과 농구공에는 더욱 깊어진 접촉 그림자를 구현한다.

DLSS를 활성화하면 레이 트레이싱과 울트라 설정을 적용한 4K 해상도에서 지포스 RTX 5090의 프레임 속도가 370 FPS까지 향상된다. 

‘NBA 2K27’에서 DLSS 5를 활성화하려면 9월 4일 오후 1시(한국 시간)에 출시되는 신규 지포스 게임 레디 드라이버(Game Ready Driver)를 다운로드해야 한다. 다운로드 이후에는 게임 내에서 DLSS 뉴럴 렌더링 옵션을 사용할 수 있다. 

엔비디아 홈페이지 또는 엔비디아 앱(NVIDIA App)에서 9월 4일 드라이버를 다운로드하고 설치한다.

게임 내에서 ‘비디오 설정(Video Settings)’을 선택하고 ‘DLSS 뉴럴 렌더링(DLSS Neural Rendering)’을 활성화한다.

원하는 방식으로 DLSS 슈퍼 레졸루션, 프레임 생성, 엔비디아 리플렉스(Reflex) 옵션을 설정한다.

게임 플레이와 리플레이 중 키보드 F9 키를 통해 DLSS 뉴럴 렌더링을 활성화한다.

빠른 발전과 지속적인 진화

지난 3월 DLSS 5를 처음 발표한 이후 엔비디아는 빠른 발전을 이어왔다. 두 개의 지포스 RTX 5090에서 실행되던 기술을 이제 단일 그래픽 카드에서 실행할 수 있게 됐으며, 단 6개월 만에 5배의 성능 향상을 달성했다. 이를 통해 모든 지포스 RTX 50 시리즈 GPU와 노트북 GPU에서 DLSS 5를 이용할 수 있게 됐다. 이러한 성과는 체계적인 파이프라인 최적화와 더 빠른 실행 속도, 향상된 이미지 품질을 동시에 제공하는 뉴럴 모델 개선이 결합된 결과다. 

엔비디아의 최적화는 아직도 진행 중이며, 추가적인 최적화 작업도 활발하게 이뤄지고 있다. 올가을 출시될 예정인 향후 모델 업데이트를 통해 현재 성능을 넘어 추가적인 성능 향상이 이뤄질 것으로 예상된다. 10년 이상 축적해 온 DLSS 노하우를 기반으로 엔비디아는 성능과 이미지 품질의 가능성을 지속적으로 확장해 나가고 있으며, DLSS 5는 시작에 불과하다.

실시간 그래픽의 새 시대를 여는 DLSS 5

DLSS 5는 AI와 그래픽 분야 모두에서 획기적인 기술이며, 게임에 새로운 수준의 사실감을 제공한다. 

3D 가이드, 4K 실시간 렌더링: 단일 지포스 RTX 50 시리즈 GPU에서 최대 4K 해상도로 실행되는 완전한 결정론적 방식의 시간적으로 일관된 뉴럴 렌더링

프레임 기반: 렌더링된 프레임의 구조적, 지오메트리 무결성을 유지하도록 훈련

지능형 모델: 장면의 객체와 의미 정보를 지능적으로 분석해 사실적인 조명과 서브서피스 스캐터링, 현실적인 소재 반응 구현

세밀한 개발자 제어 기능: 크리에이티브 제어 기능은 구조, 톤, 시맨틱 마스킹을 통해 뉴럴 모델을 세밀하게 조정해 아티스트의 의도를 철저하게 유지

간소화된 통합: 엔비디아 스트림라인 또는 언리얼 엔진 5 플러그인을 통해 게임 개발자가 빠르고 쉽게 통합 가능

DLSS 5는 렌더링 파이프라인을 대체하지 않으며, 오히려 더욱 확장한다. DLSS 5는 슈퍼 레졸루션, 멀티 프레임 생성, 레이 리컨스트럭션 등 기존 DLSS 기술을 기반으로 하는 동시에 래스터화, 레이 트레이싱, 패스 트레이싱과 같은 전통적인 렌더링 방식을 향상시켜 그래픽 기술 전반에서 원활하게 작동한다. 이러한 혁신은 아티스트가 창의적인 표현을 위해 필요한 제어 기능을 유지하면서 수작업으로 제작된 렌더링과 뉴럴 그래픽을 결합해 시각적 사실감을 획기적으로 향상시키는 새로운 시대를 연다. 

‘NBA 2K27’에서 DLSS 5를 경험하려면 게임을 구매하고 9월 4일 오후 1시(한국 시간)에 엔비디아 앱을 통해 최신 지포스 게임 레디 드라이버를 다운로드하거나 지포스 나우에서 플레이하면 된다. 또한 앞으로 많은 타이틀이 DLSS 5를 지원할 예정이며, 향후 발표는 GeForce.com에서 확인할 수 있다.