에이전틱 AI용 애플리케이션 보안 강화, 엔비디아 AI 가드레일 위한 NIM 마이크로서비스 출시

엔비디아(www.nvidia.co.kr)가 AI 가드레일을 위한 새로운 엔비디아 NIM 마이크로서비스(NVIDIA NIM microservices)를 출시했다고 발표했다. 개발자는 새로운 NIM 마이크로서비스를 사용해 보다 안전하고 신뢰할 수 있는 AI 에이전트(AI agent)를 구축할 수 있게 됐다. 

AI 에이전트는 다양한 작업을 수행하는 ‘지식 로봇’을 통해 전 세계 수십억 지식 근로자의 생산성을 변화시킬 잠재력을 갖췄다. 그러나 기업들이 AI 에이전트를 개발하기 위해서는 신뢰, 안전, 보안, 규정 준수 등과 같은 중요한 문제를 해결해야 한다. 

AI 가드레일을 위한 새로운 엔비디아 NIM 마이크로서비스는 소프트웨어 도구 모음인 엔비디아 네모 가드레일(NeMo Guardrail)의 일부이다. 이는 기업이 생성형 AI 애플리케이션의 안전성, 정확성, 확장성을 개선할 수 있도록 돕는 휴대용 최적화 추론 마이크로서비스이다. 

마이크로서비스 조정을 위한 핵심 요소는 엔비디아 네모 플랫폼의 일부인 네모 가드레일로, AI를 큐레이팅, 맞춤화, 가드레일링하는 데 도움을 준다. 네모 가드레일은 개발자가 거대 언어 모델(large language model, LLM) 애플리케이션에 AI 가드레일을 통합하고 관리할 수 있도록 지원한다. 업계 선두 기업인 암독스(Amdocs), 세렌스 AI(Cerence AI), 로우즈(Lowe's)는 AI 애플리케이션을 보호하기 위해 네모 가드레일을 사용하고 있다. 

개발자는 새로운 NIM 마이크로서비스를 사용해 보다 안전하고 신뢰할 수 있는 AI 에이전트를 구축할 수 있다. 이는 컨텍스트별 가이드라인 내에서 안전하고 적절한 응답을 제공하고, 탈옥(jailbreak) 시도에 대비해 강화될 수 있다. 이러한 에이전트는 자동차, 금융, 의료, 제조, 소매업 등 다양한 산업의 고객 서비스에 배치돼 고객 만족도와 신뢰도를 높일 수 있다. 

새로운 마이크로서비스 중 하나는 콘텐츠 안전성을 조정하기 위해 이지스 콘텐츠 안전 데이터세트(Aegis Content Safety Dataset)를 사용해 훈련됐다. 이 데이터세트는 해당 카테고리에서 가장 높은 품질의 인간 주석 데이터 소스 중 하나이다. 엔비디아가 큐레이팅하고 소유한 이 데이터세트는 허깅 페이스(Hugging Face)에서 공개적으로 사용할 수 있다. 그리고 이는 AI 안전과 시스템 제한을 우회하기 위한 탈옥 시도에 대해 플래그가 지정된 35,000개 이상의 인간 주석 데이터 샘플이 포함된다. 

AI 에이전트를 효과적으로 관리하는 엔비디아 네모 가드레일

AI는 다양한 비즈니스 프로세스에서 생산성을 빠르게 향상시키고 있다. 고객 서비스의 경우, 고객 문제 해결 속도를 최대 40%까지 향상시켜 준다. 그러나 고객 서비스와 기타 AI 에이전트를 위해 AI를 확장하려면 유해하거나 부적절한 결과를 방지하고 AI 애플리케이션이 정의된 매개변수 내에서 작동하도록 보장하는 안전한 모델이 필요하다. 

엔비디아는 AI 에이전트가 대규모로 운영되면서도 제어된 행동을 유지할 수 있도록 돕는 네모 가드레일을 위한 새로운 NIM 마이크로서비스 세 가지를 소개했다. 

l  콘텐츠 안전 NIM 마이크로서비스는 편향되거나 유해한 결과물이 생성되는 것을 방지해 AI가 윤리적 기준에 부합하는 응답을 할 수 있도록 한다.

l  주제 제어 NIM 마이크로서비스는 대화가 승인된 주제에 집중하도록 유지해, 주제가 벗어나는 내용이나 부적절한 콘텐츠를 피할 수 있도록 한다.

l  탈옥 탐지 NIM 마이크로서비스는 탈옥 시도에 대한 보호 기능을 추가해 대립적인 시나리오에서 AI 무결성을 유지하는 데 도움이 된다. 

개발자는 다양한 경량화된 전문 모델을 가드레일로 적용함으로써, 일반적인 글로벌 정책과 보호 기능만으로는 막을 수 없는 빈틈을 메울 수 있다. 모든 상황에 적용되는 단일 접근 방식으로는 복잡한 에이전틱 AI(Agentic AI) 워크플로우를 적절하게 보호하고 제어할 수 없기 때문이다. 

네모 가드레일 컬렉션에 있는 것과 같은 소형 언어 모델(small language model, sLM)은 지연 시간이 짧고, 리소스가 제한된 환경이나 분산된 환경에서도 효율적으로 실행되도록 설계됐다. 따라서 병원이나 창고와 같은 장소에서 의료, 자동차, 제조업과 같은 산업 분야의 AI 애플리케이션을 확장하는 데 이상적이다. 

네모 가드레일를 통해 AI를 보호하는 업계 리더와 파트너

오픈 소스 커뮤니티에서 사용할 수 있는 네모 가드레일은 개발자가 레일(rail)이라고 불리는 여러 가지 AI 소프트웨어 정책을 조정해 LLM 애플리케이션의 보안과 제어를 강화할 수 있도록 돕는다. 이는 엔비디아 NIM 마이크로서비스와 함께 작동해 안전성이나 성능을 저해하지 않으면서도 대규모로 배포할 수 있는 AI 시스템을 구축하기 위한 강력한 프레임워크를 제공한다. 

통신, 미디어 기업에 소프트웨어와 서비스를 제공하는 세계적인 선도 기업인 암독스는 네모 가드레일을 활용해 더 안전하고 정확하며 상황에 맞는 적절한 응답을 제공한다. 이를 통해 AI 기반 고객 상호 작용을 향상시키고 있다. 

암독스의 기술 부문 그룹 회장 겸 전략 부문 책임자인 앤소니 구네틸렉(Anthony Goonetilleke)은 “네모 가드레일과 같은 기술은 생성형 AI 애플리케이션을 보호하고 안전하고 윤리적으로 작동하도록 하는 데 필수적이다. 엔비디아 네모 가드레일을 어메이즈(amAIz) 플랫폼에 통합함으로써, 우리는 플랫폼의 '신뢰할 수 있는 AI(Trusted AI)' 기능을 강화했다. 이를 통해 안전하고 신뢰할 수 있으며, 확장 가능한 에이전틱 경험을 제공할 수 있게 됐다. 이는 서비스 제공업체들이 AI 솔루션을 안전하고 자신 있게 배포할 수 있도록 해 AI 혁신과 운영 효율성에 대한 새로운 기준을 설정한다”고 말했다. 

자동차 산업을 위한 AI 솔루션 전문 회사인 세렌스 AI는 엔비디아 네모 가드레일을 사용해 자사의 CaLLM 언어 모델 제품군을 기반으로 차량 내 어시스턴트가 상황에 맞는 적절한 안전 상호작용을 제공할 수 있도록 지원하고 있다. 

세렌스 AI의 제품과 기술 담당 부회장인 닐스 샨츠(Nils Schanz)는 “세렌스 AI는 차량 내 어시스턴트 기술에 엔비디아의 고성능 보안 솔루션을 사용하고 있다. 네모 가드레일을 사용하면 자동차 제조업체 고객에게 신뢰할 수 있고 상황에 맞는 솔루션을 제공할 수 있으며, 합리적이고 신중하며 환각(hallucination) 없는 응답을 제공할 수 있다. 아울러 네모 가드레일은 자동차 제조업체 고객을 위해 맞춤화할 수 있고, 유해하거나 불쾌한 요청을 걸러낸다. 이를 통해 CaLLM 언어 모델 제품군이 의도하지 않거나 부적절한 콘텐츠를 최종 사용자에게 전달하지 않도록 보호한다”고 말했다. 

주택 개보수 소매업체의 선두자인 로우즈는 매장 직원들의 심층적인 전문 지식을 구축하기 위해 생성형 AI를 활용하고 있다. 이 도구는 직원들이 종합적인 제품 지식에 대한 접근성을 향상시킨다. 이를 통해 고객의 질문에 답변하고, 프로젝트를 완료하는 데 적합한 제품을 찾는 데 도움을 주며, 소매업 혁신과 고객 만족에 대한 새로운 기준을 설정한다. 

로우즈의 데이터, AI, 혁신 담당 수석 부회장인 찬두 나이르(Chandhu Nair)는 “우리는 항상 직원들이 고객을 위해 한 걸음 더 나아갈 수 있는 방법을 찾고 있다. 최근 엔비디아 네모 가드레일을 배포함으로써, AI가 생성한 응답이 안전하고 신뢰할 수 있으며, 대화의 경계를 설정해 관련성 있고 적절한 콘텐츠만 전달되도록 보장한다”고 말했다. 

엔비디아는 최근 NRF 전시회에서 소매 쇼핑 어시스턴트를 위한 엔비디아 AI 블루프린트(Blueprint)가 네모 가드레일 마이크로서비스를 통합한다고 발표했다. 소매업에서의 AI 애플리케이션 개발과 배포에 AI 안전 장치를 더욱 빠르게 도입하기 위함이다. 이를 통해 디지털 쇼핑 경험 중 더 안정적이고 제어된 고객 상호작용을 창출할 것이라고 밝혔다. 

컨설팅 리더 태스크어스(Taskus), 테크 마힌드라(Tech Mahindra), 위프로(Wipro)도 네모 가드레일을 자사 솔루션에 통합해 기업 고객에게 더욱 안전하고, 믿을 수 있으며, 제어된 생성형 AI 애플리케이션을 제공하고자 한다. 

네모 가드레일은 개방적이고 확장 가능하며, 선도적인 AI 안전 모델과 가드레일 제공업체의 강력한 생태계와 통합할 수 있을 뿐 아니라, AI 가시성과 개발 도구와의 통합도 지원한다. 대화형 AI 애플리케이션에서 유해하거나 부적절한 콘텐츠를 필터링하고 가시성, 분석, 모니터링 기능을 제공하는 액티브펜스(ActiveFence)의 액티브스코어(ActiveScore)와의 통합도 지원한다. 

하이브(Hive)는 이미지, 비디오, 오디오 콘텐츠에 대한 AI 생성 콘텐츠 탐지 모델을 NIM 마이크로서비스로 제공한다. 이들은 네모 가드레일을 사용해 AI 애플리케이션에 쉽게 통합하고 조정할 수 있도록 지원한다. 

피들러 AI 옵저버빌리티(Fiddler AI Observability) 플랫폼은 네모 가드레일과 쉽게 통합돼 AI 가드레일 모니터링 기능을 향상시킨다. 그리고 엔드투엔드 AI 개발자 플랫폼인 웨이츠 앤 바이어시스(Weights & Biases)는 네모 가드레일 마이크로서비스와의 통합을 추가해 W&B 위브(W&B Weave)의 기능을 확장하고 있다. 이러한 개선은 생산 환경에서 최적화된 AI 추론을 위해 웨이츠 앤 바이어시스의 기존 NIM 통합 포트폴리오를 기반으로 한다. 

AI 안전성 테스트를 위한 오픈 소스 도구를 제공하는 네모 가드레일

보호 모델과 기타 레일의 적용 효과를 테스트할 준비가 된 개발자는 엔비디아 가락(Garak)을 사용할 수 있다. 이는 엔비디아 리서치(Research) 팀이 개발한 LLM과 애플리케이션 취약성 스캐닝을 위한 오픈 소스 툴킷이다. 

개발자는 가락을 통해 데이터 유출, 프롬프트 인젝션, 코드 환각, 탈옥 시나리오와 같은 문제를 평가함으로써 LLM을 사용하는 시스템의 취약점을 식별할 수 있다. 가락은 부적절하거나 잘못된 출력을 포함하는 테스트 케이스를 생성함으로써 개발자가 AI 모델의 잠재적 약점을 감지하고 해결해 AI 모델의 견고성과 안전성을 향상시킬 수 있도록 돕는다.

엔비디아 네모 가드레일 마이크로서비스와 레일 조정을 위한 네모 가드레일, 엔비디아 가락 툴킷이 이제 개발자와 기업에 제공된다. 개발자는 튜토리얼을 통해 네모 가드레일을 사용하고 고객 서비스를 위한 AI 에이전트에 AI 보호 장치를 구축할 수 있다. 

여기에서 소프트웨어 제품 정보에 관한 공지를 참조할 수 있다.