엔비디아·AI 업계 리더, 사이버보안 투명성 강화를 위한 SAFE 가이드라인 제안

엔비디아(www.nvidia.co.kr)가 미국 라스베이거스에서 개최된 블랙햇(Black Hat) 연례 콘퍼런스에서 120개가 넘는 조직이 참여하고 있는 오픈 시큐어 AI 얼라이언스(Open Secure AI Alliance) 회원사들이 에이전틱 AI 사이버보안을 강화하기 위한 새로운 가이드라인을 개발하고 있다고 밝혔다. 

리눅스 재단(Linux Foundation)은 SAFE(Shared AI Findings Exchange)에 대한 의견 수렴 요청서(Request for Comments, RFC)를 공개했다. SAFE는 에이전틱 AI 사이버보안 사고에서 얻은 정보를 생태계 전체를 보호하는 공동의 방어 체계로 전환하기 위해 제안된 가이드라인이다.

SAFE 가이드라인은 오픈 시큐어 AI 얼라이언스 워킹 그룹이 마련하고 있다. 엔비디아(NVIDIA)와 시스코(Cisco), 크라우드스트라이크(CrowdStrike), 허깅페이스(Hugging Face), 레드햇(Red Hat)을 비롯한 오픈 시큐어 AI 얼라이언스 회원사들은 리눅스 재단과 협력해 초기 제안서 작성에 참여하고 있다.

SAFE 가이드라인에는 AI 관련 사고와 아차 사고(near miss)를 기밀로 수집·분석하고, 영향을 받은 대상에 이를 알리며, 반복적으로 발생하는 통제 실패를 식별하는 방안이 포함돼 있다. 또한, 시스템 전반의 위험을 줄일 수 있도록 증거에 기반한 운영 권고안을 발표하는 방안도 담고 있다.

사이버보안은 결승선이 없는 경주이다. 주요 기술이 전환될 때마다 새로운 잠재적 공격 표면이 생겨났다. 방어자는 인프라와 지식재산을 보호하기 위해 지금부터 AI 에이전트의 속도에 맞춰 신속하게 대응해야 하며, 이를 위한 가장 효과적인 방법은 함께 협력하는 것이다. 신뢰할 수 있는 생태계가 위협 인텔리전스를 투명하게 공유할 때 집단 방어의 효과는 더욱 배가될 수 있다. 

AI 사이버보안 도구를 확대하는 오픈 시큐어 AI 얼라이언스

SAFE 프레임워크는 AI 보안 스택 전반에서 개방적이고 검토 가능한 도구를 개발·공유하기 위해 오픈 시큐어 AI 얼라이언스 회원사들이 이어온 기술적 기여를 한층 확장한다. 

AI 에이전트는 단순한 모델이 아니라 아이덴티티 제어, 하네스, 가드레일, 로그, 평가로 구성된 하나의 시스템이다. 따라서 AI 에이전트를 보호하려면 단순한 취약점 검사 이상의 접근이 필요하다. 

보안은 여러 계층이 유기적으로 작동하고 커뮤니티가 보유한 지식을 적극적으로 공유할 때 가장 강력해진다. 가장 어려운 문제는 보안 담당자들이 서로의 경험을 개방적이고 신속하게 공유하고 학습할 때 해결할 수 있다. 

엔비디아의 개방형 사이버보안 소프트웨어·모델 풀스택

엔비디아의 지원은 기술 스택 전 계층에 걸쳐 있다. 그 출발점은 깃허브(GitHub)에 공개된 엔비디아 랩스 객체 지향 에이전트(NVIDIA Labs Object-Oriented Agent, NOOA) 연구용 하네스이다. NOOA는 에이전트의 동작을 더욱 쉽게 테스트·추적·감사·관리할 수 있도록 지원한다. 

엔비디아 오픈쉘(OpenShell) 런타임은 에이전트가 조회하고 접근하며 실행할 수 있는 범위를 제한한다. 에이전트 수준에서 보안·프라이버시 제어를 적용해 에이전트가 접근해서는 안 되는 영역에 닿지 못하도록 한다. 

엔비디아의 개방형 모델 제품군은 개방형 가중치와 데이터세트, 학습 기법과 함께 제공된다. 여기에는 에이전틱 AI를 위한 엔비디아 네모트론(Nemotron), 피지컬 AI를 위한 엔비디아 코스모스(Cosmos), 로보틱스를 위한 엔비디아 아이작(Isaac) GR00T, 헬스케어·생명과학을 위한 엔비디아 바이오네모(BioNeMo), 그리고 상업적 사용이 허가된 자율주행차 모델 중 세계 최대 규모인 엔비디아 알파마요(Alpamayo)가 포함된다. 

엔비디아의 검증된 오픈 소스 에이전트 스킬은 이러한 신뢰성을 기능 계층까지 확장한다. 

각 스킬은 이식 가능한 명령어 세트로 제공된다. 또한 카탈로그화되고, 프롬프트 인젝션과 툴 포이즈닝(tool poisoning) 같은 위험 요소에 대한 검사를 거치며, 암호학적으로 서명되고 스킬 카드로 문서화된다. 이를 통해 보안 담당자는 특정 에이전트 스킬의 기능과 출처, 공개 이후 변경 여부를 정확히 확인할 수 있다. 

네모 가드레일(NeMo Guardrails)과 네모 어노니마이저(NeMo Anonymizer), 네모 세이프 신디사이저(NeMo Safe Synthesizer)는 안전 정책을 시행하고 민감한 데이터를 보호하며, 프라이버시가 보장된 합성 데이터를 생성하도록 지원한다. 

또한 엔비디아의 오픈 소스 거대 언어 모델(Large Language Model, LLM) 취약점 스캐너인 가락(Garak)은 보안팀이 모델을 출시하기 전에 데이터 유출, 프롬프트 인젝션, 탈옥(jailbreak) 시나리오를 점검할 수 있도록 지원한다. 

얼라이언스 회원사, 개방형 생태계 개발 도구 확대

오픈 시큐어 AI 얼라이언스의 다른 회원사들도 아이덴티티와 권한, 하네스, 런타임 가드레일, 보안 AI 모델, 관측성과 평가, 데이터 보안과 프라이버시, 가용성과 복원력 등 방어 스택 전반에 걸쳐 개발을 이어왔다. 

아래에서는 스택의 각 계층에서 최근 공개된 주요 기여 사례를 소개한다. 이와 함께 새로운 기술 기여도 지속적으로 추가될 예정이다. 

아이덴티티와 권한 — 행동 주체의 식별과 통제

식별할 수 없는 대상은 보호할 수 없다. 

옥타(Okta)는 에이전트 아이덴티티와 접근 제어를 위한 레퍼런스 구현을 개발하고 있다. 이를 통해 개방형 프로토콜인 크로스 앱 액세스(Cross App Access, XAA)가 오픈쉘 샌드박스 환경에서 작동하는 AI 에이전트와 엔터프라이즈 애플리케이션을 안전하게 연결하는 방식을 보여준다. 

팔로알토 네트웍스(Palo Alto Networks)는 차세대 아이덴티티 보안 플랫폼 이디라(Idira)의 오픈 소스 도구인 에이전트 가드(Agent Guard)와 에이전트 와치(Agent Watch)를 제공했다. 이들 도구는 개발자와 에이전트 개발자가 아이덴티티 보안 모범 사례와 안전장치를 적용할 수 있도록 지원한다. 여기에는 에이전틱 워크플로우에 필요한 시크릿 정보를 안전하게 불러오는 기능 등이 포함된다. 

레드햇이 주도해 출범한 새로운 오픈 소스 프로젝트 아사고(asago)는 미국 국립표준기술연구소(NIST)와 오픈 소스 월드 애플리케이션 보안 프로젝트(OWASP), 유럽연합 인공지능법(EU AI Act) 등에 기반한 조직별 거버넌스 요구사항을 런타임에서 에이전트에 허용되는 동작과 직접 연결한다. 또한 정책 조항부터 실제 운영 환경에 적용된 통제까지 하나의 감사 추적 체계로 관리할 수 있도록 지원한다. 

하네스와 툴링 — 보안 업무의 오케스트레이션

AI 에이전트는 단순한 모델을 넘어선다. AI 에이전트는 작업을 수행하기 위해 개방형·폐쇄형 모델, 하네스, 도구와 런타임으로 구성된 시스템을 활용한다. 

모델이 에이전트의 두뇌라면, 하네스는 도구를 사용해 실제 행동을 수행하는 몸에 해당한다. 모델을 둘러싼 하네스는 에이전트가 어떻게 배포되고 조율되고 제한되는지를 결정하는 오케스트레이터 역할을 한다. 

얼라이언스 회원사들은 AI 보안 스택에서 새롭게 부상하는 이 계층 전반에 걸쳐 툴링과 하네스, 지원 기술을 제공하고 있다. 

오픈 시큐어 AI 얼라이언스의 신규 회원사로 합류한 아마존(Amazon)은 스트랜드 에이전트(Strands Agents)를 제공한다. 이는 모든 계층을 개방해 개발자가 에이전트의 동작을 완전히 파악하고, 실제 운영 환경에서 에이전틱 시스템을 평가할 수 있도록 지원한다. 

아마존은 오픈 소스 인가 언어인 시더(Cedar)도 함께 제공한다. 시더는 AI 에이전트에 허용되는 동작에 결정론적이고 검증 가능한 경계를 적용한다. 이를 통해 고객은 세분화되고 분석 가능한 접근 제어를 구현하고, 승인된 동작만 엔터프라이즈 리소스에 접근하도록 관리할 수 있다. 

캐피털원(Capital One)은 에이전틱 AI 코드 보안을 위한 볼른헌터(VulnHunter)를 오픈 소스로 공개했다. 

클라우드플레어(Cloudflare)는 에이전트 시스템에 보안 기능을 추가할 수 있도록 취약점 탐색 하네스(Vulnerability Discovery Harness)를 오픈 소스 스킬로 제공하고 있다. 

마이크로소프트 AI 레드 팀(Microsoft AI Red Team)은 여러 도구와 하네스를 오픈 소스로 공개했다. PyRIT(Python Risk Identification toolkit)은 AI 레드팀이 자동화된 레드팀 활동을 수행할 수 있도록 지원한다. 메모리 기능이 내장돼 있으며 일반적인 테스트 대상과 사용자 지정 엔드포인트를 모두 지원한다. 

RAMPART는 레드팀이 찾아낸 결과와 실제 사고 사례를 소프트웨어 변경 시점마다 실행되는 반복 가능한 테스트로 전환한다. 클래리티(Clarity)는 코드를 작성하기 전에 설계상의 가정을 검토하고 잠재적 실패 요인을 식별할 수 있도록 지원한다. 

마이크로소프트는 어서트(Assert)도 오픈 소스로 공개했다. 어서트는 자연어로 작성된 요구사항과 AI에 기대되는 안전·보안 동작을 실행 가능한 평가 항목으로 변환한다. 

아틀라스(Atlas)는 위즈(Wiz)의 자율형 취약점 연구 엔진으로, 특화된 AI 에이전트들을 오케스트레이션해 코드와 오픈 소스 패키지 전반에서 보안 취약점을 발견하고 검증한다. 

비자(Visa)도 오픈 시큐어 AI 얼라이언스에 합류해 오픈 소스로 비자 취약점 에이전틱 하네스(Visa Vulnerability Agentic Harness)를 제공했다. 이 하네스는 각 팀이 보안 문제를 신속하고 안전하게 식별하고, 수정과 검증을 수행할 수 있도록 지원한다. 

모델 — AI 안전과 방어를 위해 설계된 인텔리전스

모든 보안·안전 과제에 범용 모델이 필요한 것은 아니다. 특화된 보안·안전 모델은 방어를 목적으로 설계되며, 코드를 이해하고 취약점을 찾아내며 대규모 환경에서 위협을 분석·추론하도록 학습된다. 이러한 모델은 여러 모델로 구성된 시스템의 일부로서 에이전틱 워크플로우를 지원할 수 있다. 개방형 모델과 폐쇄형 모델이 함께 작동해 작업을 효율적으로 수행하는 방식이다. 

시스코 디펜스클로(DefenseClaw)는 엔비디아 오픈쉘 위에서 작동하는 오픈 소스 에이전틱 거버넌스 계층이다. 에이전틱 워크포스를 확장할 때 런타임 수준에서 강력한 자동화 보안을 제공한다. 시스코는 코드베이스 내 알려진 취약점의 위치를 정확하게 파악할 수 있도록 지원하는 안타레스(Antares) 보안 소형 언어 모델 2종도 공개했다. 또한 안전을 기본 원칙으로 적용하는 관행을 AI 코딩 워크플로우에 직접 통합하는 프로젝트 코드가드(Project CodeGuard)도 공개했다. 

크라우드스트라이크는 사이버 방어를 위해 엔비디아 네모트론 나노(Nano) 모델을 파인 튜닝하고 있다. 내부 테스트에서 팔콘 로그스케일(Falcon LogScale)에서 조사 쿼리를 생성하는 데 96%의 정확도를 달성했다. 이를 통해 에이전트의 조사 효율성을 높이는 자연어 인터페이스를 제공한다. 크라우드스트라이크는 특화된 엔비디아 네모트론 나노 추론 모델이 보안 관제 센터(SOC)의 탐지 결과 분류에서 훨씬 더 큰 모델보다 뛰어난 성능을 보였다는 연구 결과도 발표했다. 이 모델은 보정된 로짓 기반 신뢰도를 도입해 자율형 보안 의사결정을 측정하고 조정하며 감사할 수 있도록 지원한다. 

미스트랄(Mistral)은 새로운 멀티모달 안전 분류 모델인 실드스트랄(Shieldstral)을 아파치(Apache) 2.0 라이선스 기반의 공개 가중치로 출시했다.

에이전트가 무엇을 했는지 파악하는 것만으로는 전체 상황을 이해하기 어렵다. 보안 담당자는 에이전트가 특정 방식으로 행동한 이유와 시스템이 안전하게 작동하는지 여부, 실제 환경에서 공격 방식이 어떻게 진화하고 있는지도 이해해야 한다. 

아카마이(Akamai)는 스테이트 오브 더 인터넷(State of the Internet) 보고서와 시큐리티 인텔리전스 그룹(Security Intelligence Group) 연구에서 도출한 인사이트를 제공한다. 실제 데이터를 바탕으로 AI 시대의 위협을 조명하고 새롭게 등장하는 익스플로잇의 작동 방식을 설명함으로써, 보안 담당자가 이를 학습하고 변화에 적응해 대응할 수 있도록 지원한다. 코그니션(Cognition)은 오픈 소스 기반 모델의 정렬과 보안 위험을 측정하는 신뢰성 평가를 공개했다. 이 평가는 이러한 위험을 사후 학습을 통해 완화할 수 있음을 보여준다. 

넘뱃(Numbat)은 퍼플렉시티(Perplexity)의 클라이언트 엔드포인트용 오픈 소스 에이전트 보안 제품군이다. macOS와 리눅스, 윈도우(Windows) 전반에서 에이전트 활동을 탐지·조사·차단하며, 보안 담당자가 에이전트의 실제 활동을 파악할 수 있도록 구조화된 기록을 제공한다. 

우버(Uber)는 ADR(Agentic AI Detection and Response)의 핵심 구성 요소를 오픈 소스로 공개했다. ADR은 프롬프트와 추론, 도구 호출, 결과에 이르는 AI 에이전트 활동의 전체 인과관계를 재구성해 보안팀의 위협 탐지를 지원하는 실제 운영 시스템이다. 현재 ADR은 3만 개 엔드포인트에서 하루 20만 건 이상의 에이전트 세션을 지원한다. 또한 효율적인 탐지와 신뢰도가 높은 위협에 대한 심층 조사를 결합한 2단계 분석 방식을 사용한다.

가용성과 복원력 — 장애 상황에서의 신속한 복구

에이전트 시스템은 장애가 발생한 상황에서도 신뢰할 수 있어야 한다. 또한 장애를 격리하고, 중요한 상태 정보를 잃거나 주변 환경을 노출하지 않으면서 안전하게 복구할 수 있어야 한다. 

랭체인(LangChain)은 자사의 오픈 소스 프레임워크인 딥 에이전트(Deep Agents), 랭그래프(LangGraph)와 랭체인에 복원력 기능을 추가하고 있다. 이를 통해 에이전트는 중단된 작업을 다시 시도하고 안전한 복구 경로를 따를 수 있다. 또한 작업을 처음부터 다시 시작하는 대신 저장된 상태에서 재개하고, 기본 모델에 장애가 발생하면 대체 모델로 자동 전환할 수 있다. 

빔(Veeam)은 AI를 지원하는 데이터와 인프라가 복원력과 복구 가능성을 유지할 수 있도록 지원한다. 대표적인 사례로 쿠버네티스(Kubernetes) 환경의 데이터 보호를 위한 오픈 소스 프레임워크인 카니스터(Kanister)가 있다. 이를 통해 각 팀은 AI 워크로드와 벡터 데이터베이스, 관련 데이터를 보호하고 검증된 정상 상태로 복구할 수 있다.

앞으로도 더 많은 기술 기여가 이어질 예정이다. 회원사들이 재사용 가능한 완화 조치를 공개하면 생태계 전반의 보안 담당자들이 이를 검토하고 각자의 환경에 맞게 조정·개선할 수 있다. 이를 통해 AI 기술의 발전에 발맞춰 보안 관행도 지속적으로 발전할 수 있다. 

여기에서 오픈 시큐어 AI 얼라이언스 가입에 대해 자세히 알아볼 수 있다.