미토스 프리뷰가 찾아내는 데이터와 작동 방식 확인, 클라우드플레어 '앤트로픽 클로드 미토스 프리뷰 테스트' 보고서 발표

클라우드플레어는 앤트로픽의 미토스 프리뷰(Mythos Preview)를 적용해 테스트한 내용을 담은 보고서를 발표했다.

클라우드플레어는 앤트로픽이 약 50개 대기업과 기관에 '클로드 미토스 프리뷰' 접근 권한을 제공하는 '프로젝트 글래스윙'에 참여해 50여 개의 자체 리포지토리에 적용한 후 미토스 프리뷰가 찾아내는 데이터와 작동 방식을 확인했다.

이번 보고서는 미토스 프리뷰 모델의 장단점 및 해당 모델을 대규모로 사용할 수 있도록 주변의 아키텍처와 과정이 어떻게 변화해야 하는지를 공유한다. 

보고서의 주요 내용은 아래와 같다.

   미토스의 가장 큰 차별점: 클라우드플레어가 활용했던 다른 AI 모델들도 일부 동일한 기반 버그나 이슈를 발견할 수는 있었지만, 이를 연결해 실제 공격 가능성까지 이어내지는 못했다. 기존 모델들이 개별 취약점을 찾아내는 수준에 머물렀던 반면, 미토스는 일반적으로 잘 드러나지 않는 저위험 취약점들을 조합해 더 심각한 수준의 취약점으로 이어질 수 있음을 보여줬다.

   거부가 신뢰할 수 있는 안전 장치로 작동하진 않음: 미토스는 일부 요청에 대해 거부 반응을 보였지만, 그 기준은 외부에서 확인 가능한 정책과 일관되지 않았다. 실제 사례에서는 동일한 코드에서 숨겨진 .git 폴더만 삭제했을 뿐인데, 기존에는 거부했던 취약점 연구를 이후에는 수행한 사례도 확인됐습니다. 분석 대상 코드 자체에는 아무런 변화가 없었다.

   실제 활용이 어려운 결과도 다수 확인: 실제 취약점과 오탐(false positive)을 구분하기 위해 인간이 개입해 검토해야 하는 경우도 다수 존재했다. 특히 C/C++처럼 메모리 안전성이 보장되지 않는 언어 환경에서는 추정성 경고가 과도하게 발생하는 경향이 나타났다. 이로 인해 미토스는 초기 탐색 단계에서는 유용하게 활용될 수 있지만, 잠재적 취약점을 과도하게 탐지하는 경향 때문에 담당자들의 검토 부담을 키울 수 있는 것으로 나타났다.

클라우드플레어 '앤트로픽 클로드 미토스 프리뷰 테스트' 보고서에 대한 내용은 블로그 포스트에서 확인 가능하다.