검색 노출 유지하면서 AI 학습은 제한, 클라우드플레어 새로운 콘텐츠 제어 기능 공개

클라우드플레어가 웹사이트 소유자가 검색 노출은 유지하면서 AI 학습은 제한할 수 있도록 지원하는 새로운 AI 콘텐츠 제어 기능과 AI 크롤링 기준을 발표했다.

최근 하나의 크롤러가 검색 색인과 AI 학습을 동시에 수행하는 ‘혼합 사용 크롤러(Mixed-use Crawler)’가 증가하면서, 웹사이트 소유자는 AI 학습을 제한하려면 검색 노출까지 포기해야 하는 문제를 겪어왔다. 실제로 혼합 사용 크롤러는 현재 클라우드플레어 네트워크에서 검증된 크롤러 트래픽의 36.6%를 차지하는 반면, 검색 크롤러를 차단하는 웹사이트는 1% 미만, AI 학습을 제한하는 웹사이트는 17%로 나타났다. 

이번 발표를 통해 클라우드플레어는 검색 결과 노출에는 영향을 주지 않으면서 AI 학습만 제한할 수 있는 ‘AI 학습 차단(Disallow AI Training)’ 기능을 새롭게 선보였다. 또한 기존 ‘AI 봇 차단(Block AI Bots)’ 기능을 검색, AI 학습, AI 에이전트에 대한 세 가지 독립적인 제어 기능으로 세분화하고, 사이트 소유자가 한 번 설정한 크롤링 선호 사항을 지원되는 모든 크롤러에 자동으로 적용하는 ‘봇 환경설정 동기화(Bot Preference Sync)’ 기능도 제공한다. 

이와 함께 클라우드플레어는 혼합 사용 크롤러를 포함한 AI 크롤러 운영자를 대상으로 ‘신뢰할 수 있는(Accountable)’ AI 크롤링 기준을 마련했다. ▲AI 학습 거부 기능 제공 ▲AI 생성 검색 요약 거부 지원 ▲검색 및 학습 목적의 콘텐츠 활용에 대한 URL 단위 가시성 제공 ▲AI 학습 거부가 기존 검색 순위에 영향을 미치지 않는다는 점의 공개 확인 등을 기준으로 하며, 애플, 구글, 마이크로소프트는 해당 기준을 충족했거나 이를 충족시킬 예정이라는 구체적인 일정을 제시했다. 

이를 통해 웹사이트 소유자는 검색, AI 학습, AI 에이전트에서 콘텐츠가 활용되는 방식을 각각 관리하면서 검색을 통한 콘텐츠 노출과 AI 시대의 콘텐츠 통제권을 함께 확보할 수 있다.