콘텐츠 활용 통제권 강화, 클라우드플레어 ‘콘텐츠 시그널 정책’ 발표

선도적인 커넥티비티 클라우드 기업인 클라우드플레어(Cloudflare)는 웹사이트 운영자와 퍼블리셔가 자신들의 콘텐츠 활용 방식을 보다 주도적으로 통제할 수 있도록 지원하는 새로운 정책 ‘콘텐츠 시그널 정책(Content Signals Policy)’을 발표했다. 

이번 정책은 누구에게나 무료로 제공되며, 이를 통해 웹사이트 운영자는 웹 크롤러가 사이트의 어느 부분에 접근할 수 있는지를 지정하는 단순한 텍스트 파일인 robots.txt 파일을 손쉽게 업데이트해 자신의 데이터가 타사에 의해 어떻게 활용될지를 명확히 표현할 수 있다. 특히 AI 개요나 추론 등에 콘텐츠가 사용되는 것을 거부할 수 있는 선택권도 갖게 된다. 

기존 인터넷 환경은 링크 탐색을 기반으로 한 ‘검색 엔진(search engines)’에서 AI가 직접 답변을 제공하는 ‘응답 엔진(answer engines)’ 중심으로 빠르게 이동하고 있다.  이 과정에서 웹사이트 운영자, 퍼블리셔, 크리에이터가 트래픽과 조회수로 수익과 영향력을 얻는 기존 비즈니스 모델은 심각한 위협을 받고 있다. 지금까지 AI 크롤러는 웹사이트 데이터를 대량으로 수집해 왔지만, 운영자들은 자신의 콘텐츠가 어떤 목적으로, 어떤 방식으로 활용되는지에 대해 명확히 표현할 수 있는 방법이 없었다. 

클라우드플레어의 새로운 콘텐츠 정책은 이러한 공백을 메우기 위해 마련됐다. 이번 정책을 통해 웹사이트 운영자는 AI 크롤러 등 자동화 도구가 콘텐츠를 이용하는 방식에 대해 명확한 지침을 제시할 수 있다. 

매튜 프린스(Matthew Prince) 클라우드플레어 CEO 겸 공동 창업자는 “인터넷은 해결책을 마냥 기다릴 수 없다. 그 사이 창작자들의 원본 콘텐츠가 다른 기업의 수익 창출에 이용될 수 있기 때문이다”라며, “클라우드플레어는 웹의 개방성과 성장을 유지하기 위해 웹사이트 소유자가 자신의 콘텐츠 사용 방식을 명확히 표현할 수 있는 새로운 방법을 제공한다. robots.txt는 그동안 충분히 활용되지 않았지만, 이번 정책을 통해 AI 기업들이 콘텐츠 창작자의 선호를 존중해야 할 것”이라고 말했다. 

현재 380만 개가 넘는 도메인이 클라우드플레어의 관리형 robots.txt 서비스를 통해 학습용 콘텐츠 사용을 거부하고 있다. 이번 콘텐츠 시그널 정책을 통해 운영자들은 이러한 선호를 더욱 강화할 수 있다. 

이번 정책이 제공하는 이점은 다음과 같다. 

l   콘텐츠 시그널 해석 단순화: “Yes”는 허용, “No”는 비허용, 시그널 없음은 선호 미표시를 의미

l   콘텐츠 활용 방식 정의: 검색, AI 입력, AI 학습 등 크롤러가 일반적으로 콘텐츠를 사용하는 방식을 명확히 규정

l   법적 의미 상기: robots.txt 파일에 명시된 웹사이트 운영자의 선호가 법적 의미를 가질 수 있음을 기업에 알림

robots.txt 파일만으로 원치 않는 스크래핑을 완전히 차단할 수는 없지만, 클라우드플레어는 이번 정책을 통해 웹사이트 운영자의 선호가 보다 명확히 전달되고 기업들이 이를 존중하는 환경을 조성하는 것을 목표로 한다. 

이제 클라우드플레어는 robots.txt 파일을 위탁 관리하는 고객의 경우 해당 정책 언어를 자동으로 업데이트한다. 또한, 직접 robots.txt를 사용자 지정하려는 운영자를 위해 필요한 툴도 공개적으로 제공한다. 

다니엘 코피(Danielle Coffey) 뉴스미디어연합(News/Media Alliance; NMA) 사장 겸 CEO는 “클라우드플레어가 모든 사용자가 활용할 수 있는 강력한 새 툴을 제공하게 돼 매우 기쁘다. 이는 퍼블리셔들이 자체 콘텐츠에 대한 제어권을 되찾고, 고품질 저널리즘 제작을 지속할 수 있도록 돕는 중요한 진전이다. 이번 조치가 기술 기업들이 콘텐츠 창작자의 선호를 존중하는 계기가 되기를 바란다”고 전했다. 

리키 아라이-로페즈(Ricky Arai-Lopez) 쿼라(Quora) 제품 총괄은 “클라우드플레어의 리더십을 높이 평가하며, 퍼블리셔가 콘텐츠 접근 방식을 직접 관리할 수 있도록 하는 노력을 지지한다”고 말했다. 

크리스 슬로우(Chris Slowe) 레딧(Reddit) 최고기술책임자(CTO)는 “웹이 인간 중심의 상호작용 공간으로 남기 위해서는 명확한 보호 신호가 필요하다. 레딧은 이번 이니셔티브를 적극 지지한다”고 밝혔다. 

에카르트 발터(Eckart Walther) RSL 콜렉티브(RSL Collective) 공동 창업자는 “콘텐츠 시그널 정책은 퍼블리셔가 권리를 주장하고 AI 기업의 활용 방식을 명확히 정의하는 핵심 단계다. 클라우드플레어와 함께 오픈 웹의 지속가능성과 공정한 보상을 실현해 나가겠다”고 말했다. 

프라한트 찬드라세카르(Prahanth Chandrasekar) 스택오버플로(Stack Overflow) CEO는 “최근 몇 년간 인터넷과 콘텐츠 퍼블리셔 간의 관계가 크게 달라졌다. 700억 개 토큰 이상의 데이터를 보유한 스택오버플로는 클라우드플레어와 함께 AI 시대에 콘텐츠 창작자를 보호하고 확장 가능한 시스템을 만드는 데 협력하게 돼 기쁘다”고 말했다.