AI 시대 콘텐츠 통제권 강화, 클라우드플레어 신규 기능 및 파트너십 발표

클라우드 연결성 기업인 클라우드플레어(Cloudflare, Inc. NYSE: NET)는 오늘 사이트 소유자와 투명한 AI 기업을 연결하여 에이전트 인터넷이 성장할 수 있도록 지원하는 새로운 분류 체계, 향상된 분석 기능, 업계를 선도하는 상업적 파트너십을 발표했다.

Cloudflare의 새로운 도구와 통합 기능은 사이트 소유자와 AI 기업이 검색 가능성, 효율성, 수익화를 최적화할 수 있도록 지원한다. Cloudflare는 이러한 새로운 기반을 마련함으로써 사회와 사이트 소유자, AI 기업 모두에 도움이 되는 건전하고 협력적인 에이전트 경제의 토대를 제공하고 있다.

인터넷 트래픽의 근본적인 성격이 변화했다. 지금은 자동화된 에이전트와 봇이 전체 웹 요청의 절반 이상을 차지한다. AI는 정보를 찾고 온라인에서 상거래를 수행하는 새로운 인터페이스로 자리 잡으며 콘텐츠가 검색되는 방식을 바꾸고 있다. 대부분의 웹사이트 소유자는 자신의 콘텐츠가 AI 시스템에 포함되기를 원한다. 그러나 광고나 구독 모델을 기반으로 하는 기업은 AI 시스템이 보상 없이 콘텐츠를 학습에 사용하는 상황에 위협을 받고 있다. 

우리는 콘텐츠가 AI 시스템에 포함되기를 원하는 기업이라면 가능한 한 쉽고 효율적으로 그렇게 할 수 있어야 한다고 믿는다. 반대로 콘텐츠가 AI 시스템에 사용되기를 원하지 않는 기업이라면 AI의 액세스를 제한할 수 있는 도구를 제공받아야 한다. 이에 대응하기 위해 Cloudflare는 새로운 기본 분류 체계를 시험하고, 고객에게 더욱 심층적인 인사이트를 제공하며, AI Search를 더욱 빠르게 만들고, 콘텐츠가 AI 응답 생성에 사용될 경우 제작자가 정당한 보상을 받을 수 있도록 지원하고 있다. 이를 통해 공정한 경쟁 환경을 조성하고, 크롤링 효율성을 최적화하며, 지식재산을 보호하고, 제작자와 AI가 에이전트 경제에서 함께 성장할 수 있도록 지원한다.

Cloudflare 공동 창립자 겸 CEO인 Matthew Prince는 "지난해 우리는 사이트 소유자에게 어떤 봇이 콘텐츠에 액세스하는지에 대한 투명성과 제어 기능을 제공했으며, 그것이 생태계에 가져온 긍정적인 효과에 매우 만족하고 있습니다."라고 말했다. "이제 인터넷 트래픽의 대부분이 사람이 아닌 만큼, 지속 가능한 생태계가 형성될 수 있도록 우리는 더 과감하고 더 빠르게 움직여야 합니다. Cloudflare의 새로운 도구와 파트너십은 웹사이트 소유자에게 더 높은 가시성과 새로운 비즈니스 기회를 제공하는 동시에, 명확하고 투명한 목적을 가진 봇을 운영하는 AI 기업에도 도움이 됩니다. 또한 우리가 제안하는 새로운 기본 설정이 검색, 에이전트 사용, 학습을 함께 수행하는 혼합형 크롤러가 이러한 기능을 분리하도록 유도하기를 기대합니다."라고 전했다.

혼합형 크롤러의 무임승차를 끝내기 위한 시한

수천 건에 이르는 AI 기업 및 사이트 소유자와의 논의를 통해 한 가지는 분명해졌다. 대부분의 사이트 소유자는 AI에서 검색될 수 있기를 원한다. 그러나 광고 및/또는 구독으로 수익을 창출하는 경우 검색 가능성을 극대화하는 것이 곧 지식재산을 무료로 제공하는 것을 의미해서는 안된다. 투명한 AI 기업들은 봇의 목적을 명확히 구분하고 표시함으로써 이러한 문제를 해결해 왔다. 

반면 혼합형 크롤러 봇은 검색, 에이전트 사용, 학습을 하나로 섞어 사이트 소유자와 투명한 AI 기업 모두에게 불이익을 준다. 이 때문에 콘텐츠 소유자는 에이전트 시대에 검색 가능성을 유지할 것인지, 아니면 가장 가치 있는 콘텐츠를 아무런 보상 없이 제공할 것인지 사이에서 선택을 강요받고 있다. 현재 최대 검색 엔진은 고객이 AI에 활용되는 것을 허용하지 않고서는 검색될 수 있는 상태를 유지하기 어렵게 만들기 때문에, 선도적인 AI 기업보다 약 2배 더 많은 정보에 액세스할 수 있다.

향후 두 달 동안 Cloudflare는 생태계와 협력하고, 피드백을 수렴하며, 테스트를 진행해 새로운 기본 설정과 분류 체계를 확정할 예정이며, 마감 시한은 2026년 9월 15일이다.

기존 고객의 신규 사이트와 신규 고객의 사이트의 경우, 2026년 9월 15일부터 광고가 포함된 페이지에서는 기본 설정이 검색은 허용하고 학습 및 에이전트 사용은 차단하도록 적용된다. 사이트 소유자가 검색, 에이전트 사용, 학습을 개별적으로 선택할 수 없게 하는 혼합형 크롤러는 광고가 포함된 모든 페이지에서 차단된다. 고객은 언제든지 대시보드에서 이러한 설정을 변경할 수 있다.

또한 2026년 9월 15일부터는 해당 날짜까지 대시보드에서 설정을 변경하지 않은 기존 무료 고객에게도 이러한 변경 사항이 적용된다. 이러한 변경은 에이전트 시대에 검색 가능성의 의미를 보다 공정하고 투명한 방식으로 새롭게 정의하고 있는 AI 기업과 기존 검색 기업 간의 경쟁 환경을 더욱 공정하게 만드는 것을 목표로 한다.

가시성을 높이고 콘텐츠를 수익화하기 위한 향상된 분석 기능

콘텐츠 수익화 시장은 이미 현실이 되었다. 지난 1년 동안에만 퍼블리셔와 AI 플랫폼은 50건이 넘는 주요 콘텐츠 라이선스 계약을 체결했다. 이러한 협력을 더욱 촉진하기 위해 Cloudflare는 새로운 Attribution Business Insights 대시보드를 선보인다. 이를 통해 오랫동안 콘텐츠 소유자가 불리한 위치에서 협상할 수밖에 없었던 정보 비대칭을 해소한다. 이제 처음으로 보안 및 IT 팀뿐 아니라 비즈니스 담당자도 AI 봇이 콘텐츠를 어떻게 소비하는지 명확하게 확인하고, 특정 AI 기업이 실제로 얼마나 많은 사람의 트래픽을 다시 사이트로 유입시키는지 추적할 수 있다.

그러나 AI가 콘텐츠를 소비하는 방식을 이해하는 것은 시작에 불과하다. 콘텐츠 검색의 중심이 검색 엔진에서 답변 엔진으로 이동함에 따라 고객은 새로운 분야를 익혀야 한다. 바로 Answer Engine Optimization(AEO)다. AEO는 누가 콘텐츠를 크롤링하는지뿐만 아니라, AI가 생성한 답변에서 콘텐츠가 어떻게 인용되는지, 얼마나 자주 인용되는지, 그리고 각 모델에서 얼마나 눈에 띄게 노출되는지를 이해하는 데 초점을 둔다. 웹 분석이 검색 시대의 핵심 인프라였던 것처럼, Cloudflare는 AI 시대를 위한 대표적인 측정 및 최적화 계층을 제공하는 것을 목표로 한다.

더 스마트한 검색과 공정한 보상

협상을 통한 계약은 대형 퍼블리셔에게는 효과적일 수 있지만, 웹 전체로 확장되지는 않는다. Cloudflare는 제작자와 AI 기업 모두를 지원하기 위해 두 가지 방향으로 노력하고 있다. 하나는 AI Search를 더욱 효율적으로 만드는 것이고, 다른 하나는 제작자의 콘텐츠가 사용될 때 자동으로 보상하는 것이다. 현재 AI 모델과 검색 엔진은 사용자 질문에 답하기 위한 최신 정보를 찾기 위해 변경되지 않은 수백만 개의 웹페이지를 반복해서 크롤링하고 있다. 

Cloudflare 데이터에 따르면 AI 크롤러의 크롤링 트래픽 가운데 50% 이상이 변경되지 않은 페이지를 다시 가져오는 데 사용되고 있다. 그 결과 퍼블리셔는 대역폭을 낭비하고, AI 기업은 컴퓨팅 자원을 낭비하며, 사용자에게 제공되는 답변의 품질도 나아지지 않는다. Cloudflare는 실제로 무엇이 변경되었는지를 파악할 수 있기 때문에 페이지를 다시 가져올 가치가 있는 시점과 그렇지 않은 시점을 신호로 전달할 수 있다. 이를 통해 불필요한 크롤링을 줄이는 동시에 더 나은 결과를 제공할 수 있다. Cloudflare는 이러한 신호가 최신성을 얼마나 향상시키고 불필요한 크롤링을 얼마나 줄이는지 측정하기 위해 주요 AI 기업들과 테스트를 진행하고 있으며, 올해 안에 이를 폭넓게 제공할 계획이다.

1년 전 첫 번째 '콘텐츠 독립기념일'에서 Cloudflare는 퍼블리셔가 AI 기업에 콘텐츠 크롤링 비용을 청구할 수 있도록 ​크롤링당 결제의 첫 번째 버전을 출시했습니다. 오늘 Cloudflare는 이를 사용당 결제로 발전시켜, 퍼블리셔가 콘텐츠를 단순히 가져갈 때가 아니라 실제로 가치 창출에 기여했을 때 보상을 받을 수 있도록 한다. 이를 실현하기 위해 Cloudflare는 Ceramic.ai와 You.com을 비롯한 주요 파트너와 협력하고 있다. 

Ceramic.ai에서는 퍼블리셔가 참여를 선택하면 콘텐츠가 Ceramic의 AI 검색 결과에 표시될 때마다 보상을 받고, 어떤 질의에서 어떤 인용과 순위로 노출되었는지도 확인할 수 있다. 다른 AI 기업은 각자의 운영 방식에 맞는 모델을 적용할 수 있다. 예를 들어 You.com은 에이전트가 필요한 프리미엄 콘텐츠에 대해서만 필요할 때 비용을 지불하도록 지원하며, Cloudflare는 이 모든 방식을 뒷받침하는 공통 계층을 제공한다.

콘텐츠 독립 선언 1년: 그동안 출시된 기능

지난해 콘텐츠 독립기념일의 핵심은 방어였다. 즉, 사용자가 자신의 데이터를 다시 통제할 수 있도록 도구를 제공하는 것이다. 지난 12개월 동안 Cloudflare는 단순한 보호를 넘어 적극적인 지원으로 전환하기 위해 필요한 인프라를 구축하는 데 집중적으로 투자해 왔다. 

오늘 발표하는 내용은 이러한 기반의 결실로, 지속 가능한 생태계를 위한 세 가지 핵심 축인 제어, 투명성, 수익화를 실현한다. 지난해 Cloudflare는 AI 크롤링에 허가 기반 모델을 적용한 AI Crawl Control을 출시했다. 이러한 보호 기능을 누구나 활용할 수 있도록 Cloudflare는 beehiiv와 같은 플랫폼과 협력하여, 독립 크리에이터와 주요 미디어 기업 모두가 세부적인 대시보드를 통해 특정 AI 모델을 쉽게 추적하고, 차단하거나, 허용할 수 있도록 지원했다. 에이전트와의 상호작용을 근본적으로 안전하게 보호하기 위해 Cloudflare는 퍼블리셔와 판매자가 AI 봇과 자율 쇼핑 에이전트의 신원과 정당성을 확인할 수 있도록 하는 개방형 프레임워크인 Web Bot Auth도 주도적으로 개발했다. 

또한 Cloudflare는 선도적인 결제 서비스 제공업체와 협력하여 새롭게 등장하는 에이전트 상거래 경제를 위한 기반 결제 체계를 구축해 왔다. Web Bot Auth를 기반으로 AI 쇼핑 에이전트가 원시 자격 증명을 노출하지 않고도 전 세계 수백만 개 판매자와 안전하게 거래할 수 있도록 지원하고 있다. 궁극적으로 이러한 이니셔티브는 지속 가능한 에이전트 경제의 기반을 마련하여, 인터넷의 다음 시대가 투명성, 검색 가능성, 공정한 보상을 바탕으로 구축될 수 있도록 지원한다.

선도적인 퍼블리셔와 AI 기업, 에이전트 인터넷 지지

beehiiv: "우리는 콘텐츠 검색 가능성이 완전히 새롭게 정의되는 시대에 접어들고 있으며, 독립 크리에이터는 이러한 변화의 중심에 있어야 합니다. 미래는 크리에이터가 자신의 콘텐츠와 독자를 직접 통제하는 것입니다. 우리는 작가들이 직접 방향을 결정할 수 있도록 지원하여, 새로운 에이전트 인터넷에 쉽게 참여하고, 차세대 답변 엔진에서 가시성을 극대화하며, 자신의 방식대로 독자를 적극적으로 확대할 수 있도록 하고자 합니다." – Tyler Denk, CEO

Ceramic.ai: "AI Search의 미래를 확장하려면 폭넓은 도달 범위와 투명성 및 공정한 보상에 대한 공동의 의지를 가진 파트너가 필요합니다. Cloudflare는 우리의 운영을 쉽고 프로그래밍 방식으로 확장할 수 있도록 지원합니다. 우리의 쿼리당 과금(pay-per-query) 모델을 Cloudflare 네트워크에 도입함으로써, 수백만 명의 콘텐츠 소유자가 자신의 콘텐츠가 검색 결과에 표시될 때마다 손쉽게 보상을 받을 수 있도록 하고 있습니다." – Anna Patterson, 설립자 겸 CEO

Condé Nast: "지난 1년 동안 Cloudflare는 Condé Nast와 같은 프리미엄 퍼블리셔를 지속적으로 지원하며, AI 생태계의 핵심 요소인 콘텐츠에 대해 정당한 보상을 받을 수 있도록 적극적으로 목소리를 내왔습니다. Cloudflare는 업계를 선도하는 기술 인프라를 제공할 뿐 아니라, 앞으로 다가올 변화에 대해서도 함께 고민하는 중요한 파트너입니다." – Geoff Campbell, 전략 및 비즈니스 개발 수석 부사장

Patreon: "AI 에이전트가 점점 더 강력해지고 널리 활용되는 만큼, 크리에이터는 자신의 작품이 AI 기업에 의해 어떻게 사용되는지에 대해 실질적인 결정권을 가져야 합니다. 현재 인터넷의 대부분에서는 크리에이터가 독자를 확보하고 성장하기 위해 자신의 작품이 AI 학습에 사용되는 것을 받아들여야 합니다. Patreon은 다른 비전을 가지고 있습니다. 크리에이터는 독자를 확대하는 동시에 자신의 작품이 어떻게 사용되는지를 직접 통제할 수 있어야 합니다. 그렇기 때문에 우리는 Cloudflare와의 기존 협력을 바탕으로 Patreon 전반에서 알려진 AI 학습 크롤러를 네트워크 수준에서 차단하는 한편, 크리에이터가 검색을 통해 발견되고 비즈니스를 성장시키는 데 도움이 되는 크롤러는 계속 허용하는 기능을 구축하고 있습니다." – Drew Rowny, 제품 수석 부사장