자동화 트래픽 57.4%…클라우드플레어, AI 크롤링 유료화 추진

본문

클라우드플레어 네트워크에서 자동화 요청이 인간 트래픽을 넘어섰다. 회사는 AI 크롤러를 차단·허용하거나 콘텐츠 이용료를 부과하는 방식을 추진하고 있다. 웹 트래픽의 절반 이상이 사람이 아닌 자동화 요청으로 채워지면서 광고 중심의 인터넷 수익모델이 흔들리고 있다. 클라우드플레어($NET)는 사이트 운영자가 AI 크롤러의 접근을 허용·차단하거나 콘텐츠 이용료를 설정할 수 있는 ‘Pay Per Crawl’ 기능을 제공한다. 클라우드플레어 레이더는 2026년 6월 전 세계 HTML 요청 가운데 자동화 트래픽이 57.4%, 인간 트래픽이 42.6%였다고 집계했다. 자동화 트래픽에는 검색엔진 크롤러와 보안 도구, 악성 봇, AI 에이전트가 함께 포함된다. 따라서 자동화 요청이 인간 요청을 넘어섰다는 사실을 곧바로 AI 트래픽이 웹의 57.4%를 차지했다는 뜻으로 해석할 수는 없다.

클라우드플레어의 2026년 6월 보고서에서는 AI 학습 목적이 식별된 크롤러 요청의 52%를 차지했다.

2025년 봄의 22%에서 늘어난 수치이며, 검색·에이전트·AI 학습을 동시에 수행하는 혼합형 크롤러는 전체 크롤러 활동의 36% 이상으로 집계됐다. 매슈 프린스(Matthew Prince) 클라우드플레어 공동창업자 겸 CEO는 자동화 트래픽이 인간 트래픽을 넘어선 시점이 당초 예상보다 빨랐다고 말했다. AI 서비스가 웹 콘텐츠를 수집한 뒤 이용자에게 답변을 직접 제공하면 콘텐츠는 소비되지만 원문 사이트 방문자는 줄어들 수 있다는 설명이다. 클라우드플레어 네트워크에서 2026년 5월 봇 요청 비중이 약 60%를 기록했다는 앞선 보도 이후, 이번 집계는 자동화 요청의 세부 구성과 AI 크롤러 관리 방식까지 범위를 넓혔다.