2026년 5월 봇 요청 비중 약 60%…클라우드플레어, AI 학습료 요구
제목 연관성·주요 수치·시장 영향·향후 전망을 기준으로 핵심 문장을 선별한 요약 브리핑입니다.
핵심 포인트
- 클라우드플레어 네트워크에서 봇 요청 비중이 2026년 5월 약 60%를 기록했다.
- 회사는 검색 유입과 AI 학습용 크롤링을 분리하는 설정을 도입하고 콘텐츠 이용료 지급을 요구했다.
- 클라우드플레어($NET) 네트워크를 통과한 웹사이트 요청 가운데 봇 요청 비중이 2026년 5월 약 60%를 기록했다.
본문
클라우드플레어 네트워크에서 봇 요청 비중이 2026년 5월 약 60%를 기록했다. 회사는 검색 유입과 AI 학습용 크롤링을 분리하는 설정을 도입하고 콘텐츠 이용료 지급을 요구했다. 클라우드플레어($NET) 네트워크를 통과한 웹사이트 요청 가운데 봇 요청 비중이 2026년 5월 약 60%를 기록했다. 회사가 봇·AI 에이전트 트래픽이 인간 트래픽을 넘어설 것으로 예상한 시점보다 약 1년 앞선 변화다. 다만 여기서 말하는 60%는 전체 인터넷 이용자 수가 아니라 클라우드플레어 네트워크에서 관측한 웹사이트 요청 비중이다. 봇 분류에는 AI 학습 크롤러뿐 아니라 검색엔진 크롤러, 보안 스캐너, API 요청 등 다양한 자동화 요청이 포함될 수 있다. 클라우드플레어는 9월 15일 웹사이트 운영자가 검색용 크롤링은 허용하면서 AI 학습용 접근은 제한할 수 있는 ‘Disallow AI Training’ 설정을 도입했다.
클라우드플레어는 검색 봇을 차단하는 사이트가 전체의 1% 미만인 반면, AI 학습 차단 기능을 일부 활성화한 사이트는 17%라고 밝혔다. AI 기업이 이용료를 지급하더라도 모든 콘텐츠 제작자에게 자동으로 보상이 돌아가는 것은 아니며, 계약 조건과 배분 구조는 별도 논의가 필요하다. 앞서 트위치가 AI 학습을 기본 허용해 창작자 반발을 샀던 사례 처럼 콘텐츠 제공자가 학습 허용 여부를 직접 선택할 수 있는지가 업계의 쟁점으로 떠오르고 있다. 클라우드플레어는 검색·학습·에이전트 트래픽을 구분하는 통제 체계를 확대하고 있으며, 마이크로소프트는 2027년 초 robots.txt 기반 학습 거부 신호 지원을 목표로 개발 중이다. 매슈 프린스(Matthew Prince) 클라우드플레어 CEO는 AI 기업이 모델 개발에 사용하는 콘텐츠와 웹 인프라에 대가를 지급해야 한다고 주장했다.