클라우드플레어, AI 봇 접근 제어 세분화 및 차단 정책 강화

주장클라우드플레어는 웹사이트 운영자가 인공지능 봇의 접근 방식을 정밀하게 통제하는 새로운 제어 도구를 제공합니다. 이는 웹 콘텐츠의 무분별한 수집을 방지하고 운영자의 권리를 강화하는 전략입니다.

팩트기존에는 모든 인공지능 크롤러를 일괄적으로 차단하는 기능만 제공했습니다. 이제는 검색, 학습, 에이전트라는 세 가지 범주로 나누어 설정을 변경할 수 있습니다. 검색은 엔진 인덱싱을, 학습은 모델 훈련용 데이터 수집을, 에이전트는 사용자를 대신하는 봇을 의미합니다.

팩트2026년 9월 15일부터 광고가 포함된 페이지에서는 학습 및 에이전트 봇이 기본적으로 차단됩니다. 광고 수익을 창출하는 사이트는 인간 방문자를 우선시하므로 이러한 정책을 적용합니다.

교차검증검색 크롤러는 계속 허용되지만, 구글봇처럼 검색과 학습을 동시에 수행하는 다목적 크롤러는 가장 엄격한 규칙을 적용받습니다. 이는 검색 엔진의 기능과 데이터 학습 기능을 분리하려는 클라우드플레어의 의도를 반영합니다.

팩트클라우드플레어의 매튜 프린스 최고경영자는 2026년 6월 인터넷상의 봇 트래픽이 인간 트래픽을 처음으로 추월했다고 발표했습니다. 이는 당초 2027년 말에 발생할 것으로 예상했던 현상이 1년 이상 앞당겨진 결과입니다.

주장클라우드플레어는 봇 운영자가 크롤러의 목적을 명확히 구분하도록 압박합니다. 매튜 프린스 최고경영자는 구글이 검색 크롤러와 인공지능 학습 크롤러를 하나로 묶어 운영하는 행태를 공개적으로 비판했습니다.

팩트기업 고객을 위해 봇의 분류와 콘텐츠 활용 방식을 확인하는 봇 데이터베이스인 봇베이스를 대시보드에 도입했습니다. 기업은 특정 봇이 단순히 링크를 제공하는지 아니면 전체 콘텐츠를 복제하는지 파악할 수 있습니다.

팩트검증된 봇에 대한 정책도 변경했습니다. 단순히 검증된 라벨만으로는 접근을 보장하지 않습니다. 봇 운영자는 자신의 정체를 정직하게 밝히고 권한을 남용하지 않음을 증명해야 합니다.

교차검증이러한 세분화된 제어 기능은 유료 고객뿐만 아니라 무료 플랜 사용자에게도 동일하게 제공됩니다. 이는 모든 규모의 웹사이트 운영자가 인공지능 시대에 자신의 콘텐츠를 보호하도록 지원하기 위함입니다.

주장이번 정책 변화는 웹 생태계 내에서 데이터 주권을 확보하려는 클라우드플레어의 의지를 보여줍니다. 운영자는 자신의 콘텐츠가 인공지능 모델 학습에 무단으로 사용되는 것을 방지할 수 있습니다.

주장인공지능 봇의 무분별한 활동은 웹사이트의 성능 저하를 유발할 수 있습니다. 이번 조치는 웹사이트 운영자가 트래픽을 효율적으로 관리하고 사용자 경험을 개선하는 데 기여합니다.

출처더 디코더 보도 내용과 클라우드플레어 공식 발표 자료를 교차 검증했습니다.