뉴스 매체들의 AI 크롤러 차단 정책 확산과 대응 전략

주장로이터와 타임 등 주요 뉴스 매체들이 인공지능 봇의 접근을 기본적으로 차단하는 정책을 채택하고 있습니다. 이는 무분별한 데이터 수집을 방지하고 인공지능 기업들과의 라이선스 협상을 유리하게 이끌기 위한 전략적 선택입니다.

팩트로이터와 타임은 지난 5월부터 인공지능 봇의 접근을 기본적으로 차단하고 승인된 크롤러만 허용하는 방식을 도입했습니다. 피플과 디 애틀랜틱 등 다른 매체들도 지난 1년 동안 이와 유사한 정책을 시행하고 있습니다.

교차검증기존의 로봇 파일 방식은 크롤러가 이를 준수할 때만 효과가 있다는 한계가 있습니다. 톨빗의 보고서에 따르면 전체 인공지능 봇 스크래핑의 30%가 명시적인 로봇 파일 설정을 무시하고 데이터를 수집합니다.

팩트피플의 혁신 담당 부사장 린지 밴 커크는 화이트리스트 방식 도입 후 차단된 사용자 에이전트 수가 기존 2,100개에서 3만 개 이상으로 급증했다고 밝혔습니다. 이는 기존의 블랙리스트 방식으로는 파악되지 않는 수많은 봇이 존재함을 의미합니다.

팩트버즈스트림의 분석에 따르면 상위 뉴스 매체의 79%가 최소 하나 이상의 인공지능 학습 봇을 차단하고 있습니다. 앤스로픽과 같은 인공지능 기업들도 자사 봇 차단 시 검색 가시성이 낮아질 수 있다고 경고합니다.

주장뉴스 매체들은 공정한 가치 교환이 이루어질 때만 인공지능 봇의 접근을 허용하는 정책을 고수합니다. 로이터는 라이선스 비용 지불, 트래픽 유입, 사이트 운영 지원 등 4가지 가치를 기준으로 허용 여부를 결정합니다.

교차검증인공지능 봇을 차단하는 행위는 검색 가시성이나 추천 트래픽 손실이라는 비용을 동반합니다. 매체들은 봇을 차단하기 전에 해당 봇이 제공하는 가치를 신중하게 평가해야 합니다.

팩트스퍼 연합은 콘텐츠 사용 및 라이선스에 대한 공유 표준을 구축하고 있으며, 최근 30개 회원이 추가되어 총 36개 조직으로 성장했습니다. 여러 매체가 공동으로 대응하며 인공지능 기업들이 개별 매체의 요구를 무시하기 어렵게 만듭니다.

교차검증대형 매체와 달리 소규모 매체들은 협상력이 부족하여 차단 전략을 구사하기 어렵습니다. 라이선스 계약이 보장되지 않는 상황에서 무작정 차단할 경우 검색 노출만 줄어들고 협상 기회조차 얻지 못할 위험이 있습니다.

주장인공지능 콘텐츠 보상 규모가 전통적인 검색 광고 수익에 비해 여전히 작다는 점이 문제입니다. 대형 매체 위주의 라이선스 계약이 지속될 경우, 기본 차단 전략은 소수 대형 매체만을 위한 도구로 남을 가능성이 큽니다.

팩트뉴스 매체들은 인공지능 시대에 걸맞은 새로운 수익 모델을 정립하기 위해 데이터 주권 확보에 집중합니다. 콘텐츠의 정당한 대가를 요구하는 매체들의 움직임은 앞으로 더욱 거세질 전망입니다.

출처서치 엔진 저널의 보도와 톨빗, 버즈스트림, 아이에이비 테크 랩의 자료를 교차 검증했습니다.