로봇 파일 차단에도 구글이 URL을 색인하는 이유와 대응 방안

팩트한 레딧 사용자는 구글 서치 콘솔에서 5만 1천여 개의 페이지가 로봇 파일 차단에도 불구하고 색인되었다고 보고했습니다. 해당 주소들은 주로 우커머스 쇼핑몰의 장바구니 추가 파라미터가 포함된 경로입니다.

팩트우커머스 사이트 운영자는 로봇 파일에 'Disallow: /*?add-to-cart=' 규칙을 추가하여 크롤링을 차단했습니다. 그러나 구글 서치 콘솔은 이를 '색인되었으나 로봇 파일에 의해 차단됨' 상태로 분류했습니다.

팩트구글이 크롤링할 수 없는 페이지를 색인하는 이유는 사이트 내부 어딘가에 해당 파라미터가 포함된 링크가 존재하기 때문입니다. 구글은 이 링크를 발견하여 시스템에 추가했습니다.

교차검증로봇 파일은 구글봇의 크롤링을 막을 뿐 페이지가 검색 결과에 노출되는 것 자체를 완전히 차단하지는 않습니다. 따라서 로봇 파일 차단만으로는 검색 결과 노출을 완벽히 방지하기 어렵다는 지적이 있습니다.

주장구글의 존 뮬러는 로봇 파일로 차단된 장바구니 추가 URL이 색인 상태로 표시되더라도 검색 결과에 노출될 가능성은 낮다고 설명합니다. 이러한 URL은 사용자가 직접 검색하는 경우가 거의 없으므로 검색 가시성 측면에서 큰 문제가 되지 않습니다.

교차검증서치 콘솔의 경고 메시지가 반드시 검색 성능에 악영향을 미치는 것은 아닙니다. 이는 기술적인 상태 보고일 뿐 실제 검색 순위 하락과는 무관한 경우가 많습니다.

주장파라미터가 포함된 URL에 '노인덱스' 태그를 추가하는 것은 근본적인 해결책이 되기 어렵습니다. 일반 페이지와 파라미터 페이지가 동일한 템플릿을 공유하는 경우, 파라미터 페이지에만 노인덱스를 적용하기 어렵기 때문입니다.

주장사이트 운영자는 스크리밍 프로그와 같은 도구를 사용하여 내부 링크를 점검해야 합니다. 문제가 되는 링크를 제거하거나 해당 링크에 'rel=nofollow' 속성을 추가하는 것이 권장됩니다.

주장기술적 검색 엔진 최적화 관점에서 로봇 파일 차단은 크롤링을 제어하는 유효한 수단입니다. 더 확실한 차단을 원한다면 내부 링크에 노폴로우 속성을 추가하여 구글에게 강력한 힌트를 제공해야 합니다.

주장검색 엔진은 내부 링크 구조를 따라 페이지를 탐색하므로, 불필요한 파라미터가 포함된 링크를 사이트 내부에서 제거하는 작업이 선행되어야 합니다. 이는 검색 엔진의 효율적인 크롤링을 돕는 핵심 전략입니다.

주장검색 엔진 최적화는 단순히 로봇 파일 설정에 그치지 않고, 사이트 전체의 링크 구조를 최적화하는 과정으로 이어져야 합니다. 운영자는 정기적인 기술 점검을 통해 불필요한 색인 발생을 최소화해야 합니다.

출처서치 엔진 저널의 로저 몬티 기자가 작성한 기사(https://www.searchenginejournal.com/google-explains-why-urls-blocked-by-robots-txt-can-still-be-indexed/579634/)를 교차 검증했습니다.