구글이 밝힌 구글봇 크롤링 데이터 제한은 '2MB', 대응법은?

팩트구글은 구글봇이 독립적인 시스템이 아니라 중앙 집중식 크롤링 플랫폼을 공유하는 여러 클라이언트 중 하나라고 설명합니다. 여러 서비스가 웹 데이터를 수집할 때 공통으로 사용하는 단일 인프라라는 뜻입니다.

팩트구글 쇼핑이나 애드센스 등 다른 구글 서비스들도 동일한 인프라를 사용하며, 각기 다른 설정과 사용자 에이전트를 가집니다.

주장구글은 이 구조로 서버 운영 비용을 절감하고 데이터 수집 효율을 극대화합니다. 웹사이트 운영자는 이 단일 플랫폼의 2MB 제한 기준을 충족해야 구글의 서비스 영역에 노출될 수 있습니다.

팩트구글봇은 일반 웹 페이지에 대해 최대 2MB까지만 데이터를 가져오며, PDF 파일은 64MB까지 허용합니다. 별도의 제한을 지정하지 않은 다른 크롤러들은 기본적으로 15MB까지 데이터를 수집합니다.

팩트2MB 제한에는 HTTP 요청 헤더 정보도 포함됩니다. 페이지 용량이 2MB를 초과하면 구글봇은 해당 페이지를 거부하지 않고, 2MB 지점에서 내용을 잘라낸 뒤 인덱싱 시스템으로 전달합니다.

교차검증2MB 이후의 콘텐츠는 구글봇이 가져오거나 렌더링하지 않으며 인덱싱도 되지 않습니다. 따라서 웹사이트의 핵심 정보가 문서 하단에 위치할 경우 검색 결과에 반영되지 않을 위험이 있습니다.

팩트HTML 내에서 참조되는 CSS나 자바스크립트와 같은 외부 리소스는 별도의 바이트 카운터를 가집니다. 외부 파일들은 페이지 본문의 2MB 제한에 포함되지 않고 각각 독립적으로 처리됩니다.

팩트구글은 웹 성능 최적화를 위해 무거운 CSS와 자바스크립트를 외부 파일로 분리할 것을 권장합니다.

주장이를 충족하기 위해서는 메타 태그, 타이틀 태그, 정식 태그 등 중요한 요소가 HTML 문서의 상단에 배치해야 합니다.

팩트웹 렌더링 서비스(WRS)는 자바스크립트를 실행하여 페이지 구조를 이해하지만, 이미지나 비디오 파일은 직접 요청하지 않습니다. WRS는 상태를 유지하지 않는 방식으로 작동하며, 요청 사이마다 로컬 저장소와 세션 데이터를 초기화합니다.

주장인라인 base64 이미지나 과도하게 긴 인라인 CSS 및 자바스크립트 코드는 페이지 용량을 급격히 늘립니다. 이러한 요소들이 포함된 페이지는 2MB 제한을 초과할 가능성이 높으므로 주의가 필요합니다.

주장현재의 2MB 제한은 고정된 수치가 아니며 웹 환경의 변화에 따라 앞으로 변경될 수 있습니다. 구글은 웹 페이지의 평균 크기가 커짐에 따라 크롤링 정책을 유연하게 조정할 가능성을 열어두었습니다.

팩트2MB 제한 적용 범위는 텍스트, 인라인 코드, HTTP 헤더를 모두 합친 HTML 문서 본문 용량입니다. 외부 파일로 연결된 리소스는 이 계산에서 제외됩니다.

주장가벼운 HTML 구조를 유지하고 Gzip 또는 Brotli 압축을 사용하여 전송 용량을 줄여야 합니다. 문서 용량 초과로 핵심 정보가 잘려나가면 검색 엔진 노출 기회를 상실할 수 있습니다.

출처본 기사는 https://www.searchenginejournal.com/google-explains-googlebot-byte-limits-and-crawling-architecture/570961/의 논문과 실무에서 활용할 수 있는 기술을 바탕으로 작성했습니다.