클로드 공유 채팅의 구글 검색 노출 원인과 대응 방안

주장클로드의 공유 채팅 페이지가 구글 검색 결과에 노출된 현상은 로봇 배제 표준과 노인덱스 태그를 동시에 설정한 기술적 오류에서 비롯합니다. 로봇 배제 표준으로 검색 엔진의 접근을 차단하면 구글 크롤러는 페이지 내부의 노인덱스 지시사항을 확인하지 못합니다.

팩트지난 7월 27일 확인 결과, 클로드의 공유 페이지는 로봇 배제 표준에 의해 차단된 상태였으며 동시에 노인덱스 헤더를 포함하고 있었습니다. 구글의 가이드라인은 노인덱스 태그가 크롤러의 페이지 접근과 내용 확인을 전제로 정상 작동한다고 명시합니다.

교차검증로봇 배제 표준은 검색 엔진의 크롤링 방식을 안내할 뿐 페이지의 색인 생성 여부를 직접 결정하지 않습니다. 외부 페이지에서 해당 주소로 링크를 걸 경우 구글은 페이지 내용을 읽지 않고도 주소를 수집하여 검색 결과에 표시합니다.

팩트404 미디어와 테크크런치의 보도에 따르면, 클로드 공유 페이지를 통해 의료 정보와 내부 문서, 아동의 이름과 전화번호 등이 검색 결과에 노출되었습니다. 클로드 내에서 생성된 문서와 미니 앱인 아티팩트 또한 별도의 경로를 통해 검색 결과에 나타났습니다.

교차검증앤스로픽 측은 공유 링크가 검색 결과에 나타나는 원인을 사용자가 이를 공개적인 장소에 게시했기 때문이라고 설명했습니다. 또한 공유 링크는 사용자가 직접 공유하지 않는 한 외부에서 추측하거나 발견할 수 없다고 덧붙였습니다.

팩트구글 대변인 네드 아드라이언스는 검색 엔진이 페이지의 공개 여부를 결정하지 않는다고 밝혔습니다. 구글은 사이트 소유자에게 크롤링과 색인 생성에 대한 통제권을 제공하며 설정된 규칙을 준수할 뿐이라고 강조했습니다.

주장사용자는 클로드 설정의 개인정보 메뉴에서 공유된 채팅 목록을 확인하고 직접 공유를 해제해야 합니다. 공유를 해제해도 이미 구글에 색인된 주소는 자동으로 삭제되지 않으며 이는 앤스로픽 측의 후속 조치가 필요한 영역입니다.

교차검증아티팩트는 채팅 공유와는 별도의 게시 과정을 거치기에 채팅 공유 해제만으로는 아티팩트의 공개 상태가 해결되지 않습니다. 사용자는 채팅 공유와 아티팩트 게시를 각각 별도로 관리해야 하는 번거로움을 겪습니다.

팩트오픈AI는 2023년 8월 공유된 챗GPT 채팅을 검색 결과에서 제외했습니다. 구글 역시 2023년 바드 대화 내용의 색인을 차단한 바 있습니다.

주장주요 인공지능 기업들 모두 공유 링크가 예상보다 넓게 확산되는 문제를 경험했습니다. 기술적 보완과 함께 사용자 스스로 개인정보 설정을 주기적으로 점검하는 습관이 필요합니다.

팩트앤스로픽은 현재 검색 노출 문제 해결을 위해 공유 페이지의 색인 방식을 재검토하고 있습니다. 사용자는 민감한 정보가 포함된 대화의 경우 공유 기능을 사용하지 않는 것이 가장 안전합니다.

출처서치 엔진 저널의 맷 G. 서던 기자가 작성한 기사를 교차 검증했습니다. (https://www.searchenginejournal.com/indexed-claude-chats-show-why-disallow-is-not-noindex/583852/)