구글, LLMs.txt의 실효성 부인 및 WebMCP 도입 권장

주장구글의 존 뮬러는 현재 웹 생태계에서 논의되는 LLMs.txt가 순전히 추측에 기반한 개념이라고 평가했습니다. 그는 해당 파일이 수년간 존재했음에도 실제 인공지능 시스템에서 이를 활용하는 사례가 없다는 점을 강조했습니다.

팩트구글 검색 센터는 웹사이트가 생성형 AI 검색 결과에 노출되기 위해 별도의 AI 전용 파일을 생성할 필요가 없다고 공식 명시했습니다. 다만 크롬 라이트하우스 문서에 관련 확인 항목이 포함되면서 사용자들 사이에서 혼란이 발생했습니다.

교차검증크롬 라이트하우스 문서는 LLMs.txt가 AI 에이전트의 사이트 구조 이해를 돕는다고 단정하지 않았습니다. 해당 문서는 파일 부재 시 AI가 사이트 구조를 파악하는 데 더 많은 시간을 소요할 가능성을 언급했을 뿐입니다.

팩트존 뮬러는 LLMs.txt를 생성하기 위해 다시 대규모 언어 모델을 사용하는 것은 논리적 모순이라고 비판했습니다. AI가 스스로 파일을 생성할 수 있다면 사람이 미리 파일을 만들어 제공할 이유가 없다는 설명입니다.

주장뮬러는 LLMs.txt보다 웹 표준인 모델 컨텍스트 프로토콜(WebMCP)에 주목할 것을 권장했습니다. WebMCP는 AI 에이전트가 웹사이트의 기능을 발견하고 상호작용하도록 돕는 명확한 목표와 과정을 갖추고 있습니다.

팩트WebMCP는 AI 에이전트가 단순히 하이퍼텍스트 마크업 언어(HTML)를 읽는 것을 넘어 제품 가격 비교, 장바구니 담기, 양식 작성 등 구체적인 작업을 수행하게 합니다. 이 기술은 현재 크롬 브라우저에서 지원됩니다.

교차검증웹사이트 소유자는 LLMs.txt를 통해 리소스 소모를 줄이려 하지만, 현재 AI 에이전트는 인간용으로 설계된 HTML 인터페이스를 그대로 사용합니다. 따라서 별도의 전용 파일 없이도 AI는 충분히 작업을 수행할 수 있습니다.

주장웹사이트 운영자에게 가장 중요한 최적화는 AI 에이전트의 접근을 차단하지 않는 것입니다. 뮬러는 많은 사이트가 AI 에이전트를 막는 행위가 기술적인 파일 도입보다 더 큰 장애물이라고 지적했습니다.

팩트AI 에이전트가 사이트 내에서 자유롭게 클릭하고 작업을 완료하도록 허용하는 것이 현재 가장 기본적인 에이전트 최적화 방식입니다. 복잡한 표준 도입보다 기본적인 접근성 확보가 우선시됩니다.

주장기술적 복잡성을 더하는 파일 생성보다는 AI가 웹사이트의 기능을 원활하게 탐색할 수 있는 환경을 조성하는 것이 효율적입니다. 웹 표준을 준수하는 것이 장기적인 AI 최적화 전략이 됩니다.

팩트구글은 AI 검색 생태계의 건전한 발전을 위해 웹 표준 준수를 지속적으로 강조하고 있습니다. 운영자는 검색 엔진과 AI 에이전트가 정보를 수집하는 과정을 방해하지 않아야 합니다.

출처서치 엔진 저널의 보도와 구글 검색 센터 가이드라인 및 존 뮬러의 레딧 답변을 교차 검증했습니다.