구글 딥마인드, AI 에이전트 대규모 배포의 보안 위험성 경고

주장구글 딥마인드의 수석 연구 과학자 네나드 토마셰프는 현재 기술 수준에서 인공지능(AI) 에이전트를 대규모로 배포하는 것은 통계적으로 실패할 가능성이 크다고 분석합니다. 모든 상호작용에서 완벽한 신뢰성을 보장할 수 없기에 대규모 시스템 운영은 위험합니다.

팩트토마셰프는 악의적인 행위자들이 AI 에이전트를 조종하거나 금전을 탈취하기 위해 웹상에 다양한 함정을 설치하고 있다고 밝혔습니다. 이러한 범죄 행위는 실험실 환경이 아닌 실제 웹 환경에서 빈번하게 나타납니다.

교차검증AI 에이전트가 웹 환경에서 마주하는 위험은 인간이 웹을 이용할 때 겪는 위험보다 은밀할 수 있습니다. 인간은 웹페이지의 시각적 요소를 보지만, 에이전트는 원시 데이터 형식으로 정보를 처리하기 때문에 인간에게 보이지 않는 함정에 노출됩니다.

팩트공격자들이 사용하는 주요 함정 기법으로는 숨겨진 토큰, 동적 클로킹, AI 탈옥 유도 콘텐츠가 있습니다. 숨겨진 토큰은 인간의 눈에는 보이지 않지만 에이전트가 데이터를 처리하는 과정에서 강제로 입력되어 의도치 않은 동작을 수행하게 만듭니다.

팩트동적 클로킹은 웹사이트가 접속자가 인간인지 에이전트인지 판별한 뒤, 에이전트에게만 특정 콘텐츠를 보여주어 탈옥을 유도하는 방식입니다. 이는 과거 검색 엔진 최적화 분야에서 사용되던 부정 기법과 유사한 원리를 보입니다.

주장에이전트가 지갑이나 결제 시스템에 접근할 권한을 가질 경우, 공격자들은 이를 악용하여 금전적 피해를 입힙니다. 신뢰할 수 있는 내부 환경에서 테스트할 때는 발견되지 않던 보안 취약점들이 실제 웹에 배포되는 순간 드러납니다.

교차검증에이전트의 배포가 늘어날수록 공격자들에게는 더 큰 경제적 유인이 발생합니다. 공격 대상이 되는 시스템의 규모가 커질수록 해커들이 노릴 수 있는 공격 표면이 넓어지기 때문입니다.

팩트토마셰프는 에이전트가 웹 환경에서 운영되는 한, 환경 자체가 오염되어 있다면 에이전트는 언제든 함정에 빠질 수 있다고 경고했습니다. 이는 모델의 성능 문제가 아니라 에이전트가 상호작용하는 외부 환경의 보안 문제와 직결됩니다.

주장에이전트 운영에는 막대한 컴퓨팅 자원과 비용이 소모되므로, 신뢰성이 담보되지 않은 상태에서의 대규모 배포는 경제적으로 타당하지 않습니다. 보안이 보장되지 않는 시스템은 비즈니스 관점에서 지속 가능한 모델이 아닙니다.

팩트보안 위협이 상존하는 웹 환경에서 AI 에이전트를 운용하는 것은 기술적 한계와 외부 공격에 취약한 구조적 문제를 안고 있습니다. 개발자는 이러한 위험 요소를 사전에 인지하고 대응책을 마련해야 합니다.

주장기술적 신뢰성을 확보하지 못한 상태에서의 무분별한 서비스 확장은 기업에 막대한 손실을 초래합니다. 안정적인 시스템 구축이 선행되지 않는 한 대규모 배포는 지양해야 합니다.

출처구글 딥마인드 인터뷰 내용 및 서치 엔진 저널 보도 자료를 교차 검증했습니다. 자세한 내용은 https://www.searchenginejournal.com/google-deepmind-admits-large-scale-ai-agent-deployment-is-unsafe-today/580321/ 에서 확인할 수 있습니다.