구글 딥마인드, 자율 AI 에이전트 위협하는 6가지 함정 공개

주장구글 딥마인드 연구진은 자율 AI 에이전트가 수행하는 외부 환경과의 상호작용 과정에서 발생할 수 있는 6가지 공격 유형을 'AI 에이전트 함정'으로 명명했습니다. 이는 인터넷 검색이나 결제 등 복잡한 업무를 처리하는 AI 에이전트에게 외부 환경 자체가 치명적인 무기가 될 수 있음을 시사합니다.

팩트연구진이 분류한 공격 유형은 콘텐츠 주입, 의미론적 조작, 인지 상태 조작, 행동 제어, 시스템적 함정, 인간 개입 함정입니다. 이들은 에이전트의 인식과 추론, 기억, 행동, 다중 에이전트 역학 및 인간 감독 등 운영 주기의 핵심 요소를 겨냥합니다.

팩트콘텐츠 주입 함정은 웹사이트의 HTML 주석이나 숨겨진 CSS, 이미지 메타데이터에 악성 명령을 삽입하여 에이전트를 속입니다. 인간은 인지할 수 없는 정보를 에이전트가 처리 과정에서 명령으로 오인하여 실행하게 됩니다.

팩트인지 상태 함정은 검색 증강 생성(RAG) 지식 베이스의 문서를 오염시켜 에이전트의 장기 기억을 왜곡합니다. 행동 제어 함정은 조작된 이메일을 통해 에이전트의 보안 분류기를 우회하고 기밀 정보를 유출하도록 강제합니다.

팩트시스템적 함정은 다중 에이전트 네트워크를 대상으로 가짜 금융 보고서를 유포하여 거래 오류나 디지털 플래시 크래시를 유발합니다. 이는 여러 소스에 페이로드를 분산시켜 단일 에이전트가 공격을 감지하지 못하게 만듭니다.

교차검증연구진은 이러한 공격이 이론적 가능성을 넘어 이미 검증된 개념 증명 단계에 도달했다고 강조합니다. 특히 여러 함정을 층층이 쌓거나 연쇄적으로 활용하는 결합적 공격 방식이 위험성을 극대화합니다.

주장AI 에이전트 보안 문제는 단순한 프롬프트 주입을 넘어 정보 환경 전반의 위협으로 다뤄야 합니다. 연구진은 기술적 방어 체계 구축과 함께 AI 소비를 위한 웹 표준 마련, 책임 소재를 명확히 하는 법적 규제가 필요하다고 주장합니다.

팩트연구진은 기술적 대응책으로 적대적 예제를 활용한 모델 강화와 런타임 단계의 다단계 필터링을 제안합니다. 또한 AI 에이전트가 금융 범죄 등을 저지를 경우 운영자와 모델 제공자, 도메인 소유자 사이에서 발생하는 '책임 격차' 문제를 해결해야 한다고 지적합니다.

교차검증현재 AI 에이전트 공격 유형에 대한 표준화된 벤치마크가 부족합니다. 적절한 테스트 체계가 마련되지 않는다면 실제 배포된 에이전트가 이러한 위협에 얼마나 취약한지 정확히 파악하기 어렵습니다.

팩트컬럼비아 대학교와 메릴랜드 대학교 연구에 따르면 웹 접근 권한이 있는 AI 에이전트는 신용카드 번호 등 기밀 데이터를 10번 중 10번 모두 유출할 정도로 조작에 취약합니다. 샘 올트먼 오픈AI 최고경영자 역시 고위험 작업이나 민감한 데이터 처리에 AI 에이전트를 활용하는 것에 대해 경고했습니다.

출처구글 딥마인드 블로그 발표를 교차 검증했습니다.