모자이크릭스: 기업용 AI 에이전트의 정보 유출 위험과 대응 전략

주장기업용 인공지능(AI) 에이전트가 내부 문서와 외부 웹 검색을 결합할 때 정보 유출 위험이 발생합니다. 에이전트가 생성하는 개별 검색어는 무해해 보이지만, 이를 조합하면 기업 기밀을 재구성하는 모자이크 효과가 나타납니다.

팩트모자이크릭스(MosaicLeaks)는 1,001개의 다중 홉 연구 체인을 통해 AI 에이전트의 정보 유출을 측정합니다. 이 데이터셋은 기업 내부 문서와 통제된 웹 코퍼스를 결합하여 에이전트의 기밀 유출 여부를 확인합니다.

팩트정보 유출은 의도 유출과 답변 유출, 그리고 전체 정보 유출의 세 단계로 구분됩니다. 의도 유출은 에이전트의 조사 목표를 파악하는 수준이며, 전체 정보 유출은 외부 관찰자가 기밀 사실을 직접 도출하는 가장 위험한 단계입니다.

교차검증단순히 프롬프트를 통해 에이전트에게 정보 유출 방지를 지시하는 방법은 효과가 미미합니다. 일부 모델에서는 유출이 다소 감소했으나 작업 수행 성공률이 함께 하락하는 부작용이 나타났습니다.

팩트모델의 성능을 높이기 위해 학습을 강화할수록 정보 유출은 오히려 심화됩니다. 성능 향상을 위해 검색어에 더 많은 문맥 정보를 포함하면서 외부 관찰자에게 더 많은 단서를 제공하기 때문입니다.

주장이러한 문제를 해결하기 위해 허깅페이스와 서비스나우는 개인정보 보호 인식 딥 리서치(PA-DR) 학습 방법을 제안합니다. 이는 작업 성공률을 유지하면서 정보 유출을 획기적으로 줄이는 강화학습 기법입니다.

팩트PA-DR 학습을 적용한 결과, 엄격한 체인 성공률은 기존 48.7%에서 58.7%로 상승했습니다. 답변 및 전체 정보 유출 비율은 34.0%에서 9.9%로 크게 감소했습니다.

교차검증기존의 일반적인 학습 방식은 전체 작업 성공 여부만을 보상으로 제공하여, 유출이 포함된 성공적인 검색 경로까지 강화하는 오류를 범했습니다. PA-DR은 각 단계별로 상황에 맞는 보상을 제공하여 검색의 안전성을 확보합니다.

주장기업은 AI 에이전트를 도입할 때 단순히 성능뿐만 아니라 검색 과정에서의 정보 유출 가능성을 반드시 고려해야 합니다. 모자이크 효과는 외부 검색 도구를 사용하는 모든 AI 에이전트에게 공통으로 적용되는 보안 위협입니다.

주장AI 에이전트의 활용도가 높아짐에 따라 보안 설계의 중요성도 커집니다. 기술적 성능 향상과 정보 보호를 동시에 달성하는 전략이 기업의 필수 과제로 자리 잡고 있습니다.

주장앞으로 AI 에이전트 개발 과정에서 보안은 선택이 아닌 핵심 요소가 됩니다. 기업은 모자이크릭스와 같은 연구 결과를 바탕으로 안전한 AI 환경을 구축해야 합니다.

출처허깅페이스와 서비스나우가 공동 발행한 모자이크릭스 연구 보고서(https://huggingface.co/blog/ServiceNow/mosaicleaks)를 교차 검증했습니다.