에이전트 AI 관리 위한 새로운 거버넌스 전략

주장기존의 정적인 정보기술(IT) 거버넌스 체계는 자율적으로 추론하고 행동하는 에이전트형 인공지능(AI) 시스템을 관리하는 데 한계가 있습니다. 에이전트 AI는 고정된 패턴을 따르지 않고 비결정적인 방식으로 작동하기 때문에 새로운 차원의 통합 관리 체계가 필요합니다.

팩트아마존웹서비스(AWS)는 생성형 AI 혁신 센터를 통해 AI 리스크 인텔리전스(AIRI) 솔루션을 개발했습니다. 이 솔루션은 보안과 운영, 거버넌스 제어를 단일 관점에서 평가하며 AWS의 책임 있는 AI 모범 사례 프레임워크를 기반으로 설계되었습니다.

교차검증에이전트 시스템에서는 보안 취약점이 여러 운영 차원에서 동시에 연쇄적으로 발생할 수 있습니다. 기존의 데이터 손실 방지 도구나 네트워크 모니터링은 에이전트의 의도된 범위 내에서 발생하는 악의적인 행동을 탐지하는 데 어려움을 겪습니다.

팩트오픈 월드와이드 애플리케이션 시큐리티 프로젝트(OWASP)는 2026년 에이전트 애플리케이션을 위한 10대 보안 위협 중 하나로 도구 오용 및 악용을 지목했습니다. 이는 권한을 가진 AI 에이전트가 악의적인 지시를 받아 민감한 데이터를 외부로 유출하는 시나리오를 포함합니다.

주장에이전트 시스템의 위험을 관리하려면 보안과 운영이 에이전트의 작동 방식과 직접 통합되어야 합니다. 단순히 개별적인 보안 조치를 적용하는 단계를 넘어 에이전트의 행동이 의도된 범위 안에 있는지 지속적으로 평가해야 합니다.

팩트AIRI는 미국 국립표준기술연구소(NIST) AI 리스크 관리 프레임워크와 국제표준화기구(ISO), OWASP 등 다양한 표준을 지원합니다. 이 솔루션은 정적인 문서를 인간이 해석하는 대신 에이전트의 생애주기 전반에 걸쳐 자동화된 평가를 수행합니다.

팩트AIRI는 특정 프레임워크에 구애받지 않는 엔진을 사용하여 조직의 투명성 정책이나 산업별 규정 준수 요구사항을 평가합니다. 이는 특정 위협에 대한 규칙을 하드코딩하는 방식이 아니라 감사자가 증거를 검토하는 것처럼 논리적으로 위험을 판단합니다.

주장AIRI는 시스템의 아키텍처 문서와 에이전트 구성, 조직 정책 등 실제 아티팩트에서 증거를 추출하여 평가합니다. 이러한 추론 기반 접근 방식은 에이전트 아키텍처가 변경되어도 재설계 없이 유연하게 대응할 수 있게 합니다.

팩트AIRI는 평가의 신뢰성을 높이기 위해 의미론적 엔트로피 기법을 사용합니다. 동일한 평가를 여러 번 반복하여 결과의 일관성을 측정하며 결과값이 크게 다를 경우 불확실한 판단을 내리는 대신 인간의 검토를 요청합니다.

팩트실제 AI 어시스턴트 사례 평가에서 AIRI는 수백 개의 제어를 검토하여 중간 위험 등급을 산출했습니다. 평가 결과 8개의 치명적 위험과 7개의 높은 위험 항목이 발견되었으며 이는 안전성 및 제어 가능성 측면에서 보완이 필요함을 시사합니다.

출처https://aws.amazon.com/blogs/machine-learning/can-your-governance-keep-pace-with-your-ai-ambitions-ai-risk-intelligence-in-the-agentic-era/