AI 에이전트의 불필요한 행동 멈추는 ‘에이전틱 앱스테인션’ 기술 개발

팩트한 루오(Han Luo), 빙빙 웬(Bingbing Wen), 루시 루 왕(Lucy Lu Wang) 연구진은 AI 에이전트가 불확실한 상황에서 행동을 멈춰야 할 시점을 판단하는 ‘에이전틱 앱스테인션(Agentic Abstention, 에이전트의 행동 중단)’ 문제를 정의했습니다. 연구진 소속 정보는 arxiv 등록 기준입니다.

주장현대의 거대언어모델(LLM) 기반 에이전트는 검색, 브라우징, 터미널 도구 등을 활용해 복합적인 작업을 수행합니다. 하지만 모든 사용자의 목표가 명확하거나 달성 가능한 것은 아닙니다.

팩트연구진은 웹 쇼핑, 터미널 환경, 질의응답 등 3가지 분야에서 13개의 LLM 기반 에이전트 시스템과 2개의 에이전트 스캐폴드(Agent Scaffold, 에이전트의 행동을 제어하는 구조화된 틀)를 대상으로 2만 8천 개 이상의 작업을 평가했습니다.

주장에이전트는 단순히 행동을 멈추는 것뿐만 아니라, ‘언제’ 멈춰야 하는지를 판단하는 것이 핵심입니다. 일부 에이전트는 중단이 필요한 상황에서도 계속 행동하거나, 수많은 불필요한 상호작용을 거친 뒤에야 멈추는 경향을 보였습니다.

팩트특히 작업 초기에는 목표 달성이 가능해 보이다가, 환경과 상호작용한 뒤에야 불가능함이 드러나는 경우 에이전트의 판단 오류가 크게 발생했습니다.

주장모델의 규모가 크거나 추론 능력이 뛰어나다고 해서 반드시 적절한 시점에 행동을 중단하는 것은 아닙니다. 연구 결과, 오히려 더 강력한 모델이 적시 중단 성능에서 낮은 효율을 보이기도 했습니다.

팩트연구진은 이를 해결하기 위해 ‘콘볼브(CONVOLVE)’라는 문맥 공학(Context Engineering, 모델의 파라미터를 수정하지 않고 입력 데이터의 구성 방식을 최적화하는 기법) 방법을 도입했습니다.

팩트콘볼브는 전체 상호작용 궤적을 재사용 가능한 중단 규칙으로 압축합니다. 이 방식을 적용한 결과, 라마-3.3-70B(Llama-3.3-70B) 모델의 적시 중단 재현율(Timely Recall Rate)이 기존 26.7%에서 57.4%로 상승했습니다.

교차검증본 연구는 arxiv에 선공개된 논문으로, 아직 학계의 공식적인 동료 평가(Peer Review) 과정을 거치지 않았습니다. 따라서 연구 결과의 학술적 타당성은 추후 검증이 필요합니다.

교차검증이번 연구는 특정 환경과 작업에 최적화된 결과일 가능성이 큽니다. 다양한 도메인과 복잡한 실무 환경에서 모델이 얼마나 범용적으로 작동할지에 대한 재현성과 일반화 가능성은 추가적인 검증이 요구됩니다.

주장이번 기술은 AI 에이전트가 자원 낭비를 줄이고 사용자에게 더 신뢰할 수 있는 결과를 제공하는 데 기여할 전망입니다. 에이전트가 스스로 한계를 인지하는 능력은 자율형 AI 시스템의 필수 요소입니다.

출처arxiv의 선공개 논문(https://arxiv.org/abs/2606.28733)을 참고했습니다.