장기 기억 LLM 에이전트 성능 평가 플랫폼 '에이전틱STS' 공개

팩트상하이 AI 연구소(Shanghai AI Lab)와 홍콩 중문대학교 등 공동 연구진이 장기 기억 LLM 에이전트의 성능을 검증하는 테스트베드인 '에이전틱STS(AgenticSTS)'를 발표했습니다.

주장기존 LLM 에이전트는 과거의 모든 정보를 프롬프트에 무작위로 나열하는 방식을 사용해 성능 측정에 한계가 있었습니다. 연구진은 이를 해결하기 위해 필요한 정보만 선별적으로 호출하는 '제한적 메모리 계약(Bounded-Memory Contract)' 방식을 도입했습니다.

팩트이 방식은 모든 의사결정 단계에서 과거의 원시 데이터를 전부 포함하지 않고, 유형별로 검색된 정보만을 활용합니다. 덕분에 프롬프트의 길이를 일정하게 유지하면서 특정 기억 요소가 에이전트의 판단에 미치는 영향을 독립적으로 분석할 수 있습니다.

팩트연구진은 이 플랫폼을 검증하기 위해 복잡한 전략 게임인 '슬레이 더 스파이어 2(Slay the Spire 2)'를 활용했습니다. 이 게임은 수백 번의 전술적 결정을 요구하며, 인간의 승률은 최저 난이도 기준 약 16%에 불과할 정도로 난도가 높습니다.

팩트기존 LLM 모델들은 동일한 게임 환경에서 최저 난이도조차 승리하지 못하는 결과를 보였습니다. 이는 현재의 LLM 에이전트가 장기적인 전략 수립에 상당한 어려움을 겪고 있음을 시사합니다.

주장연구진은 에이전트의 기억 구조를 분리해 분석한 결과, 특정 전략 기술을 활성화했을 때 에이전트의 승률이 유의미하게 개선되는 점을 확인했습니다. 이는 에이전트 설계에서 기억 계층의 구조화가 핵심임을 보여줍니다.

교차검증본 연구는 아카이브(arXiv)에 공개된 선공개 논문으로, 아직 학계의 공식적인 동료 평가(Peer Review) 과정을 거치지 않았습니다. 따라서 연구 결과의 학술적 엄밀함은 향후 검증이 필요합니다.

교차검증또한, 이번 실험은 특정 게임 환경에 국한되어 진행되었습니다. 따라서 다른 복잡한 실제 업무 환경이나 다양한 분야로 연구 결과를 일반화하기에는 데이터의 다양성과 범용성 측면에서 한계가 존재합니다.

팩트연구진은 총 298개의 완성된 에이전트 궤적 데이터와 메모리 스냅샷, 분석 스크립트를 포함한 테스트베드를 공개했습니다. 이는 에이전트 설계 연구의 재현성을 높이는 데 기여할 전망입니다.

주장이번 연구는 단순히 모델의 성능을 측정하는 것을 넘어, 명시적인 기억 계층이 에이전트의 장기적인 의사결정에 어떤 영향을 미치는지 규명하는 새로운 방법론을 제시합니다.

팩트연구진은 향후 다양한 LLM 모델을 대상으로 이 테스트베드를 적용해 에이전트의 지능을 고도화하는 연구를 지속할 계획입니다.

출처arxiv의 선공개 논문(https://arxiv.org/abs/2607.02255)을 참고했습니다.