아마존 웹 서비스, 에이전트 성능 최적화 루프 도입

주장인공지능 에이전트는 출시 이후 모델의 변화와 사용자 행동의 변동으로 성능이 점진적으로 저하되는 문제를 겪습니다. 아마존 웹 서비스는 이를 해결하고자 관찰과 평가, 개선으로 이어지는 자동화된 성능 루프를 제시합니다.

팩트아마존 웹 서비스는 에이전트코어 최적화 기능을 프리뷰 형태로 새롭게 발표했습니다. 이 기능은 생산 환경의 추적 데이터를 분석하여 시스템 프롬프트나 도구 설명을 개선하는 추천안을 생성합니다.

팩트에이전트코어는 배치 평가 기능을 통해 사전 정의된 데이터셋으로 추천안을 검증합니다. 거대언어모델 기반의 액터를 활용하여 실제 사용자 역할을 시뮬레이션함으로써 평가의 정확도를 높입니다.

팩트에이전트코어 게이트웨이를 통해 에이전트의 에이비 테스트를 수행합니다. 실시간 트래픽을 분할하여 신규 버전과 기존 버전의 성능을 통계적 유의성을 바탕으로 비교합니다.

교차검증기존의 에이전트 개선 방식은 개발자가 수동으로 추적 데이터를 읽고 가설을 세워 프롬프트를 수정하는 방식이었습니다. 이러한 방식은 시간이 오래 걸릴 뿐만 아니라 새로운 문제를 유발할 위험이 큽니다.

팩트에이전트코어는 오픈텔레메트리 호환 추적을 통해 모든 모델 호출과 도구 실행 단계를 기록합니다. 이를 통해 목표 성공률과 도구 선택 정확도, 안전성 등을 자동으로 평가합니다.

팩트엔티티 데이터의 오쿠다 요시하루는 에이전트코어를 통해 수주가 걸리던 프롬프트 튜닝 과정을 신속하고 반복 가능한 주기로 전환했다고 평가했습니다. 그는 데이터 기반의 가치 창출을 위해 지속적인 에이전트 개선이 필수적이라고 강조합니다.

팩트노무라 연구소의 시미즈 마사시는 에이전트코어를 통해 수동 반복 작업이 체계적인 주기로 바뀌었다고 언급했습니다. 개선 과정이 누적되면서 다음 개선을 위한 기준 데이터를 자동으로 생성하는 선순환 구조를 갖추게 됩니다.

주장아마존 웹 서비스의 장기적인 비전은 에이전트 성능 개선의 플라이휠을 구축하는 것입니다. 추적이 평가를 유도하고 평가가 성능 저하를 감지하며 추천이 이를 해결하고 에이비 테스트가 이를 증명하는 자동화된 시스템을 지향합니다.

출처아마존 웹 서비스 공식 블로그의 관련 게시물을 통해 해당 내용을 교차 검증했습니다. (https://aws.amazon.com/blogs/machine-learning/introducing-the-agent-performance-loop-agentcore-optimization-now-in-preview/)