아마존, 인공지능 에이전트 성능 평가 서비스 베드록 에이전트코어 출시

주장인공지능 에이전트의 성능을 보장하려면 전통적인 소프트웨어 테스트 방식을 넘어선 새로운 평가 체계가 필요합니다. 대규모 언어 모델은 비결정적 특성을 지녀 동일한 질문에도 매번 다른 결과값을 내놓기 때문입니다.

팩트아마존 베드록 에이전트코어 평가는 개발 수명 주기 전반에서 에이전트 성능을 측정하는 완전 관리형 서비스입니다. 이 서비스는 2025년 아마존 웹 서비스 리인벤트에서 처음 공개된 이후 현재 정식으로 출시되었습니다.

교차검증기업이 에이전트 평가 체계를 직접 구축하면 데이터셋 관리와 추론 인프라 운영, API 제한 관리 등 막대한 운영 비용이 발생합니다. 평가 도구 유지보수에 시간을 뺏기면 에이전트 개선이라는 본질적인 업무에 집중하기 어렵습니다.

팩트베드록 에이전트코어 평가는 오픈텔레메트리 표준을 활용하여 에이전트의 전체 상호작용을 추적합니다. 프롬프트와 도구 호출, 모델 매개변수 등 생성형 인공지능 특화 데이터를 수집하여 에이전트 동작을 정밀하게 분석합니다.

주장에이전트 평가는 결과값의 성공 여부만 따지는 것이 아니라 도구 선택의 적절성과 매개변수의 정확성 등 전체 흐름을 측정해야 합니다. 이를 위해 명확한 평가 기준과 실제 사용자 요청을 반영한 테스트 데이터셋이 필요합니다.

팩트평가 방식은 크게 세 가지로 나뉩니다. 대규모 언어 모델이 심판 역할을 하는 방식과 정답 데이터와 비교하는 방식, 사용자가 직접 코드를 작성하는 방식입니다. 특히 대규모 언어 모델 심판 방식은 상세한 추론 근거를 제공하여 평가의 투명성을 높입니다.

교차검증평가 모델과 추론 인프라를 서비스가 직접 관리하므로 기업은 별도의 인프라를 구축하거나 자체 할당량을 소모할 필요가 없습니다. 이는 다수의 에이전트를 운영하는 조직의 인프라 부담을 크게 낮춥니다.

주장증거 기반 개발 원칙에 따라 직관이 아닌 정량적 지표로 에이전트를 개선해야 합니다. 다차원 평가를 통해 에이전트의 특정 부분에서 발생하는 문제를 정확히 짚어내고 지속적으로 측정하는 과정이 중요합니다.

팩트베드록 에이전트코어 평가는 개발 단계의 통제된 환경뿐만 아니라 실제 운영 환경에서의 모니터링까지 지원합니다. 이를 통해 프로토타입부터 실제 배포까지 에이전트의 품질을 일관되게 유지합니다.

출처https://aws.amazon.com/blogs/machine-learning/build-reliable-ai-agents-with-amazon-bedrock-agentcore-evaluations/