AWS, 인공지능 에이전트 품질 최적화 루프 도입

주장인공지능 에이전트는 출시 이후 모델 변화와 사용자 행동 양식에 따라 시간이 흐를수록 성능이 저하됩니다. 기존의 수동적인 개선 방식은 비효율적이며, 아마존웹서비스는 이를 해결하기 위해 자동화된 품질 루프 시스템을 도입합니다.

팩트아마존 베드록 에이전트코어는 에이전트의 성능을 관찰하고 평가하며 개선하는 전 과정을 자동화합니다. 이번에 발표된 기능은 추천 시스템과 배치 평가, 그리고 에이비 테스트를 포함하여 에이전트의 품질을 체계적으로 관리합니다.

팩트추천 기능은 프로덕션 트레이스와 평가 결과를 분석하여 시스템 프롬프트나 도구 설명을 최적화합니다. 배치 평가는 미리 정의된 데이터셋을 사용하여 변경 사항이 기존 성능에 미치는 영향을 검증합니다.

팩트에이비 테스트는 에이전트코어 게이트웨이를 통해 실시간 트래픽을 분할하여 두 버전의 성능을 비교합니다. 이 과정에서 통계적 유의성과 신뢰 구간을 제공하여 개발자가 데이터에 기반한 의사결정을 내리도록 돕습니다.

팩트에이전트코어는 오픈텔레메트리 호환 트레이스를 통해 모든 모델 호출과 도구 실행 단계를 기록합니다. 이러한 데이터는 목표 성공률과 도구 선택 정확도, 안전성 등 다양한 차원에서 자동으로 평가됩니다.

주장에이전트의 성능 최적화는 단순히 프롬프트 수정에 그치지 않고 도구 설명 개선까지 확장됩니다. 이는 데이터 기반의 가치 창출을 위해 지속적인 평가와 개선이 필수적임을 시사합니다.

교차검증현재 이 기능은 개발자가 직접 트리거를 실행하는 프리뷰 단계로 제공됩니다. 자동화된 루프가 완성되더라도 최종적인 배포 결정과 검토는 여전히 개발자의 판단에 의존합니다.

교차검증시스템은 도구의 구현 자체를 변경하지 않습니다. 제안된 개선안을 개발자가 최종적으로 승인하는 방식을 취합니다.

팩트엔티티 데이터의 오쿠다 요시하루는 수주가 걸리던 프롬프트 튜닝 과정이 에이전트코어를 통해 반복 가능한 빠른 주기로 진화했다고 평가했습니다.

팩트노무라 종합연구소의 시미즈 마사시는 수동 반복 작업이 데이터 기반의 반복 가능한 주기로 바뀌었다고 언급했습니다. 각 개선 주기는 다음 단계의 기준 데이터를 생성하며, 이를 통해 개선 과정이 복리 효과를 냅니다.

출처아마존웹서비스 공식 블로그 및 관련 기술 자료를 교차 검증했습니다.