VAKRA 벤치마크의 AI 에이전트 추론 및 도구 활용 평가 체계 도입

주장VAKRA는 기존의 단편적인 기술 테스트를 넘어 기업 환경과 유사한 복잡한 다단계 워크플로우에서 AI 에이전트가 안정적으로 추론하고 행동하는지 평가합니다. 이는 실제 비즈니스 환경에서 인공지능의 실질적인 활용 가능성을 검증하는 핵심 지표가 됩니다.

팩트VAKRA 벤치마크는 62개 도메인에 걸쳐 8,000개 이상의 로컬 호스팅 API와 연동된 데이터베이스를 제공합니다. 각 작업은 3단계에서 7단계에 이르는 추론 체인을 요구하며 구조화된 API 상호작용과 비구조화된 문서 검색을 결합합니다.

팩트API 체이닝 평가 기능은 54개 도메인에서 2,077개의 테스트 인스턴스를 포함합니다. 에이전트는 1개에서 12개의 도구 호출을 연결해 최종 답변을 도출하며 데이터 전송 효율을 위해 서버 측에서 데이터를 처리합니다.

팩트대시보드 API 도구 선택 기능은 17개 도메인에서 1,597개의 인스턴스를 다룹니다. REST-BIRD 컬렉션을 사용하며 도메인당 평균 116개의 도구를 제공해 에이전트의 적절한 도구 선별 능력을 측정합니다.

팩트오픈에이아이(OpenAI) API 사양은 도구 목록 입력을 최대 128개로 제한합니다. 이로 인해 에이전트 개발자는 도구 목록의 길이를 관리하는 별도의 단축 목록 메커니즘을 구현해야 하는 기술적 제약을 갖습니다.

팩트다중 홉 추론 기능은 38개 도메인에서 869개의 테스트 인스턴스를 포함합니다. 이는 여러 증거를 추출하고 결합하는 1개에서 5개의 논리적 단계를 요구해 복합적인 정보 처리 능력을 평가합니다.

팩트다중 소스 추론 및 정책 준수 평가 기능은 41개 도메인에서 644개의 인스턴스를 제공합니다. 여기에는 API 호출과 검색 증강 생성(RAG)을 혼합해 수행해야 하는 복잡한 작업이 포함됩니다.

팩트이 벤치마크는 다중 턴 대화와 도구 사용 정책 준수 여부도 평가 항목에 포함합니다. 에이전트는 대화 이력을 유지하면서 주어진 정책에 따라 도구를 사용하는 고난도의 제약 조건을 해결해야 합니다.

교차검증현재 대부분의 AI 모델은 VAKRA 벤치마크에서 낮은 성능을 보입니다. 이는 복잡한 도구 사용과 다단계 추론이 결합된 환경에서 에이전트가 여전히 상당한 오류를 나타냄을 시사합니다.

교차검증데이터 생성 과정에서 정보 소스를 오염 제거하여 특정 단계에 필요한 정보가 오직 하나의 소스에서만 나오도록 설계했습니다. 이는 에이전트가 추론 과정에서 정보를 혼동하지 않고 정확한 소스를 선택하는지 엄격하게 평가하기 위함임을 허깅페이스(Hugging Face) 공식 블로그를 통해 교차 검증했습니다.

출처https://huggingface.co/blog/ibm-research/vakra-benchmark-analysis (IBM Research, 2026년 4월 15일 발행)을 교차 검증했습니다.