기업용 음성 AI 성능 평가 도구 EVA-Bench 2.0 공개

주장음성 AI 에이전트의 성능은 도메인별로 다르게 나타납니다. 특정 분야에서 우수한 모델도 복잡한 정책이 얽힌 인사 관리 시스템 등에서는 성능이 저하됩니다.

주장기업용 인공지능의 실질적인 성능을 측정하려면 도메인별로 특화된 평가 데이터셋이 필요합니다. 범용적인 평가 방식만으로는 실제 업무 환경에서의 대응력을 확인하기 어렵습니다.

팩트EVA-Bench 2.0은 항공 고객 서비스, 기업 IT 서비스 관리, 의료 인사 관리 서비스 등 3개 도메인을 지원합니다. 이 도구는 총 121개의 도구와 213개의 평가 시나리오를 포함합니다.

팩트이번 버전의 시나리오 커버리지는 이전 버전 대비 약 4배 증가했습니다. 기업은 각 도메인별로 분리된 테스트 데이터를 활용해 모델을 검증합니다.

교차검증모든 시나리오는 오픈에이아이 지피티-5.4, 구글 제미나이 3.1 프로, 앤스로픽 클로드 오퍼스 4.6 등 최신 모델로 해결 가능성을 검증했습니다. 이는 벤치마크의 난이도를 유지하고 평가의 공정성을 확보하기 위한 조치입니다.

팩트데이터셋은 오픈소스로 공개되었습니다. 사용자는 허깅페이스 데이터셋 라이브러리를 통해 관련 데이터를 내려받을 수 있습니다.

주장이 벤치마크는 단순한 평가 도구를 넘어 자체적인 평가 데이터셋을 구축하려는 개발자에게 실무적인 가이드를 제공합니다. 데이터 생성 및 검증 과정을 상세히 공개해 투명성을 높였습니다.

팩트데이터 설계에는 음성 우선 범위, 현실성, 다양성, 인증 절차, 재현 가능성 등 5가지 핵심 원칙이 적용되었습니다. 특히 실제 기업 환경에서 발생하는 인증 실패 사례를 반영해 모델의 실전 대응력을 측정합니다.

주장시나리오의 다양성을 확보하기 위해 단순 반복 작업 대신 단일 의도, 다중 의도, 적대적 호출 시나리오를 포함했습니다. 사용자의 목표를 달성할 수 없는 상황을 설정해 모델의 예외 처리 능력을 평가합니다.

팩트시나리오 생성에는 그래프 기반 합성 데이터 생성 파이프라인인 사이그라를 사용했습니다. 사용자 목표, 초기 데이터베이스 상태, 최종 데이터베이스 상태 등 3가지 요소를 공동 생성해 데이터 간 일관성을 유지합니다.

교차검증독립적인 데이터 생성은 데이터베이스와 사용자 목표 간의 불일치를 초래할 위험이 있습니다. 이를 방지하기 위해 다단계 검증 루프를 도입해 구조적 오류와 논리적 일관성을 확인합니다.

출처서비스나우 에이아이 공식 블로그 및 허깅페이스의 에바 벤치 데이터 페이지를 교차 검증했습니다.