기업용 IT 에이전트 성능 평가 지표 ITBench-AA 공개

주장인공지능 모델이 기업용 IT 운영의 핵심인 사이트 신뢰성 엔지니어링 분야에서 50% 미만의 낮은 해결 능력을 보입니다. 이는 현재의 최첨단 모델이 복잡한 인프라 문제를 해결하는 에이전트로서 성숙하지 않았음을 의미합니다.

팩트ITBench-AA는 IBM과 아티피셜 애널리시스가 공동 개발한 벤치마크입니다. 이 지표는 총 59개의 사이트 신뢰성 엔지니어링 작업으로 구성됩니다.

팩트인공지능 모델은 쿠버네티스 로그와 메트릭, 토폴로지 정보를 분석하여 문제의 근본 원인을 찾아냅니다. 평가 방법론은 스티럽이라는 오픈소스 하네스를 사용하여 모든 모델에 동일한 환경을 제공합니다.

팩트모델은 100턴 이내에 쿠버네티스 배포와 서비스, 파드 등 근본 원인이 되는 엔티티를 제출해야 합니다. 평가 결과 클로드 오퍼스 4.7이 47%로 가장 높은 점수를 기록했습니다.

팩트GPT-5.5는 46%, 큐웬3.7 맥스는 42%의 점수를 보였습니다. 모든 최첨단 모델이 50% 미만의 점수를 기록하며 해당 벤치마크가 매우 도전적인 과제임을 증명했습니다.

교차검증모델이 문제를 해결하기 위해 수행하는 턴 수가 많다고 해서 반드시 정확도가 높아지지는 않습니다. 제미나이 3.1 프로 프리뷰는 평균 83턴을 수행하고도 30%의 점수를 기록했습니다.

교차검증모델이 근본 원인 외에 부수적인 증상이나 관련 없는 요소를 원인으로 지목할 경우 정밀도 점수가 하락하는 페널티를 받습니다. 이는 모델이 과도하게 정보를 탐색할 때 발생하는 잘못된 판단이 성능 저하의 주요 원인임을 보여줍니다.

팩트오픈 웨이트 모델인 GLM-5.1은 40%의 점수를 기록하며 제미나이 3.5 플래시와 대등한 성능을 보였습니다. 젬마 4 31B 모델은 37%의 점수를 기록하며 비용 대비 효율성 측면에서 우수한 성과를 나타냈습니다.

팩트가장 비용이 많이 드는 모델은 클로드 오퍼스 4.7로 작업당 5.38달러가 소요됩니다. 반면 젬마 4 31B는 작업당 0.14달러의 비용으로 37%의 성능을 내어 높은 경제적 효율성을 입증했습니다.

주장기업용 IT 환경은 단순한 텍스트 생성을 넘어 복잡한 시스템 진단 능력을 요구합니다. 이번 벤치마크는 향후 금융 운영 및 보안 분야로 확장될 예정이며 기업용 인공지능 에이전트의 표준 지표가 될 것입니다.

출처허깅페이스 블로그와 아카이브 논문, 깃허브 및 리더보드 정보를 교차 검증했습니다.