AI 에이전트 성능 평가 도구 씽킹박스 공개

주장마이크로소프트와 허깅페이스는 인공지능 에이전트의 성능을 평가할 때 생성된 문장 대신 데이터베이스의 최종 상태를 기준으로 삼아야 한다고 강조합니다. 에이전트가 도구를 올바르게 호출했더라도 실제 데이터베이스의 기록이 의도와 다를 수 있기 때문입니다.

팩트씽킹박스는 507개의 상태 기반 비즈니스 워크플로우를 대상으로 각 모델을 20회씩 반복 실행하여 성능을 측정합니다. 이 벤치마크는 에이전트가 남긴 터미널 백엔드 상태와 부작용을 평가하며, 허깅페이스를 통해 세상에 나왔습니다.

팩트12만1680회의 시도 중 7만9853회의 시도가 실행 가능성 검사에서 실패했습니다. 실패한 사례 중 67.24퍼센트는 에이전트가 오류 메시지 없이 정상 종료되었음에도 불구하고 데이터베이스 값 오류와 의도치 않은 부작용이 발생하여 실제 결괏값이 잘못된 것으로 나타났습니다.

팩트평가 지표는 전체 시도 중 성공 비율인 일회 성공률과 20회 중 한 번이라도 성공한 비율인 이십 회 중 일회 성공 비율, 그리고 20회 모두 성공한 비율인 이십 회 중 이십 회 성공 비율로 구분하여 신뢰성을 측정합니다.

교차검증기존의 많은 인공지능 벤치마크는 단일 시도의 성공률만을 측정하지만, 이는 에이전트의 신뢰성을 보장하지 못합니다. 씽킹박스는 20번의 반복 수행을 통해 에이전트가 매번 일관된 결과를 도출할 수 있는지 확인하는 데 집중합니다.

팩트모델별 평가 결과, 클로드 오푸스 오점오가 67.16퍼센트의 일회 성공률 점수로 전체 1위를 차지했습니다. 오픈 웨이트 모델 중에서는 키미 케이삼이 57.37퍼센트로 가장 높은 성능을 보이며 일부 독점 모델들을 앞질렀습니다.

교차검증단일 시도 점수가 높다고 해서 반드시 신뢰도가 높은 것은 아닙니다. 키미 케이삼은 93.89퍼센트의 작업에서 최소 한 번 이상 성공하는 넓은 범용성을 보였으나, 20회 모두 성공한 비율은 13.41퍼센트에 불과하여 일관성 측면에서는 낮은 점수를 기록했습니다.

팩트반면 클로드 오푸스 오는 키미 케이삼보다 한 번이라도 성공한 작업의 수는 적지만, 20회 모두 성공한 비율은 47.53퍼센트로 훨씬 높게 나타났습니다. 이는 모델의 범용성과 일관성이 서로 다른 지표임을 보여줍니다.

주장기업 환경에서 인공지능 에이전트를 도입할 때는 단순히 한 번의 성공률을 보는 것보다 반복적인 작업 수행 시의 일관성을 확인하는 것이 필수적입니다. 데이터베이스 기록에 직접적인 영향을 미치는 업무일수록 이러한 신뢰성 검증이 중요합니다.

출처마이크로소프트와 허깅페이스 공동 블로그(https://huggingface.co/blog/microsoft/thinkingbox)의 보도를 교차 검증했습니다.