인공지능 에이전트 최적화를 위한 오픈 모델 벤치마크 도입

주장허깅페이스는 인공지능 에이전트가 소프트웨어를 효과적으로 구동하도록 라이브러리 설계 방식을 변경해야 합니다. 에이전트가 복잡한 응용 프로그램 인터페이스(API)나 불친절한 문서로 인해 불필요한 비용을 지불하지 않도록 최적화가 필요합니다.

팩트허깅페이스는 2026년 6월 18일, 에이전트 중심의 벤치마크 도구에 관한 블로그 게시물을 발행했습니다. 이 도구는 오픈 모델을 사용하여 특정 작업 수행 시 에이전트가 겪는 과정과 효율성을 측정합니다.

팩트에이전트 최적화의 핵심 원칙으로 '테스트되지 않은 코드는 작동하지 않는다'와 '문서화되지 않은 코드는 존재하지 않는다'를 제시했습니다. 에이전트가 도구를 발견하고 활용하기 위해서는 명확한 API와 구조화된 문서가 필수적입니다.

교차검증단순히 최종 결과가 정답인지 확인하는 기존 벤치마크 방식은 에이전트의 작업 효율성을 평가하는 데 한계가 있습니다. 동일한 정답을 도출하더라도 에이전트가 사용하는 토큰 수, 시간, 오류 발생률에 따라 성능 차이가 크게 나타나기 때문입니다.

팩트허깅페이스는 트랜스포머(Transformers) 라이브러리를 사례 연구로 활용하여 에이전트가 작업을 수행하는 세 가지 방식인 베어(bare), 클론(clone), 스킬(skill)을 정의했습니다. 각 방식은 에이전트에게 서로 다른 수준의 도움을 제공하며, 모델마다 최적의 방식이 다릅니다.

팩트벤치마크는 허깅페이스 잡스(Hugging Face Jobs)를 통해 동일한 하드웨어 환경에서 병렬로 실행됩니다. 이를 통해 모델, 라이브러리 수정 사항, 작업 유형에 따른 성능 변화를 공정하게 비교합니다.

팩트평가 지표에는 정답 일치율, 중앙값 시간, 중앙값 토큰 사용량, 오류 발생률이 포함됩니다. 특히 침묵 오류(silent failures)를 방지하기 위해 결과값이 없는 경우를 별도로 식별하는 기능을 갖췄습니다.

주장대규모 오픈 모델의 경우 작업 완료율이 100%에 수렴하므로, 정답 여부보다는 에이전트가 정답에 도달하기까지 소요된 노력과 경로의 효율성을 측정하는 것이 더 중요합니다.

주장반면 소규모 로컬 모델은 모델 크기와 능력에 따른 정답 일치율 변화를 확인하는 것이 유의미합니다.

팩트과거 허깅페이스 명령줄 인터페이스(CLI)를 에이전트 최적화 방식으로 재설계했을 때, 에이전트의 토큰 사용량이 1.3배에서 최대 6배까지 감소하는 성과를 거뒀습니다.

팩트허깅페이스는 이러한 경험을 바탕으로 트랜스포머 라이브러리에도 유사한 최적화가 가능한지 검증합니다.

출처허깅페이스 공식 블로그의 'Is it agentic enough? Benchmarking open models on your own tooling' 게시물을 교차 검증했습니다.