오픈소스 모델, 에이전트 성능 임계점 돌파

주장GLM-5와 MiniMax M2.7 등 오픈소스 모델이 파일 작업, 도구 사용, 지시 이행과 같은 핵심 에이전트 작업에서 폐쇄형 최첨단 모델과 대등한 수준에 도달했습니다. 오픈 모델은 이제 단순한 실험 단계를 넘어 실제 프로덕션 환경에서 충분히 활용 가능한 대안이 됩니다.

팩트랭체인은 파일 작업, 도구 사용, 검색, 대화, 메모리, 요약, 단위 테스트 등 7개 범주에서 모델 성능을 평가했습니다. 평가 지표는 정확도, 해결 속도, 단계 비율, 도구 호출 비율을 사용했습니다.

팩트평가 결과 GLM-5는 정확도 0.64를 기록하여 클로드 오퍼스 4.6의 0.68과 근소한 차이를 보였습니다. MiniMax M2.7은 정확도 0.57을 기록하며 효율적인 에이전트 작업 수행 능력을 입증했습니다.

팩트오픈 모델은 비용 측면에서도 경쟁력을 갖췄습니다. 폐쇄형 모델인 클로드 오퍼스 4.6은 100만 토큰당 입력 비용이 5달러인 반면, MiniMax M2.7은 0.3달러에 불과합니다. 하루 1,000만 토큰을 처리하는 애플리케이션 기준으로 연간 약 8만 7천 달러의 비용 절감 효과가 발생합니다.

팩트오픈라우터 데이터에 따르면 GLM-5의 평균 지연 시간은 0.65초로 클로드 오퍼스 4.6의 2.56초보다 빠릅니다. 처리량 측면에서도 GLM-5는 초당 70토큰을 생성하여 클로드 오퍼스의 34토큰보다 높은 효율을 보입니다.

주장에이전트 개발자는 비용과 지연 시간이라는 제약 때문에 항상 최상위 모델만 사용할 수는 없습니다. 오픈 모델은 일관성과 예측 가능성을 제공하여 실제 워크플로우에 더 적합한 선택지가 됩니다.

교차검증오픈 모델은 폐쇄형 모델보다 규모가 작아 추론 인프라 최적화가 필수적입니다. 그로크, 파이어웍스, 베이스텐과 같은 전문 추론 제공업체를 활용해야만 성능과 지연 시간의 이점을 극대화할 수 있습니다.

주장랭체인의 딥 에이전트 SDK를 사용하면 코드 한 줄 변경만으로 모델을 교체할 수 있습니다. 하네스가 모델의 컨텍스트 윈도우와 도구 호출 형식을 자동으로 처리하므로 개발자는 인프라 차이를 신경 쓰지 않아도 됩니다.

팩트동일한 오픈 모델이라도 베이스텐, 파이어웍스, 올라마 등 다양한 제공업체를 통해 이용할 수 있습니다. 사용자는 자신의 프로젝트 환경과 제약 조건에 가장 적합한 인프라를 선택하여 모델을 배포합니다.

출처랭체인 공식 블로그의 'Open Models have crossed a threshold' 게시글을 교차 검증했습니다. 모든 데이터는 해당 글의 벤치마크 및 평가 결과를 기반으로 작성되었습니다.