Holo3, 컴퓨터 사용 자동화 성능 78.85% 기록하며 기준 제시

주장에이치컴퍼니가 자율 기업 구현을 위한 최신 인공지능 모델인 'Holo3'를 공개하며 컴퓨터 사용 자동화 분야의 새로운 기준을 제시합니다. 이 모델은 단순히 벤치마크 점수를 높이는 데 그치지 않고 실제 기업 환경에서 업무를 수행하도록 설계했습니다.

팩트Holo3-122B-A10B 모델은 운영체제 환경 성능 평가인 'OSWorld-Verified' 벤치마크에서 78.85%의 점수를 기록했습니다. 이는 현재 업계에서 가장 앞선 데스크톱 컴퓨터 사용 성능을 보여주는 수치입니다.

팩트Holo3는 전체 1220억 개의 매개변수 중 100억 개의 활성 매개변수만을 사용합니다. 이는 지피티 5.4나 오퍼스 4.6과 같은 대규모 모델보다 훨씬 적은 비용으로 운영이 가능하다는 의미입니다.

주장Holo3의 핵심 경쟁력은 인식과 의사결정 능력을 강화하는 '에이전트 학습 플라이휠'에 있습니다. 이 시스템은 지속적인 피드백 루프를 통해 다양한 사용자 인터페이스에서 일반적인 업무 수행 능력을 스스로 학습합니다.

팩트학습 과정에는 합성 내비게이션 데이터 생성과 도메인 외부 데이터 증강, 그리고 강화 학습 파이프라인이 포함됩니다. 이러한 체계적인 데이터 처리는 모델이 예상치 못한 상황에서도 유연하게 대처하도록 돕습니다.

교차검증기존 대형 모델들과 비교했을 때, Holo3는 더 적은 매개변수로도 높은 성공률을 보입니다. 이는 모델의 크기보다 특화된 학습 파이프라인이 실제 업무 자동화에 더 큰 영향을 미친다는 점을 시사합니다.

팩트에이치컴퍼니는 실제 기업 환경을 모사한 합성 환경 팩토리를 구축하여 모델을 훈련했습니다. 또한 전자상거래와 비즈니스 소프트웨어 등 4개 분야 486개의 다단계 작업을 포함하는 'H 기업 벤치마크'를 통해 성능을 검증했습니다.

주장Holo3는 단일 애플리케이션 작업뿐만 아니라 여러 시스템을 동시에 조율해야 하는 복잡한 업무도 수행합니다. 이 모델은 문서 파싱과 다단계 추론 능력을 결합하여 업무의 연속성을 유지하는 데 중점을 둡니다.

교차검증현재 Holo3는 인터페이스 숙달에 집중하고 있으나, 앞으로는 새로운 맞춤형 기업 소프트웨어를 실시간으로 학습하는 적응형 에이전트로 발전할 계획입니다. 이는 정적인 환경을 넘어 변화하는 디지털 환경에 대응해야 하는 과제를 안고 있습니다.

팩트에이치컴퍼니는 Holo3-35B-A3B 모델의 가중치를 허깅페이스를 통해 아파치 2.0 라이선스로 공개했습니다. 또한 자사 추론 에이피아이(API)의 무료 티어를 통해 누구나 자유롭게 접근할 수 있습니다.

출처https://huggingface.co/blog/Hcompany/holo3