바이두 어니 5.1 출시와 사전 학습 비용 94% 절감

주장바이두는 어니 5.1을 통해 대규모 언어 모델의 사전 학습 비용을 기존 대비 94% 절감했습니다. 이는 모델 크기를 최적화하고 효율적인 학습 파이프라인을 구축한 결과입니다.

팩트어니 5.1은 이전 버전인 어니 5.0과 비교해 파라미터 수를 약 3분의 1 수준으로 설계했습니다. 쿼리당 활성 파라미터 역시 절반으로 줄어들어 연산 효율성이 크게 향상되었습니다.

팩트2026년 5월 9일 기준, 어니 5.1은 아레나 검색 리더보드에서 1,223점을 기록했습니다. 이는 전 세계 4위이자 중국 내 모델 중에서는 1위에 해당하는 성적입니다.

팩트바이두는 어니 5.1이 자율 인공지능 에이전트 작업에서 딥시크-V4-프로를 앞선다고 밝혔습니다. 또한 지식 및 추론 벤치마크에서는 구글의 제미나이 3.1 프로와 유사한 성능을 보입니다.

주장바이두는 원스-포-올 탄력적 학습 프레임워크를 도입하여 모델 크기별로 매번 사전 학습을 수행하는 비용을 제거했습니다. 하나의 학습 과정에서 다양한 크기의 모델군을 동시에 최적화하는 방식을 채택했습니다.

팩트강화 학습 인프라를 재설계하여 모델 업데이트, 응답 생성, 평가 단계를 독립적인 하위 시스템으로 분리했습니다. 이를 통해 병목 현상을 방지하고 각 단계에 최적화된 하드웨어를 할당합니다.

주장바이두는 코드, 논리, 창의성 등 여러 능력을 동시에 학습할 때 발생하는 시소 효과를 해결하기 위해 4단계 파이프라인을 도입했습니다. 각 분야별 전문가 모델을 활용하여 특정 능력이 다른 능력을 저해하지 않도록 설계했습니다.

팩트4단계 학습 과정은 일반 지도 학습으로 시작하여 전문가 모델 학습, 학생 모델의 지식 증류, 그리고 최종적인 일반 강화 학습 순으로 진행됩니다. 이 과정은 모델의 답변이 지나치게 정형화되는 현상을 방지합니다.

교차검증어니 5.1은 바이두의 플랫폼을 통해 접근 가능하지만, 모델 가중치는 공개되지 않았습니다. 따라서 외부 기관을 통한 성능 및 효율성 수치의 독립적인 검증은 불가능합니다.

출처더 디코더(The Decoder)의 보도 내용을 교차 검증했습니다. https://the-decoder.com/baidus-ernie-5-1-cuts-94-percent-of-pre-training-costs-while-competing-with-top-models/