오픈 소스 인공지능 모델의 성능 평가 한계와 기술 동향

주장오픈 소스 인공지능 모델과 폐쇄형 모델 사이의 성능 격차가 점차 확대된다는 평가가 존재합니다. 인공지능 표준 및 혁신 센터(CAISI, Center for AI Standards and Innovation)는 벤치마크 데이터를 근거로 오픈 소스 모델이 미국 주도의 최첨단 모델을 따라가지 못한다고 분석합니다.

교차검증현재의 벤치마크 방식은 모델의 실제 능력을 과소평가할 위험을 내포합니다. 코딩 작업 평가 시 최신 도구 대신 단순한 배시(Bash) 스크립트 환경을 사용하는 등, 모델이 실제 환경에서 발휘하는 잠재력을 충분히 측정하지 못하는 한계가 있습니다.

팩트딥시크(DeepSeek) V4는 CTF-아카이브-다이아몬드 및 포트벤치(PortBench) 등 특정 벤치마크에서 낮은 점수를 기록했습니다. 이러한 결과의 차이가 전체 엘로(Elo) 점수에 큰 영향을 미치며, 모델 간 능력 격차를 실제보다 크게 보이게 만듭니다.

팩트딥시크 V4는 프로(Pro)와 플래시(Flash) 두 가지 버전으로 출시되었습니다. 1.6T-A49B 규모의 프로 모델보다 284B-13B 규모의 플래시 모델이 크기 대비 성능 면에서 더 높은 평가를 받습니다.

팩트구글(Google)은 젬마(Gemma) 4 시리즈를 출시하며 아파치(Apache) 2.0 라이선스를 채택했습니다. 이는 기존의 복잡한 라이선스 해석 문제와 법적 불확실성을 제거하여 개발자의 접근성을 높였습니다.

팩트샤오미(Xiaomi)의 미모(MiMo) 2.5 프로 모델 또한 아파치 2.0 라이선스로 공개되었습니다. 이 모델은 벤치마크와 실제 사용 환경 모두에서 키미(Kimi) K2.6, 지엘엠(GLM)-5.1과 대등한 성능을 보입니다.

팩트문샷(Moonshot) AI의 키미 K2.6은 장기 작업 수행 능력을 강화했습니다. 이는 오픈 소스 모델이 수 시간에 걸친 복잡한 과제를 해결하거나 성능을 최적화하는 데 충분히 활용될 수 있음을 증명합니다.

팩트풀사이드(Poolside) AI가 공개한 라구나(Laguna)-XS.2는 33B-A3B 규모의 코딩 특화 모델입니다. 이 모델은 로컬 환경에서 구동하기 적합하며, 해당 규모의 다른 모델들과 유사한 수준의 성능을 제공합니다.

팩트리퀴드(Liquid) AI의 엘에프엠(LFM)2.5-350M 모델은 350M 파라미터에 28T 토큰을 학습시켰습니다. 이는 현재 공개된 모델 중 가장 과도하게 학습된 모델 중 하나로 평가받습니다.

출처인터커넥츠(Interconnects)의 최신 오픈 아티팩트 보고서 및 관련 발행 자료를 교차 검증했습니다.