엔비디아 베라 루빈 플랫폼의 에이전트 AI 지능당 비용 최적화

주장에이전트 AI는 단순한 질의응답을 넘어 목표 달성을 위해 스스로 계획을 수립하고 도구를 활용하며 문제를 해결합니다. 이러한 모델은 환경 변화에 유연하게 대응하기 위해 지속적인 사후 학습 과정을 거쳐야 합니다.

팩트사후 학습은 모델의 초기 훈련 이후 지능을 고도화하는 단계입니다. 모델은 이 과정에서 강화 학습 기법을 활용해 코딩과 다단계 작업 계획, 도구 사용법 등을 습득합니다.

주장엔비디아는 지능당 비용을 모델의 가치를 결정하는 핵심 척도로 제시합니다. 추론 비용을 낮추는 인프라는 결과적으로 모델의 지능을 구축하는 전체 비용까지 절감합니다.

팩트엔비디아 네모트론 3 울트라는 5500억 개의 파라미터를 갖춘 모델입니다. 이 모델은 소프트웨어 엔지니어링 벤치마크인 SWE-bench에서 71.7%의 점수를 기록했습니다.

팩트해당 점수는 오픈 소스 프로젝트의 실제 소프트웨어 버그 10개 중 약 7개를 해결할 수 있는 성능을 의미합니다.

교차검증사후 학습은 컴퓨팅 자원을 지속적으로 소모하므로 비용 효율성 확보가 필수적입니다. 엔비디아는 블랙웰 플랫폼과 베라 루빈 플랫폼을 통해 반복적인 학습 과정을 경제적으로 수행하도록 지원합니다.

팩트베라 루빈 플랫폼은 블랙웰 세대 대비 4분의 1 수준의 그래픽 처리 장치만으로도 대규모 모델을 훈련합니다. 이는 더 많은 환경에서 학습 주기를 반복하게 하여 지능당 비용을 극대화합니다.

팩트프라임 인텔렉트는 베라 중앙 처리 장치를 활용하여 강화 학습 환경을 최적화했습니다. 베라 중앙 처리 장치는 기존 x86 아키텍처와 비교해 장치당 평균 30% 더 높은 처리량을 보입니다.

팩트퍼플렉시티는 수백 개의 엔비디아 그래픽 처리 장치에서 비동기식 사후 학습 스택을 운영합니다. 이들은 원격 직접 메모리 접근 기반 가중치 전송 엔진을 통해 1조 개의 파라미터를 가진 모델을 2초 이내에 동기화합니다.

주장투게더 AI와 같은 기업들은 엔비디아의 플랫폼과 최적화된 커널 라이브러리를 활용해 사후 학습 서비스를 제공합니다. 이들은 베라 루빈 플랫폼을 도입하여 서비스 효율을 더욱 높일 계획입니다.

주장베라 루빈 플랫폼의 도입은 인공지능 개발 기업들이 더 낮은 비용으로 고성능 에이전트 모델을 확보하는 환경을 조성합니다. 이는 인공지능 산업 전반의 기술적 진입 장벽을 낮추는 결과로 이어집니다.

출처엔비디아 공식 블로그의 베라 루빈 플랫폼 기반 지능당 비용 최적화 보고서를 교차 검증했습니다.