엔비디아, 네모트론 확산 언어 모델 공개 및 추론 효율 개선

주장기존 자기회귀 방식 언어 모델은 토큰을 하나씩 순차적으로 생성하므로 그래픽 처리 장치 성능을 온전히 활용하기 어렵습니다. 엔비디아는 이러한 병목 현상을 해결하고자 여러 토큰을 동시에 생성하고 다단계로 정제하는 확산 언어 모델을 제안합니다.

팩트네모트론 확산 모델은 3B, 8B, 14B 규모의 텍스트 모델과 8B 규모의 시각-언어 모델로 구성됩니다. 해당 모델들은 엔비디아 네모트론 오픈 모델 라이선스 및 소스 코드 라이선스 아래 공개되었습니다.

교차검증과거 확산 언어 모델은 자기회귀 모델보다 정확도가 낮고 학습이 어렵다는 한계가 있었습니다. 엔비디아는 기존 자기회귀 모델을 기반으로 추가 학습을 진행하여 이러한 기술적 장벽을 극복했습니다.

팩트네모트론 확산 8B 모델은 기존 큐웬3 8B 모델 대비 평균 정확도가 1.2% 향상되었습니다. 추론 속도 면에서 확산 모드는 기존 자기회귀 모델보다 2.6배 높은 효율을 보이며, 자기 추측 모드에서는 최대 6.4배까지 속도가 빨라집니다.

주장이 모델은 자기회귀와 확산 생성 방식을 하나의 모델에서 통합적으로 지원합니다. 개발자는 애플리케이션 수준의 큰 변경 없이 배포 시점에 원하는 추론 모드를 선택하여 사용합니다.

팩트모델은 1조 3000억 개의 토큰으로 구성된 네모트론 사전 학습 데이터셋으로 학습되었습니다. 이후 450억 개의 토큰을 포함한 사후 학습 데이터셋을 사용하여 지도 미세 조정 과정을 거쳤습니다.

팩트네모트론 확산 모델은 자기회귀 모드, 확산 모드, 자기 추측 모드라는 세 가지 생성 방식을 제공합니다. 특히 자기 추측 모드는 확산 방식으로 초안을 작성하고 자기회귀 방식으로 검증하여 속도와 신뢰성을 동시에 확보합니다.

교차검증확산 모델은 토큰을 블록 단위로 생성하고 반복적으로 정제하는 과정을 거칩니다. 사용자는 정제 단계 횟수를 조절함으로써 추론 비용과 연산 자원을 유연하게 제어합니다.

팩트엔비디아는 모델 학습을 위한 코드와 레시피를 메가트론 브리지 프레임워크를 통해 공개했습니다. 또한 에스지랭을 통해 해당 모델들을 쉽게 배포하고 서비스할 수 있도록 지원합니다.

출처엔비디아 네모트론 기술 보고서 및 허깅페이스 공식 블로그를 교차 검증했습니다.