엔비디아, 구글 젬마 4 모델 최적화 및 에이전트 AI 지원

주장오픈 모델의 발전은 클라우드를 넘어 일상적인 기기에서 실시간으로 작동하는 온디바이스 AI 시대를 앞당기고 있습니다. 모델이 의미 있는 통찰을 행동으로 옮기기 위해서는 로컬 환경에서의 즉각적인 데이터 접근이 필수적입니다.

팩트구글이 발표한 젬마 4 모델군은 E2B, E4B, 26B, 31B 등 다양한 크기의 변형 모델로 구성됩니다. 이 모델들은 추론, 코딩, 도구 사용, 멀티모달 상호작용 등 복합적인 작업을 수행하도록 설계되었습니다.

팩트젬마 4 모델은 35개 이상의 언어를 기본 지원하며, 사전 학습 단계에서 140개 이상의 언어를 학습했습니다. 텍스트와 이미지를 자유롭게 혼합하여 입력할 수 있는 멀티모달 기능도 갖췄습니다.

팩트E2B와 E4B 모델은 젯슨 오린 나노와 같은 엣지 기기에서 지연 시간 없이 오프라인으로 작동하도록 최적화되었습니다. 26B와 31B 모델은 고성능 추론이 필요한 개발자 워크플로우와 에이전트 AI 작업에 적합합니다.

교차검증로컬 AI 모델은 클라우드 기반 모델보다 보안성이 높고 지연 시간이 짧다는 장점이 있습니다. 다만 기기의 하드웨어 사양에 따라 성능 차이가 발생할 수 있으므로 엔비디아 그래픽처리장치(GPU)와 같은 가속기 활용이 중요합니다.

주장엔비디아 텐서 코어는 AI 추론 워크로드를 가속화하여 로컬 실행 시 더 높은 처리량과 낮은 지연 시간을 보장합니다. 쿠다 소프트웨어 스택은 다양한 프레임워크와의 호환성을 제공하여 새로운 모델의 즉각적인 도입을 돕습니다.

팩트엔비디아는 올라마 및 라마.cpp와 협력하여 젬마 4 모델의 로컬 배포를 지원합니다. 사용자는 올라마를 내려받거나 라마.cpp와 허깅페이스의 GGUF 체크포인트를 결합하여 모델을 실행할 수 있습니다.

팩트언슬로스 스튜디오는 젬마 4 모델에 대한 당일 지원을 제공하며, 효율적인 로컬 파인튜닝과 배포를 위한 최적화 및 양자화 모델을 제공합니다. 이를 통해 개발자는 개인 환경에서 모델을 즉시 튜닝합니다.

팩트오픈클로와 같은 애플리케이션은 젬마 4 모델과 호환되어 사용자의 개인 파일과 워크플로우를 기반으로 작업을 자동화하는 로컬 에이전트를 구축할 수 있습니다. 이는 RTX PC와 워크스테이션에서 상시 작동하는 AI 비서를 가능하게 합니다.

출처엔비디아 공식 기술 블로그(https://blogs.nvidia.com/blog/rtx-ai-garage-open-models-google-gemma-4/)를 교차 검증했습니다. 추가적인 기술 세부 사항은 엔비디아의 오픈 모델 관련 문서를 통해 확인할 수 있습니다.