젯슨 오린 나노 기반 젬마 4 비전 언어 에이전트 시연

주장젬마(Gemma) 4 모델은 사용자의 질문 맥락을 스스로 파악하여 웹캠을 통해 시각 정보를 수집할지 결정하는 비전 언어 에이전트(VLA, Vision-Language Agent) 기능을 수행합니다. 모델은 특정 키워드나 하드코딩된 로직 없이 자율적으로 시각 데이터를 해석하고 답변을 생성합니다.

팩트해당 시연은 8기가바이트 메모리를 탑재한 엔비디아 젯슨 오린 나노 슈퍼(NVIDIA Jetson Orin Nano Super) 보드에서 로컬로 구동했습니다. 시스템은 파라킷(Parakeet) 음성 인식(STT), 젬마 4 언어 모델, 코코로(Kokoro) 음성 합성(TTS)을 결합하여 구성했습니다.

팩트모델 구동을 위해 라마(llama).cpp를 네이티브 방식으로 빌드하고 Q4_K_M 양자화 모델과 비전 프로젝터를 사용했습니다. 라마 서버 실행 시 모든 레이어를 그래픽 처리 장치(GPU)에 오프로드하는 옵션을 적용했습니다.

교차검증8기가바이트 메모리 환경에서 모델을 원활하게 구동하려면 도커 컨테이너나 불필요한 백그라운드 프로세스를 종료하여 가용 메모리를 확보해야 합니다. 메모리 부족 현상이 발생하면 Q3 양자화 모델로 교체하여 리소스 점유율을 낮출 수 있습니다.

팩트사용자는 스페이스바를 눌러 음성 입력을 시작하고 종료하며, 시스템은 로컬에서 음성을 텍스트로 변환합니다. 시각 정보가 필요하다고 판단하면 모델은 'look_and_answer' 도구를 호출하여 이미지를 분석합니다.

팩트라마 서버 실행 시 진자(Jinja) 플래그를 활성화하여 젬마 4의 네이티브 도구 호출 기능을 사용했습니다. 이 기능을 통해 모델은 외부 도구인 웹캠을 자신의 의사결정 과정에 통합합니다.

교차검증이 시연은 특정 하드웨어에 종속되지 않으며 리눅스 환경에서 인식 가능한 웹캠, 유에스비(USB) 마이크, 스피커라면 범용적으로 작동합니다. 다만 각 장치의 식별자를 시스템 환경 변수에 정확히 설정해야 정상적인 입출력이 가능합니다.

주장엣지 디바이스인 젯슨 오린 나노에서 고성능 비전 언어 에이전트를 로컬로 구동하는 것은 온디바이스 인공지능의 실용성을 입증합니다. 클라우드 연결 없이 복합적인 시각 및 음성 상호작용이 가능하다는 점에서 산업적 활용 가치가 높습니다.

팩트전체 튜토리얼 코드와 스크립트는 깃허브(GitHub)의 'asierarranz/Google_Gemma' 저장소에서 제공합니다. 사용자는 파이썬 파일 하나만으로 음성 인식, 음성 합성 모델 및 음성 에셋을 허깅 페이스(Hugging Face)로부터 자동으로 내려받아 실행할 수 있습니다.

출처허깅 페이스 블로그와 깃허브 저장소를 통해 해당 기술 사양과 구현 방법을 교차 검증했습니다. (https://huggingface.co/blog/nvidia/gemma4, https://github.com/asierarranz/Google_Gemma)