엔비디아의 물리 AI 연구 가속화 기술 공개

주장엔비디아는 물리 AI 연구의 핵심 과제가 모델 성능 향상을 넘어, 장면 재구성부터 평가까지 이어지는 전체 워크플로우를 통합하는 것이라고 강조합니다. 현재 연구 현장은 파편화된 도구들로 인해 실험 속도가 저하되는 문제를 겪고 있습니다.

팩트엔비디아는 물리 AI를 위한 오픈 프론티어 모델인 코스모스 3(Cosmos 3)를 발표했습니다. 이는 시각적 추론과 세계 모델링, 행동 생성을 통합한 세계 최초의 옴니모델입니다.

팩트이 회사는 자율주행 연구를 위해 뉴럴 리컨스트럭션(Neural Reconstruction) 기술을 도입했습니다. 이 기술은 수집한 주행 데이터를 편집 가능한 3차원 장면으로 변환합니다.

팩트연구진은 이를 통해 실제 주행에서 확보하기 어려운 희귀 사례나 엣지 케이스를 시뮬레이션 환경에서 생성합니다.

팩트엔비디아는 320억 개의 파라미터를 가진 오픈 주행 파운데이션 모델인 알파마요 2 슈퍼(Alpamayo 2 Super)를 공개했습니다. 이 모델은 주행 스택 전반에서 추론과 계획, 행동을 수행하며 레벨 4 자율주행 개발을 지원합니다.

교차검증물리 AI 연구의 고질적인 병목 현상은 모델의 행동을 제어할 수 있는 충분한 데이터를 확보하는 일입니다. 특히 이상 탐지나 희귀 결함 인식 분야에서는 데이터 부족으로 인한 데이터 벽 문제가 여전히 존재합니다.

팩트엔비디아의 새로운 메트로폴리스(Metropolis) 기술은 AI 에이전트를 활용해 합성 시각 시나리오를 생성하고 데이터를 증강합니다. 결함 이미지 생성(Defect Image Generation) 기술은 실제 이미지를 기반으로 다양한 표면의 희귀 결함을 생성하여 모델의 정확도를 검증합니다.

팩트로봇 학습을 위해 아이작 심(Isaac Sim) 6.0과 아이작 랩(Isaac Lab) 프레임워크도 업데이트했습니다. 이를 통해 장면 준비와 시뮬레이션 제어, 데이터 수집 및 강화 학습 평가 과정을 자동화합니다.

팩트의료 로봇 분야에서는 코스모스-H-서지컬-시뮬레이터(Cosmos-H-Surgical-Simulator)를 통해 수술 데이터를 학습합니다. 이는 수동으로 설계한 물리 모델 대신 실제 수술 데이터를 직접 학습하여 시뮬레이션과 실제 환경 간의 격차를 줄입니다.

주장엔비디아의 기술 생태계는 연구자들이 모델 개발부터 배포까지의 전 과정을 확장 가능한 방식으로 처리하도록 돕습니다. 이는 단순히 개별 모델의 성능을 높이는 것을 넘어, 물리 AI의 산업적 적용 가능성을 높이는 데 기여합니다.

팩트컴퓨터 비전 및 패턴 인식 학회인 CVPR 2026에서 채택된 논문의 대다수가 엔비디아의 그래픽 처리 장치와 오픈 모델, 시뮬레이션 프레임워크를 참조했습니다. 카네기 멜런 대학교와 스탠퍼드 대학교, 캘리포니아 대학교 버클리 등 세계 주요 연구 기관이 이 기술을 활용합니다.

출처엔비디아 공식 블로그의 물리 AI 연구 관련 게시물을 통해 해당 내용을 교차 검증했습니다.