인공지능 에이전트 기반의 로봇 시뮬레이션 환경 구축

주장로봇 시뮬레이션의 가장 큰 병목 현상은 로봇이 학습할 수 있는 환경을 구축하는 과정입니다. 삼차원 장면을 시뮬레이션에 적합한 상태로 만드는 작업은 노동 집약적이며 로봇 공학자의 범위를 벗어납니다.

팩트엔비디아는 옴니버스 라이브러리와 네모클로를 활용해 삼차원 디자인 도구인 블렌더 장면에 인공지능 에이전트 워크플로우를 적용합니다. 이를 통해 블렌더 장면을 로봇 시뮬레이터인 아이작 심과 아이작 랩에서 사용할 수 있는 오픈 유에스디 형식으로 변환합니다.

팩트이 과정에서 오픈에이아이의 코덱스와 앤스로픽의 클로드 같은 거대 언어 모델이 전체 작업을 조율합니다.

팩트네모클로를 통해 배포되는 헤르메스 하위 에이전트들은 물리 저작과 시각적 사전 검토 그리고 심레디 검증 도구를 사용해 장면을 구성합니다. 오픈 유에스디는 계층 구조와 메타데이터를 보존하는 공유 계약 계층 역할을 수행합니다.

교차검증인공지능 에이전트가 자동으로 장면을 수정하지만, 의미론적 레이블이나 물리적 동작같이 개발자의 의도가 중요한 결정은 임의로 판단하지 않습니다. 모호한 결정은 관련 맥락과 제안된 다음 단계를 포함해 인간 작업자에게 전달됩니다.

팩트에이전트 워크플로우는 블렌더 모델 컨텍스트 프로토콜 서버를 통해 장면을 검사하고 시뮬레이션 메타데이터를 식별하며 센서 구성과 충돌 메시를 생성합니다. 이후 심레디 검증을 통과해야만 최종적으로 아이작 심 환경으로 전달됩니다.

주장삼차원 장면 준비를 자동화하는 것은 단순한 환경 개선을 넘어 로봇 학습을 위한 반복 가능한 공학적 워크플로우를 구축하는 것입니다. 이는 수동 작업에서 발생하는 오류를 줄이고 시뮬레이션 준비 시간을 단축합니다.

팩트에이전트 시스템은 객체 레이블링과 충돌 메시 생성 및 시뮬레이션용 재질 적용과 센서 배치를 수행합니다. 도구 통합은 로봇 공학자가 디버깅에 소요하는 시간을 줄이고 실제 학습에 집중할 수 있게 합니다.

팩트워크플로우는 코덱스와 클로드가 전체 작업을 조율하고 네모클로 에이전트가 추론하며 옴니버스 라이브러리가 실제 작업을 수행하는 삼단계 구조입니다. 모든 데이터는 오픈 유에스디 형식으로 유지되어 원본 창작물의 손실 없이 시뮬레이션 속성이 추가됩니다.

주장로봇 공학자는 장면을 시뮬레이션 준비 상태로 만들라는 목표를 설정하는 것만으로도 에이전트가 필요한 하위 작업을 스스로 도출하게 할 수 있습니다. 이는 복잡한 삼차원 환경 구축을 자동화된 파이프라인으로 전환합니다.

출처엔비디아 기술 블로그(https://developer.nvidia.com/blog/how-to-use-ai-agents-to-prepare-3d-scenes-for-simulation/)의 내용을 교차 검증했습니다.