엔비디아, 수술 로봇용 실시간 생성 시뮬레이터 코스모스-H-드림스 공개

주장수술 로봇 분야는 원격 조종 방식에서 비전과 언어, 행동 정책을 결합한 자율 시스템으로 빠르게 전환하고 있습니다. 하지만 실제 로봇 플랫폼은 운영 비용이 높고 실험 재현이 어려우며, 실패 시 장비나 생체 조직이 손상될 위험이 큽니다.

팩트엔비디아는 이러한 한계를 극복하기 위해 수술 로봇용 실시간 행동 조건부 생성 시뮬레이터인 코스모스-H-드림스를 공개했습니다. 이 모델은 엔비디아의 가속 추론 라이브러리인 플래시드림스를 활용하며, 단일 RTX PRO 6000 그래픽 처리 장치에서 구동합니다.

팩트코스모스-H-드림스는 초당 약 160프레임의 실시간 상호작용 환경을 제공합니다. 이는 초당 약 10프레임 수준이었던 기존 코스모스-H-서지컬-시뮬레이터보다 월등히 빠른 속도입니다.

주장향상된 추론 속도는 사용자가 직접 제어하거나 학습된 정책이 폐루프 환경 내에서 즉각적으로 반응하도록 돕습니다. 이는 로봇이 복잡한 수술 과정을 실시간으로 학습하고 수행하는 데 핵심적인 역할을 합니다.

교차검증로봇 학습 모델은 훈련 시 완벽한 데이터를 사용하지만, 실제 배포 환경에서는 모델이 스스로 생성한 불완전한 출력값에 의존해야 합니다. 이 과정에서 발생하는 작은 오차가 시간이 지남에 따라 누적될 가능성이 존재합니다.

팩트엔비디아는 이러한 오차 누적 문제를 해결하고자 자기 강제 증류 기법을 도입했습니다. 훈련 과정에서 학생 모델이 스스로 생성한 맥락을 바탕으로 롤아웃을 진행하고, 고정된 교사 모델의 지도를 통해 현실적인 수술 영상을 생성하도록 유도합니다.

팩트모델의 안정성을 높이기 위해 훈련 과정에서 시간적 지평을 점진적으로 확대했습니다. 초기 12프레임에서 시작해 최대 72프레임까지 훈련 범위를 늘리며, 각 단계마다 사전 학습된 가중치를 사용하여 모델을 초기화합니다.

팩트코스모스-H-드림스는 다빈치 연구 키트의 탁상용 봉합 작업에 특화되어 있습니다. 또한 씨엠알 서지컬 및 캠브리지 컨설턴트와 협력하여 버시우스 수술 컨트롤러와 통합한 실시간 수술 환경을 시연했습니다.

팩트이 시뮬레이터는 웹 브라우저 클라이언트나 메타 퀘스트와 같은 가상 현실 기기와 연동 가능합니다. 사용자는 키보드 명령이나 컨트롤러 움직임을 통해 로봇 동작을 입력하고, 합성된 수술 장면을 실시간으로 확인합니다.

주장수술용 물리 인공지능의 핵심은 시각적 품질을 넘어선 폐루프 벤치마크의 확립에 있습니다. 도구 끝부분의 도달 정확도와 그리퍼 주기 충실도, 장기적인 드리프트 현상을 평가하여 시뮬레이션 결과가 실제 로봇 환경으로 원활하게 전이되도록 해야 합니다.

주장엔비디아의 이번 기술은 수술 로봇의 안전한 자율 주행과 정밀한 제어를 위한 새로운 표준을 제시합니다. 앞으로 가상 환경에서의 학습이 실제 수술실의 효율성을 높이는 중요한 토대가 될 전망입니다.

출처엔비디아 연구진이 발표한 코스모스-H-드림스 기술 블로그(https://huggingface.co/blog/nvidia/cosmos-h-dreams)를 교차 검증했습니다.