[한장TECH] 엔비디아의 AI 기반 아이작 로보틱스 플랫폼

[테크월드뉴스=박규찬 기자] 엔비디아가 아이작 로보틱스 플랫폼을 선보이며 최신 생성형 AI와 고급 시뮬레이션 기술을 활용해 AI 기반 로보틱스를 가속화하고 있다.

엔비디아가 최근 개최된 ‘GTC 2024’에서 파운데이션 모델, 로보틱스 툴, GPU 가속 라이브러리 컬렉션인 아이작 매니퓰레이터(NVIDIA Isaac Manipulator)와 아이작 퍼셉터(Isaac Perceptor)를 발표했다.

▶ 엔비디아 아이작 로보틱스 플랫폼

엔비디아 젠슨 황은CEO는 GTC 기조연설 현장에서 휴머노이드 로봇 학습을 위한 범용 파운데이션 모델인 프로젝트 GR00T(Project GR00T)를 시연했다. GR00T는 ‘Generalist Robot 00 Technology’의 약자로 엔비디아 아이작 로보틱스 플랫폼의 다양한 툴을 활용해 휴머노이드 로봇용 AI를 개발한다.

아울러 엔비디아는 엔비디아 토르 시스템 온 칩(Thor SoC) 기반의 새로운 휴머노이드 로봇용 컴퓨터를 공개했다. 또 로봇 학습을 위한 아이작 랩(Isaac Lab), 하이브리드 클라우드 워크플로우 오케스트레이션을 위한 엔비디아 오스모(OSMO)를 포함한 엔비디아 아이작 로봇 플랫폼의 새로운 툴도 발표했다. 이들은 프로젝트 GR00T와 로봇용 파운데이션 모델 개발에 중요한 역할을 할 것으로 기대된다.

▶ 로봇 팔을 위한 아이작 매니퓰레이터

엔비디아 아이작 매니퓰레이터는 로봇 팔을 위한 최첨단 모션 생성과 모듈식 AI 기능을 제공하며 강력한 파운데이션 모델과 GPU 가속 라이브러리 컬렉션을 갖추고 있다.

로보틱스 개발자는 특정 작업에 맞게 맞춤 설정된 소프트웨어 구성 요소를 조합해 로봇이 주변 환경을 인식하고 상호 작용할 수 있게 한다. 이를 통해 AI 모델 훈련과 작업 프로그래밍을 가속화해 동적 조작 작업을 위한 확장 가능하고 반복 가능한 워크플로우를 구축할 수 있다.

로봇 선도 업체들은 아이작 매니퓰레이터를 고객에게 제공하기 위해 엔비디아와 협력하고 있다. 대표적인 기업으로는 야스카와, 솔로몬, 피크닉 로보틱스, 레디 로보틱스, 프랑카 로보틱스, 테라다인의 자회사 유니버설 로봇 등이 있다.

엔비디아는 기존의 로봇 조작 시스템을 보강하기 위한 파운데이션 모델을 선보이고 있다. 이런 모델들은 스마트 제조, 픽앤플레이스 작업, 기계 조작과 조립을 처리하는 데 있어서 다양한 환경과 애플리케이션에 맞게 로봇이 감지, 적응, 재프로그래밍할 수 있도록 개발하는 데 도움이 될 것이다.

▶ 아이작 퍼셉터로 자율 이동 로봇에 시각 AI 제공

제조와 주문 처리 작업에서 효율성과 작업자 안전을 개선하고 오류율과 비용을 줄이기 위해 자율 이동 로봇(AMR: Autonomous Mobile Robot)을 채택하고 있다.

아이작 퍼셉터는 멀티 카메라, 360도 비전 기능을 제공한다. 이를 통해 아크베스트, BYD, 키온 그룹과 같은 초기 업계 파트너에게 자재 취급 작업을 지원하는 자율 이동 로봇 설치를 위한 고급 시각 AI를 제공한다.

엔비디아는 세그웨이 로보틱스와 레오파드 이미징과 협력해 엔비디아 노바 오린 데브키를 개발했으며 이를 통해 기업들은 아이작 퍼셉터의 개발, 검증, 배포의 과정을 신속하게 처리할 수 있다.

▶ 휴머노이드 로봇 개발을 위한 프로젝트 GR00T

GTC 2024에서 시연된 GR00T 기반 휴머노이드 로봇은 텍스트, 비디오, 데모 등 다양한 형태의 지시를 수신할 수 있을 뿐만 아니라 이전 상호작용을 이용해 로봇이 원하는 동작을 수행할 수 있다. 엔비디아는 어질리티 로보틱스, 앱트로닉, 푸리에인텔리전스, 유니트리 로보틱스의 휴머노이드 로봇 4종에 탑재된 GR00T를 선보였다.

휴머노이드 로봇은 고주파 저레벨 제어, 센서 융합과 인식, 작업 계획, 인간과 로봇의 상호작용 등의 요구를 충족하기 위해 이기종 컴퓨팅이 필요한 복잡한 시스템이다. 엔비디아는 엔비디아 토르 SoC에 기반한 새로운 휴머노이드 로봇용 젯슨 토르 탑재 컴퓨터를 공개했다.

젯슨 토르는 엔비디아 블랙웰 아키텍처 기반의 차세대 GPU와 800테라플롭스의 8비트 부동 소수점 AI 성능을 제공하는 트랜스포머 엔진을 갖췄다. 이를 통해 GR00T와 같은 멀티모달 생성형 AI 모델을 실행할 수 있다. 또 통합 기능 안전 프로세서, 고성능 CPU 클러스터와 100GB의 이더넷 대역폭을 통해 설계와 통합 작업을 크게 간소화한다.

프로젝트 GR00T는 로봇 개발자가 파운데이션 모델을 구축하고 테스트하기 위해 사용할 수 있는 아이작 도구를 사용한다. 여기에는 휴머노이드 로봇 모델을 대규모로 훈련하기 위해 아이작 심(Isaac Sim)에 내장된 새로운 경량 시뮬레이션 앱인 아이작 랩이 포함된다. 또한, 훈련과 시뮬레이션 워크로드 관리용 클라우드 워크플로우 오케스트레이션 플랫폼인 오스모도 함께 포함된다.

▶ 아이작 랩으로 로봇 학습 가속화하기

걷기나 잡기 등의 고급 이동 기술이 필요한 로봇은 시뮬레이션 환경에서 심층 강화 학습을 사용하고 가상 환경에서 반복적으로 훈련해 기술을 익혀야 한다. 그러나 그렇게 모델이 습득한 기술의 유용성은 실제 로봇 운용 환경에 적용될 때 더욱 진가가 발휘되며 이는 프로젝트 GR00T를 통해 입증됐다.

아이작 짐의 후속작인 아이작 랩은 물리 기반의 사실적인 인식 기반 강화 학습 작업을 위해 엔비디아 옴니버스 기술을 활용한다. 아이작 랩은 아이작 심 플랫폼에 구축된 로봇 학습용 오픈 소스 애플리케이션으로 성능에 최적화돼 있으며 이 애플리케이션에는 강화 학습 API와 개발자 친화적인 작업 프레임워크가 통합된다.

▶ 엔비디아 오스모로 클라우드 네이티브 로보틱스 워크플로우 스케줄링 활성화하기

엔비디아 오스모는 분산 환경 전반에서 워크로드를 확장한다. 복잡하고 다양한 단계를 포함하는 작업이 요구되는 로보틱스 분야의 경우 이 플랫폼은 위치에 구애받지 않고 배치할 수 있는 옵션과 배치된 모델에 대한 데이터 세트 관리와 추적 기능을 제공한다.

예를 들어 오스모는 훈련을 위해 엔비디아 DGX에서 모델을 실행하고 시뮬레이션에서 라이브 강화 학습을 위해 엔비디아 OVX 서버를 동시에 실행하며 GR00T를 지원한다. 이 워크로드에는 반복적으로 모델을 생성하고 훈련하는 작업이 포함된다. 분산 환경 전반에서 워크로드를 관리하고 예약하는 오스모의 기능을 통해 DGX와 OVX 시스템을 원활하게 조정할 수 있다.

이는 효율적이고 반복적인 모델 개발을 가능하게 한다. 모델이 테스트와 검증을 위한 준비가 완료되면 오스모는 OVX(x86-64)의 소프트웨어 인더루프(SIL) 워크플로우와 엔비디아 젯슨 (aarch64) 컴퓨팅 리소스를 사용한 하드웨어 인더루프(HIL) 워크플로우를 독자적으로 조율할 수 있다.