انویدیا از ویژن پرو اپل برای کنترل ربات‌های انسان‌نما استفاده می‌کند [تماشا کنید]

شاید اپل برای تولید محصولاتش به انویدیا نیاز چندانی نداشته باشد؛ اما این بدان معنا نیست که تیم سبز هم به شرکت کوپرتینویی نیاز ندارد. در‌واقع، انویدیا از هدست واقعیت مجازی اپل، یعنی ویژن پرو، برای ساخت ربات انسان‌نمای خود استفاده و این محصول نقش بسیار مهمی در آموزش ربات‌ها ایفا می‌کند.

انویدیا با انتشار ویدئویی در یوتیوب که درواقع بخشی از کمپین تبلیغاتی معرفی فعالیت‌های این شرکت در حوزه‌ی رباتیک است، توضیحاتی درباره‌ی روش استفاده‌ی آموزش ربات انسان‌نمای خود ارائه می‌دهد.

در بیانیه‌ی مطبوعاتی انویدیا، به استفاده از ویژن پرو برای کنترل ربات‌های این شرکت اشاره شده است: «آموزش مدل‌های پایه برای ربات‌های انسان‌نما به حجم عظیمی از داده نیاز دارد. یکی از روش‌های ثبت داده‌ی حرکات انسان، تله‌پورت (Teleportation) است؛ اما این روش به‌مرورزمان هزینه‌بر و زمان‌بر می‌شود.»

روش کاری انویدیا برای استفاده از تله‌پورت مبتنی‌بر هوش مصنوعی و Omniverse انویدیا که در کنفرانس گرافیک کامپیوتری SIGGRAPH به‌نمایش درآمد، به محققان و توسعه‌دهندگان هوش مصنوعی امکان می‌دهد تا با ضبط تعداد محدودی از حرکات انسان با روش تله‌پورت، حجم عظیمی از داده‌های مصنوعی حرکتی و ادراکی تولید کنند.

طبق اعلام انویدیا، توسعه‌دهندگان ابتدا با استفاده از ویژن پرو تعداد کمی از حرکات تله‌پورت را ضبط می‌کنند و سپس داده‌های ضبط‌شده در نرم‌افزار NVIDIA Isaac Sim شبیه‌سازی و از میکروسرویس MimicGen NIM برای تولید مجموعه داده‌های مصنوعی استفاده می‌شود.

توسعه‌دهندگان مدل پایه‌ی انسان‌نمای Project GR00T را با داده‌های واقعی و مصنوعی آموزش می‌دهند که باعث صرفه‌جویی در زمان و هزینه می‌شود. آن‌ها در مرحله‌ی بعد از میکروسرویس Robocasa NIM در Isaac Lab که چهارچوبی برای یادگیری ربات است، برای تولید تجربیاتی به‌منظور بازآموزی مدل ربات استفاده می‌کنند. در طول این فرایند، NVIDIA OSMO به‌طور یکپارچه وظایف محاسباتی را به منابع مختلف اختصاص می‌دهد که باعث صرفه‌جویی چشمگیر در زمان می‌شود.