NVIDIA heeft op de Conference for Robot Learning (CoRL) in München een reeks nieuwe AI- en simulatie-tools aangekondigd om de ontwikkeling van AI-gestuurde robots, waaronder humanoïde modellen, te versnellen. De onthullingen omvatten de introductie van het NVIDIA Isaac Lab-robotleerplatform, zes nieuwe workflows binnen Project GR00T voor de ontwikkeling van humanoïde robots, en nieuwe hulpmiddelen voor wereldmodelontwikkeling, zoals de NVIDIA Cosmos-tokenizer en de NeMo Curator voor videoprocessing.
Het open-source Isaac Lab-platform, dat gebouwd is op het NVIDIA Omniverse-platform, stelt ontwikkelaars in staat om op grote schaal robotische processen te trainen. Het systeem is geschikt voor verschillende soorten robots, van humanoïde tot viervoetige robots, en wordt wereldwijd gebruikt door bedrijven als 1X, Agility Robotics, Boston Dynamics en XPENG Robotics. Daarnaast werkt NVIDIA samen met Hugging Face om open-source robotica-onderzoek te ondersteunen.
Project GR00T, NVIDIA’s initiatief voor de ontwikkeling van humanoïde robots, biedt zes workflows die ontwikkelaars helpen bij de complexe technologieën achter deze robots. Onder de nieuwe workflows bevinden zich GR00T-Gen voor het bouwen van 3D-omgevingen, GR00T-Mimic voor het genereren van bewegingen, GR00T-Dexterity voor manipulatie, GR00T-Control voor besturing van het gehele lichaam, GR00T-Mobility voor navigatie en GR00T-Perception voor waarneming via verschillende zintuigen. Jim Fan, senior researchmanager voor embodied AI bij NVIDIA, verklaarde dat deze tools bedoeld zijn om de complexiteit van humanoïde robotontwikkeling beheersbaar te maken.
Voor de ontwikkeling van wereldmodellen heeft NVIDIA de Cosmos-tokenizer gelanceerd, waarmee hoogwaardige visuele data sneller en efficiënter verwerkt kan worden. Bedrijven zoals 1X en XPENG Robotics gebruiken deze technologie om beelden en video’s in hoge resolutie beter te beheren. De NeMo Curator is ontworpen voor het verwerken van videodata op grote schaal en optimaliseert de dataflow over meerdere GPU’s. Deze tool wordt eind november beschikbaar.
Naast deze nieuwe hulpmiddelen presenteerde NVIDIA tijdens CoRL onderzoek over verbeteringen in robotvisie, navigatie en planning. Belangrijke projecten zijn onder andere SkillGen, dat robots traint met synthetische data, en HOVER, een basismodel voor de besturing van humanoïde robots.
Isaac Lab en de Cosmos-tokenizer zijn nu beschikbaar op GitHub, en de NeMo Curator volgt later deze maand. NVIDIA organiseert op 13 november een livestream over de laatste ontwikkelingen in robotica en simulatie, met aanvullende informatie en ondersteuning voor ontwikkelaars in de sector.
