Astăzi, la GTC Taipei și Computex, NVIDIA Corp. a dezvăluit mai multe-sursă deschisă de abilități și instrumente AI fizice pentru a ajuta dezvoltatorii de robotică, vehicule autonome, AI vizuale și gemeni digitali industriali. Compania a susținut că pot ajuta la reducerea costurilor, timpului și complexității construirii fluxurilor de lucru fizice AI la scară.
Disponibil ca parte aSetul de instrumente pentru agent NVIDIA, noile abilități vor permite agenților AI să accelereze generarea de date, simularea, instruirea, evaluarea și implementarea conductelor din spatele roboților, vehiculelor autonome (AV), fabricilor și laboratoarelor, a spus compania.
„Agenții AI revoluționează dezvoltarea software-ului, iar această schimbare vine acum la IA fizică, extinzându-se în sistemele care vor transforma transportul, producția, asistența medicală și robotica”, a declarat Jensen Huang, fondator și CEO al NVIDIA, la GTC Taipei. „Când agenții pot folosi direct bibliotecile, modelele și cadrele NVIDIA, dezvoltarea fizică a AI se va mișca mai rapid, permițând dezvoltatorilor să construiască roboții, vehiculele autonome și sistemele industriale ale viitorului într-un ritm incredibil.”
„IA fizică necesită cantități masive de date de antrenament în diverse medii”, a menționat Rev Lebaredian, vicepreședinte pentru simularea AI fizică la NVIDIA. „Teleoperarea, simularea și datele la scară-internet conduc la modele de bază pentru o diversitate infinită de cazuri de utilizare.”
NVIDIA pregătește agentul de stivă AI fizic-
NVIDIA a spus că își optimizează întreaga stivă fizică AI pentru agenți, transformând biblioteci, modele și cadre în instrumente care pot fi apelate de agent-. Aceasta include:
NVIDIA Cosmos3 modele de fundație mondială pentru raționamentul și generarea lumii fizice
NVIDIA Omniversebiblioteci pentru simulare și gemeni digitali
NVIDIA Isaacpentru simularea robotică și învățarea roboților
NVIDIA Metropolispentru viziune AI
NVIDIA Alpamayopentruconducere autonomă
NVIDIA Jetsonplatformă pentru dezvoltarea AI de vârf
„Cosmos 3 este modelul de bază de frontieră pentru IA fizică”, a spus Lebaredian. „Înțelege videoclipuri și text și poate semnala ceea ce contează. Cosmos este o simulare precisă din punct de vedere fizic și este capabil să prezică ce se întâmplă în continuare și să genereze acțiuni.”
Pentru a ajuta la aplicarea acestor instrumente, se lansează NVIDIAnoi aptitudinipentru a transforma procesele fizice de dezvoltare AI în instrucțiuni repetabile pe care agenții de codificare le pot urma. Aceasta include ce instrumente să apeleze, ce rezultate să producă și modul în care dezvoltatorii pot valida rezultatele.
Dezvoltatorii pot, de asemenea, să construiască și să implementeze în siguranță agenți autonomi folosind aceste abilități cuNVIDIA NemoClawplanul șiNVIDIA OpenShellruntime, care oferă securitate bazată pe{0}}politici și guvernare a confidențialității hardware-ului local sau cloud. Agenții vor rula la limită în Jetson și au demonstrat deja îmbunătățiri ale timpului de funcționare, a spus Lebaredian.
NVIDIA a spus că abilitățile și instrumentele sale fizice AI accelerează dezvoltarea agentică în:
Robotică și IA de vârf:Dezvoltatorii de roboți pot folosi abilitățile pentru a accelera întreaga conductă de dezvoltare a roboticii, de la generarea de date privind percepția și antrenamentul de mobilitate până la simulare, automatizarea instruirii de navigare, avansarea învățării roboților și ajustarea sistemelor de vârf bazate pe Jetson-pentru implementare.
Vehicule autonome:Pentru dezvoltatorii AV, competențele pot direcționa agenții să reconstruiască datele capturate de flote în medii de simulare, să genereze scenarii fotorealiste de conducere la scară și să desfășoare învățare de consolidare-în buclă închisă pentru a extinde acoperirea de instruire și evaluare.
Agenți AI cu viziune-în timp real:Pentru inspecția automată și inteligența video, NVIDIA a spus că abilitățile sale de agenți pot ajuta echipele să genereze date sintetice de antrenament, să ajusteze-modele, să automatizeze etichetarea și să creeze agenți video AI care caută, rezumă și analizează videoclipuri live sau înregistrate.
AI industrial:Dezvoltatorii de software industrial pot folosi aceste abilități pentru a converti datele de inginerie în elemente de proiectare asistată de computer-CAD (CAD) pentru simularea gemenelor digitale, optimizând scenele OpenUSD mari cu mai puțină configurare manuală.
Sănătate:Înainte de a implementa automatizarea în medii clinice, echipele de asistență medicală pot ghida agenții prin crearea de gemeni digitali de medii spitalicești, generarea de date sim-la-reală și testarea politicilor-în--în buclă.
Abilitățile pot fi combinate și integrate în sisteme agentice mai mari, conform NVIDIA. Acest lucru le permite dezvoltatorilor să orchestreze și să automatizeze fluxuri de lucru complexe, cum ar fi generarea de date, simularea, optimizarea, reglarea inferenței, evaluarea continuă și multe altele.
Dezvoltatorii de robotică preiau stiva fizică de AI
1X Technologies, Agile Robots, Agility, FieldAI, Hexagon Robotics, NEURA Robotics, Skild AI și Universal Robots se numără printre companiile de robotică care folosesc deja stack-ul fizic AI NVIDIA pregătit pentru agent-.
„Cu actualizările stivei în NVIDIA Isaac GR00T, pot fi configurate noi fluxuri de lucru de la un capăt la altul{1}}la-în câteva ore față de câteva săptămâni”, a spus Lebaredian. „„Omni-modal” înseamnă că funcționează cu diferite moduri - video, senzori, text și sunet pentru intrări și ieșiri de acțiune.”
În plus, Foxconn și Compal folosesc NVIDIA Isaac for Healthcare pentru a accelera robotica spitalicească. Compal avansează în procesul de dezvoltare a robotului său PolyMedX către o platformă de orchestrare-la nivel de spital, care integrează simularea, AI și operațiunile din lumea reală-.
Foxconn extinde Nurabot în mai multe spitale și medii de îngrijire pe termen lung-, aducând robotica alimentată cu inteligență artificială-în îngrijirea pacienților, precum și introducerea noului său robot colaborativ Scrub Nurse pentru a ajuta la optimizarea fluxurilor de lucru în sala de operație.
Liderii din industrie construiesc cu tehnologii NVIDIA
Partenerii și clienții NVIDIA din software-ul de producție, transport, asistență medicală și industrial își folosesc bibliotecile fizice AI pentru a avansa în dezvoltarea sistemelor autonome și a AI industrială.
Pe măsură ce aceste biblioteci devin gata de agenți-, dezvoltatorii pot folosi abilitățile NVIDIA pentru a-i ajuta pe agenți să automatizeze configurarea, execuția și iterația în fluxurile de lucru fizice complexe de AI.
În producția de electronice, TSMC și Pegatron realizează{0}}modele de inspecție vizuală. Se pare că Pegatron a redus timpul de pregătire și implementare a modelului cu 67% utilizând date sintetice generate de abilitățile Defect Image Generation.
Delta Electronics a generat date sintetice de defect și a folosit abilitatea de a capta excesul de lipit pe barele metalice, îmbunătățind rata de detectare cu 17%. Inventec și-a dezvoltat conducta de inspecție vizuală a agentului de observație prin integrarea aptitudinii Generare imagini cu defecte, reducând efortul de colectare a datelor defectelor pentru fabricarea șasiului laptopului cu 30%.
Foxconn, lucrând cu DeepHow, a folosit abilitățile pentru a îmbunătăți eficiența producției prin detectarea erorilor din timp, sporind randamentul primei treceri cu aproximativ 3%.
În IA industrială, Cadence, Dassault Systèmes, Siemens și Synopsys folosesc bibliotecile și abilitățile NVIDIA Omniverse pentru inspecția de date, simulare și gemeni digitali interactivi. PTC, MetAI și Lightwheel folosesc cadrul NVIDIA Isaac Sim și fluxurile de lucru bazate pe OpenUSD-pentru a transforma datele CAD în active-și medii pregătite pentru simulare.
Ca parte a foii de parcurs „Autonomous Fab 2030”, SK hynix implementează gemeni digitali fab de semiconductori folosind NVIDIA Omniverse. Producătorul de cipuri colaborează, de asemenea, cu NVIDIA și SK Telecom pentru a valida NVIDIA Agent Toolkit pentru fabricarea-specifice AI fizice.
Dezvoltatorii -autonomi Li Auto, Afari și DeepRoute.ai folosesc modele NVIDIA Omniverse NuRec pentru reconstrucția și redarea scenei neuronale. Au generat peste 1.000 de reconstrucții și peste 300.000 de randări și simulări pe zi.
În plus, companiile AV folosesc noul depozit de abilități ale agenților pentru a accelera și îmbunătăți dezvoltarea sistemelor de conducere autonomă mai sigure și mai capabile. Foxconn, VinFast, Uber și HUMAIN s-au alăturat ecosistemului NVIDIA DRIVE Hyperion pentru a dezvolta și implementa robotaxa SAE de nivel 4.
Alpamayo 2 Super a fost deja descărcat de peste 500.000 de ori și a fost desemnat „Cea mai bună tehnologie” la Computex, a declarat Spencer Huang, director de produs pentru robotică la NVIDIA.
Instrumentele agentului AI fizic sunt acum disponibile
NVIDIA a spus că instrumentele și abilitățile sale fizice de agent AI sunt disponibile prin intermediulGitHubşiaptitudini.shpentru utilizare cu orice agent de codare.
Abilități și instrumente ale agenților pentru generarea de date sintetice -Reconstrucție neuronală, Augmentare video, Generarea de imagini cu defect- sunt disponibile și pe NVIDIA Brev caLansări fizice AI, medii preconfigurate care reunesc abilitățile și instrumentele agenților pentru generarea și evaluarea mai rapidă a datelor sintetice.
Microsoft,CoreWeave, șiNebiusintegrează aceste abilități și instrumente de agenți cu serviciile lor cloud pentru a le permite dezvoltatorilor să eficientizeze și să scaleze generarea și implementarea datelor sintetice.
Unitree umanoid de referință pentru NVIDIA Isaac GR00T
NVIDIA a anunțat, de asemenea, robotul umanoid de referință NVIDIA Isaac GR00T, un design de referință de robot umanoid deschis construit pe NVIDIA Jetson Thor și platforma de dezvoltare NVIDIA Isaac GR00T. Compania a spus că acest lucru va ajuta la democratizarea accesului la hardware și software avansat fără a necesita platforme costisitoare, proprietare, ca interes pentruumanoizi cu scop general{0}crește.
NVIDIA a combinat un corp de robot-de dimensiune completă cu manipulare, detectare, control și calculare AI la bord:
Șasiu umanoid Unitree H2,având o înălțime de aproape 1,8 m și cântărind 68 kg (150 lb), cu 31 de grade de libertate pentru testarea la scară umană.
DualValul Sharpamâini tactile cu cinci-degete,permițând manipularea cu dibăcie cu 22 de grade de libertate și aducând robotul la 75 de grade de libertate pe corp și pe mâini.
Sensare-multiple vizualizări,inclusiv o cameră stereo montată pe cap-cu câmp vizual larg (140 de grade pe orizontală, 102 grade pe verticală), camere de la încheietura mâinii pentru manipulare-la distanță apropiată și o unitate de măsurare a inerției pentru urmărirea mișcării.
Controlul întregului{{0}corp,cu un cuplu al brațului de până la 120 Newtoni-metri, un cuplu pentru picior de până la 360 Newtoni-metri, o sarcină utilă nominală a brațului de 7 kg (15,4 lb.) și sarcină utilă maximă de 15 kg (33 lb.), deblocând o ridicare și o rată mai capabilă.
Calculator integrat NVIDIA Jetson AGX Thor T5000,cu un GPU NVIDIA Blackwell cu 2.070 de teraflopi FP4 de performanță AI, un CPU Arm cu 14-core, 128 GB de memorie unificată și o gamă de putere configurabilă de la 40 la 130 de wați pentru procesarea în timp real a senzorilor și inferența robotului.
Conectivitateprin Ethernet, Wi-Fi 6, Bluetooth 5.2, USB și o serie de microfoane și difuzoare pentru interacțiunea vocală.
Baterie pentru funcționare prelungită,cu o capacitate de 15 Ah, 0,972 kWh și aproximativ trei ore de viață.
La-oprire de urgență de la distanțăfuncție pentru decuplarea rapidă a robotului în siguranță.
Platforma Isaac GR00T include:
NVIDIA Isaac Teleoppentru a captura date-de înaltă calitate pentru demonstrații despre roboți pentru instruire și dezvoltare de politici.
Modele de fundație deschisă NVIDIA Isaac GR00Tpentru a sprijini raționamentul umanoid, învățarea și comportamentul multitasking.
NVIDIA Isaac Sim şiIsaac Labpentru a simula, antrena, testa și evalua politicile roboților înainte de implementarea-în lumea reală.
Middleware accelerat NVIDIA Isaac ROSpentru a muta politicile instruite pe roboți.
NVIDIA Jetson Thorpentru a rula-în timp real, pe-inferență și control pe robot.
Sistemul este proiectat pentru a fi modular, astfel încât echipele de robotică să poată utiliza întreaga platformă sau să integreze capabilitățile selectate în conductele de dezvoltare existente, ajutându-le să scaleze dezvoltarea umanoidă fără a reconstrui aceeași infrastructură pentru fiecare robot sau sarcină.
Instituții de cercetare de top, inclusiv Ai2, ETH Zurich, Stanford Robotics Center și Advanced Robotics and Controls Laboratory din UC San Diego intenționează să folosească acest design de referință pentru a avansa cercetarea robotică umanoidă.
„Pentru a face progrese către roboți cu scop general-, cercetătorii au nevoie de platforme capabile și accesibile pe scară largă”, a declarat Deepak Pathak, co-fondator și CEO Skild AI. „Un design de referință permite mai multor cercetători să participe la cercetarea umanoide de frontieră și să treacă mai rapid de la idei la experimente. Acest lucru ajută la împingerea întregului ecosistem de cercetare în robotică.”