NVIDIA Corp. je danes na GTC Taipei in Computex razkrila več-odprtokodnih fizičnih veščin in orodij umetne inteligence za pomoč razvijalcem robotike, avtonomnih vozil, vizualne umetne inteligence in industrijskih digitalnih dvojčkov. Podjetje je trdilo, da lahko pomagajo zmanjšati stroške, čas in kompleksnost gradnje fizičnih delovnih tokov AI v velikem obsegu.
Na voljo kot delNVIDIA Agent Toolkit, bodo nove veščine omogočile agentom AI, da pospešijo cevovode za ustvarjanje podatkov, simulacijo, usposabljanje, vrednotenje in uvajanje za roboti, avtonomnimi vozili (AV), tovarnami in laboratoriji, so sporočili iz podjetja.
"Agenti umetne inteligence revolucionirajo razvoj programske opreme in ta premik zdaj prihaja do fizične umetne inteligence, ki se širi v sisteme, ki bodo preoblikovali transport, proizvodnjo, zdravstveno varstvo in robotiko," je dejal Jensen Huang, ustanovitelj in izvršni direktor NVIDIA, pri GTC Taipei. "Ko lahko agenti neposredno uporabljajo knjižnice, modele in ogrodja NVIDIA, bo fizični razvoj umetne inteligence potekal hitreje, kar bo razvijalcem omogočilo izgradnjo robotov, avtonomnih vozil in industrijskih sistemov prihodnosti z neverjetno hitrostjo."
"Fizična umetna inteligenca zahteva ogromne količine podatkov za usposabljanje v različnih okoljih," je dejal Rev Lebaredian, podpredsednik za simulacijo fizične umetne inteligence pri NVIDIA. "Podatki o teleoperaciji, simulaciji in-internetu vodijo do svetovnih temeljnih modelov za neskončno raznolikost primerov uporabe."
NVIDIA pripravi agenta sklada fizične umetne inteligence-
NVIDIA je sporočila, da optimizira svoj celoten sklad fizične umetne inteligence za agente, tako da spremeni knjižnice, modele in ogrodja v orodja,-ki jih lahko kliče agent. To vključuje:
NVIDIA Cosmos3 svetovni modeli temeljev za sklepanje in ustvarjanje fizičnega sveta
NVIDIA Omniverseknjižnice za simulacije in digitalne dvojčke
NVIDIA Isaacza robotsko simulacijo in robotsko učenje
NVIDIA Metropolisza vid AI
NVIDIA Alpamayozaavtonomna vožnja
NVIDIA Jetsonplatforma za razvoj robne umetne inteligence
"Cosmos 3 je temeljni model za fizično umetno inteligenco," je dejal Lebaredian. "Razume videoposnetke in besedilo ter lahko označi, kar je pomembno. Cosmos je fizično natančna simulacija in lahko predvidi, kaj se bo zgodilo naslednje, in ustvari dejanja."
Za pomoč pri uporabi teh orodij se lansira NVIDIAnova znanjaspremeniti fizične razvojne procese umetne inteligence v ponovljiva navodila, ki jim lahko sledijo kodirni agenti. To vključuje, katera orodja poklicati, katere rezultate ustvariti in kako lahko razvijalci potrdijo rezultate.
Razvijalci lahko tudi varno zgradijo in uvedejo avtonomne agente z uporabo teh veščin zNVIDIA NemoClawnačrt inNVIDIA OpenShellruntime, ki zagotavlja-na politiki temelječo varnost in upravljanje zasebnosti na lokalni strojni opremi ali strojni opremi v oblaku. Agenti bodo delovali na robu v Jetsonu in so že pokazali izboljšave v času delovanja, je dejal Lebaredian.
NVIDIA je dejala, da njene spretnosti in orodja fizične umetne inteligence pospešujejo razvoj agentov v:
Robotika in robna umetna inteligenca:Razvijalci robotov lahko uporabijo veščine za pospešitev celotnega razvoja robotike, od generiranja podatkov o zaznavanju in usposabljanju mobilnosti do simulacije, avtomatizacije usposabljanja za navigacijo, napredovanja robotskega učenja in prilagajanja robnih sistemov, ki temeljijo na Jetsonu-, za uvajanje.
Avtonomna vozila:Za razvijalce AV lahko spretnosti usmerjajo agente, da rekonstruirajo podatke, ki jih zajamejo vozni parki, v simulacijska okolja, ustvarijo fotorealistične scenarije vožnje v velikem obsegu in zaženejo okrepljeno učenje v zaprti-zanki za razširitev pokritosti usposabljanja in ocenjevanja.
Agenti-vida umetne inteligence v realnem času:Za avtomatiziran pregled in video inteligenco je NVIDIA dejala, da lahko njene veščine agentov pomagajo ekipam ustvariti sintetične podatke o usposabljanju, natančno-nastaviti modele, avtomatizirati označevanje in zgraditi video agente AI, ki iščejo, povzemajo in analizirajo žive ali posnete videoposnetke.
Industrijska umetna inteligenca:Razvijalci industrijske programske opreme lahko te veščine uporabijo za pretvorbo inženirskih podatkov v sredstva računalniško{0}}podprtega načrtovanja (CAD) za digitalno dvojno simulacijo, pri čemer optimizirajo velike prizore OpenUSD z manj ročnih nastavitev.
Zdravstveno varstvo:Pred uvedbo avtomatizacije v kliničnih okoljih lahko zdravstvene ekipe vodijo zastopnike skozi ustvarjanje digitalnih dvojčkov bolnišničnih okolij, ustvarjanje-v-resničnih podatkov in programsko opremo-v--testiranju pravilnika o zanki.
Spretnosti je mogoče kombinirati in integrirati v večje agentske sisteme, pravi NVIDIA. To omogoča razvijalcem, da orkestrirajo in avtomatizirajo zapletene delovne tokove, kot so generiranje podatkov, simulacija, optimizacija, uravnavanje sklepanja, stalno vrednotenje in več.
Razvijalci robotike poberejo fizični sklad AI
1X Technologies, Agile Robots, Agility, FieldAI, Hexagon Robotics, NEURA Robotics, Skild AI in Universal Robots so med robotskimi podjetji, ki že uporabljajo agent-pripravljen fizični AI stack NVIDIA.
»S posodobitvami sklada v NVIDIA Isaac GR00T je mogoče nove poteke dela od konca-do-nastaviti v urah kot v tednih,« je dejal Lebaredian. "'Omni-modal' pomeni, da deluje z različnimi načini - videa, senzorjev, besedila in zvoka za vhode in izhode dejanj."
Poleg tega Foxconn in Compal uporabljata NVIDIA Isaac for Healthcare za pospešitev bolnišnične robotike. Compal pospešuje razvojni proces svojega robota PolyMedX v smeri bolnišnične-orkestracijske platforme, ki vključuje simulacijo, umetno inteligenco in-operacije v resničnem svetu.
Foxconn širi Nurabot v več bolnišnicah in okoljih dolgotrajne-oskrbe, prinaša-robotiko, ki jo poganja umetna inteligenca, za oskrbo pacientov, poleg tega pa predstavlja svojega novega sodelovalnega robota Scrub Nurse Collaborative Robot, ki pomaga optimizirati potek dela v operacijski sobi.
Vodilni v panogi gradijo s tehnologijami NVIDIA
Partnerji in stranke NVIDIA v proizvodnji, transportu, zdravstvu in industrijski programski opremi uporabljajo njene fizične knjižnice umetne inteligence za pospeševanje razvoja avtonomnih sistemov in industrijske umetne inteligence.
Ko te knjižnice postanejo{0}}pripravljene za agente, lahko razvijalci uporabijo znanja NVIDIA, da agentom pomagajo avtomatizirati nastavitev, izvajanje in ponavljanje v zapletenih fizičnih potekih dela z umetno inteligenco.
V proizvodnji elektronike TSMC in Pegatron fino uravnavata-modele vizualnih pregledov. Pegatron je domnevno skrajšal čas usposabljanja in uvajanja modela za 67 % z uporabo sintetičnih podatkov, ustvarjenih iz spretnosti Defect Image Generation.
Delta Electronics je ustvaril sintetične podatke o napakah in uporabil to veščino za lovljenje odvečnega spajkanja na kovinskih vodilih, s čimer je izboljšal stopnjo odkrivanja za 17 %. Inventec je razvil svoj cevovod za vizualni pregled Observation Agent z integracijo spretnosti Defect Image Generation, s čimer je za 30 % zmanjšal zbiranje podatkov o napakah pri proizvodnji ohišij prenosnih računalnikov.
Foxconn, ki sodeluje z DeepHow, je to veščino uporabil za izboljšanje proizvodne učinkovitosti z zgodnjim odkrivanjem napak, s čimer je povečal izkoristek prvega prehoda za približno 3 %.
V industrijski umetni inteligenci Cadence, Dassault Systèmes, Siemens in Synopsys uporabljajo knjižnice in spretnosti NVIDIA Omniverse za inženirske preglede podatkov, simulacijo in interaktivne digitalne dvojčke. PTC, MetAI in Lightwheel izkoriščajo ogrodje NVIDIA Isaac Sim in poteke dela,-temelječe na OpenUSD, da bi podatke CAD pretvorili v-sredstva in okolja, pripravljena za simulacijo.
Kot del načrta "Autonomous Fab 2030" SK hynix implementira digitalne dvojčke polprevodniških tovarn z uporabo NVIDIA Omniverse. Proizvajalec čipov sodeluje tudi z NVIDIA in SK Telecom, da bi potrdil NVIDIA Agent Toolkit za proizvodnjo-specifične fizične umetne inteligence.
Razvijalci-samovozečih Li Auto, Afari in DeepRoute.ai uporabljajo modele NVIDIA Omniverse NuRec za nevronsko rekonstrukcijo in upodabljanje scene. Ustvarili so več kot 1.000 rekonstrukcij in več kot 300.000 upodobitev in simulacij na dan.
Poleg tega podjetja AV uporabljajo novo skladišče veščin agentov za pospešitev in izboljšanje razvoja varnejših in zmogljivejših sistemov za avtonomno vožnjo. Foxconn, VinFast, Uber in HUMAIN so se pridružili ekosistemu NVIDIA DRIVE Hyperion za razvoj in uvedbo SAE ravni 4 robotaxis.
Alpamayo 2 Super je bil prenesen že več kot 500.000-krat in je bil imenovan za "najboljšo tehnologijo" na Computexu, je dejal Spencer Huang, direktor produkta za robotiko pri NVIDIA.
Orodja fizičnega agenta AI so zdaj na voljo
NVIDIA je dejala, da so njena fizična orodja in spretnosti agenta AI na voljo prekGitHubinspretnosti.shza uporabo s katerim koli kodirnim sredstvom.
Veščine agenta in orodja za ustvarjanje sintetičnih podatkov -Nevralna rekonstrukcija, Povečanje videa, Generiranje napake slike- so na voljo tudi na NVIDIA Brev asFizični AI Launchables, vnaprej konfigurirana okolja, ki združujejo spretnosti agentov in orodja za hitrejše ustvarjanje in vrednotenje sintetičnih podatkov.
Microsoft,CoreWeave, inNebiusintegrirajo te spretnosti in orodja agentov s svojimi storitvami v oblaku, da razvijalcem omogočijo racionalizacijo in povečanje sintetičnega ustvarjanja podatkov in uvajanja.
Humanoid Unitree je referenca za NVIDIA Isaac GR00T
NVIDIA je prav tako napovedala NVIDIA Isaac GR00T Reference Humanoid Robot, odprto referenčno zasnovo humanoidnega robota, zgrajeno na NVIDIA Jetson Thor in razvojni platformi NVIDIA Isaac GR00T. Podjetje je dejalo, da bo to pomagalo demokratizirati dostop do napredne strojne in programske opreme, ne da bi za to potrebovali drage, lastniške platforme.humanoidi-za splošne namenepoveča.
NVIDIA je združila-ohišje robota v polni velikosti s spretno manipulacijo, zaznavanjem, nadzorom in vgrajenim računanjem umetne inteligence:
Unitree H2 humanoidno ohišje,visok skoraj 6 ft (1,8 m) in tehta 150 lb (68 kg), z 31 prostostnimi stopnjami za-testiranje na človeškem merilu.
DvojnoSharpa valotipljive pet{0}}prstne roke,omogoča spretno manipulacijo z 22 stopnjami svobode in pripelje robota do 75 stopinj svobode po telesu in rokah.
Več{0}}zaznavanje pogleda,vključno s-naglavno stereo kamero s širokim vidnim poljem (140 stopinj vodoravno, 102 stopinji navpično), zapestnimi kamerami za-manipulacijo na blizu in vztrajnostno merilno enoto za sledenje gibanja.
Nadzor nad-celim telesom,z navorom roke do 120 njuton-metrov, navorom nog do 360 njuton-metrov, nazivno obremenitvijo roke 7 kg (15,4 lb.) in največjo obremenitvijo 15 kg (33 lb.), kar omogoča zmogljivejše dviganje in doseg.
vgrajeni računalnik NVIDIA Jetson AGX Thor T5000,vključuje NVIDIA Blackwell GPE z 2070 FP4 teraflops zmogljivosti AI, 14-jedrni CPE Arm, 128 GB poenotenega pomnilnika in nastavljiv razpon moči od 40 do 130 vatov za obdelavo senzorjev v realnem času in sklepanje robotov.
Povezljivostprek etherneta, Wi-Fi 6, Bluetooth 5.2, USB ter niza mikrofonov in zvočnikov za glasovno interakcijo.
Baterija za podaljšano delovanje,s kapaciteto 15 Ah, 0,972 kWh in približno tremi urami življenjske dobe.
V-oddaljena zaustavitev v silifunkcija za hitro varno izklop robota.
Platforma Isaac GR00T vključuje:
NVIDIA Isaac Teleopza zajemanje visoko{0}}kakovostnih demonstracijskih podatkov o robotih za usposabljanje in razvoj politik.
Odprti modeli NVIDIA Isaac GR00Tpodpirati humanoidno razmišljanje, učenje in večopravilnost.
NVIDIA Isaac Sim inIsaac Labza simulacijo, usposabljanje, preizkušanje in ocenjevanje pravilnikov o robotih pred-uvedbo v resničnem svetu.
Pospešena vmesna programska oprema NVIDIA Isaac ROSpremakniti usposobljene politike na robote.
NVIDIA Jetson Thorza delovanje v realnem-času,-z robotskim sklepanjem in nadzorom.
Sistem je zasnovan tako, da je modularen, tako da lahko robotske ekipe uporabljajo celotno platformo ali integrirajo izbrane zmogljivosti v obstoječe razvojne načrte, kar jim pomaga povečati razvoj humanoidov brez ponovne gradnje iste infrastrukture za vsakega robota ali nalogo.
Vodilne raziskovalne ustanove, vključno z Ai2, ETH Zurich, Stanford Robotics Center in UC San Diego's Advanced Robotics and Controls Laboratory, nameravajo uporabiti to referenčno zasnovo za pospeševanje raziskav humanoidne robotike.
»Za napredek v smeri-robotov za splošne namene raziskovalci potrebujejo platforme, ki so zmogljive in široko dostopne,« je dejal Deepak Pathak, so-ustanovitelj in izvršni direktor podjetja Skild AI. "Referenčna zasnova omogoča več raziskovalcem, da sodelujejo pri raziskavah mejnih humanoidov in hitreje preidejo od idej k eksperimentom. To pomaga potiskati celoten ekosistem robotskih raziskav naprej."