NVIDIAがフィジカルAI開発を加速するオープンソースのツールとスキルを発表
NVIDIAは、フィジカルAIの開発を大きく進めるためのオープンソースのAIエージェントツールとスキルを発表しました。

この新しいコレクションは、ロボット工学、自動運転車、ビジョンAI、産業用デジタルツインといった分野において、複雑な開発作業をAIエージェントが実行可能なタスクに変えることを目指しています。これにより、フィジカルAIのワークフローを大規模に構築する際の費用、時間、複雑さを減らすことが期待されます。
フィジカルAI開発のためのエージェント対応ツールとスキル
NVIDIAは、AIエージェントがNVIDIAのライブラリ、モデル、フレームワークを直接利用できるようにすることで、フィジカルAI開発全体の効率を高めています。これには、現実世界を理解し生成するための「NVIDIA Cosmos」世界基盤モデル、シミュレーションとデジタルツイン向けの「NVIDIA Omniverse」ライブラリ、ロボットシミュレーションと学習向けの「NVIDIA Isaac」、ビジョンAI向けの「NVIDIA Metropolis」、自動運転向けの「NVIDIA Alpamayo」、エッジAI開発向けの「NVIDIA Jetson」プラットフォームなどが含まれます。
これらのツールを開発者が活用できるように、NVIDIAは新しいスキル群を「NVIDIA Agent Toolkit」の一部として提供します。これにより、AIエージェントが開発プロセスでどのようなツールを使い、どのような結果を出すべきかといった具体的な指示に従えるようになります。開発者は「NVIDIA NemoClaw」ブループリントや「NVIDIA OpenShell」ランタイムを使って、これらのスキルを活用し、安全に自律型エージェントを構築・展開できます。
主な応用分野
NVIDIAのフィジカルAIスキルとツールは、以下の分野で開発を加速します。
-
ロボット工学とエッジAI: ロボット開発の全工程を効率化し、学習データの生成からシミュレーション、ナビゲーション訓練の自動化、ロボット学習の高度化、エッジシステムへの展開までを高速化します。
-
自動運転車: 取得したデータをシミュレーション環境で再現したり、リアルな走行シナリオを大規模に生成したり、自動運転システムのトレーニングと評価を拡大したりすることが可能になります。
-
リアルタイム ビジョンAIエージェント: 合成トレーニングデータの生成、モデルの微調整、ラベリングを自動化し、ビデオの検索、要約、分析を行うビデオAIエージェントの構築を支援します。
-
産業用AI: エンジニアリングデータをデジタルツインシミュレーション用のアセットに変換し、大規模なOpenUSDシーンを最適化します。
-
ヘルスケア: 病院環境のデジタルツイン作成、シミュレーションから実環境へのデータ生成、ソフトウェアテストを通じて、医療現場への自動化導入を支援します。
これらのスキルを組み合わせることで、開発者はデータ生成、シミュレーション、最適化、推論チューニング、継続的な評価といった複雑なワークフローを自動化できます。
業界リーダーによる活用事例
すでに多くの企業がNVIDIAのフィジカルAI技術を活用し、自律システムや産業用AIの開発を進めています。これらのライブラリがエージェントに対応することで、開発者はさらに効率的に複雑なフィジカルAIワークフローを自動化できるようになります。
-
電子機器製造: TSMCやPegatronは、外観検査モデルの精度向上に活用しています。Pegatronは、欠陥画像生成スキルから得られた合成データを使うことで、モデルのトレーニングと展開にかかる時間を67%短縮しました。Delta Electronicsは、金属バスバーの過剰なはんだ付け検出率を17%向上させました。Inventecは、ノートPC筐体製造における欠陥データ収集作業を30%削減し、FoxconnはDeepHowと協力して初回合格率を約3%向上させました。
-
自動運転車: Li Auto、Afari、DeepRoute.aiは、NVIDIA Omniverse NuRecモデルを用いて、1日に1,000以上の再構築と30万以上のレンダリングおよびシミュレーションを生成しています。
-
産業用AI: Cadence、Dassault Systèmes、Siemens、Synopsysは、NVIDIA Omniverseライブラリとスキルをエンジニアリングデータの検査、シミュレーション、インタラクティブなデジタルツインに活用しています。PTC、MetAI、Lightwheelは、NVIDIA Isaac Simフレームワークを活用してCADデータをシミュレーション対応のアセットに変換しています。SK hynixは、NVIDIA Omniverseを用いた半導体工場のデジタルツインを実装しています。
-
ロボット工学: 1x、Agile Robots、Agility、FieldAI、Hexagon Robotics、NEURA Robotics、Skild AI、Universal Robotsといった企業が、NVIDIAの技術でロボット開発を加速させています。
-
ヘルスケア: FoxconnとCompalは、病院向けロボットの導入を加速しています。FoxconnはNurabotの展開を拡大し、新しい手術室向け協働ロボットも導入しています。Compalは、PolyMedXロボットの開発プロセスを進めています。
提供情報
NVIDIAのフィジカルAIエージェントツールとスキルは、GitHubとskills.shで公開されており、あらゆるコーディングエージェントで使用できます。
合成データ生成向けのエージェントスキルとツールは、NVIDIA Brev上で「Physical AI Launchables」としてすぐに試すことができます。
Microsoft、CoreWeave、およびNebiusは、これらのエージェントスキルとツールをクラウドサービスと統合し、開発者が合成データの生成と展開を効率化し、拡張できるようにしています。
詳細については、ジェンスン フアン氏の基調講演、NVIDIA GTC Taipei、およびフィジカルAIセッションをご覧ください。
NVIDIAの技術は、AIとアクセラレーテッドコンピューティングの分野で世界をリードしています。
関連リンク:


