Nexdata、Physical AI開発を加速するマルチモーダルEgo-centricデータセットの提供を開始

Nexdataは2026年8月26日より、Physical AI（フィジカルAI）基盤モデルの研究開発を加速させるため、マルチモーダルEgo-centric（一人称視点）データセットの提供を開始しました。この新しいデータセットは、ロボットが現実の世界で自律的に動くために必要な、多感覚の情報や精密な操作データを提供します。

Physical AI開発の課題とデータレシピ

Physical AIの研究開発において、最も難しい点の一つは「実世界に近い多様で質の高いマルチモーダルデータを集めること」です。特に、ロボットが実際に環境で自力で動くためには、ただの映像データだけでなく、ロボット自身の視点（Ego-centric）から得られる多くの種類の情報や、細かい動きに関するデータがとても大切です。

汎用性の高いAIアルゴリズムを学習させるためには、さまざまな種類のデータを組み合わせた「データレシピ」を作ることが有効とされています。これには、一般的なデータ、シミュレーションデータ、Egoデータ、UMI（Universal Manipulation Interface）データ、ロボットデータといった、複数のレベルのデータが含まれます。

これらのデータは、それぞれ量や多様性、集めるための費用、データの形式が大きく異なります。特にEgo-centricデータでは、複数のセンサーから得られる情報をぴったりと合わせる（厳密な同期）ことや、UMIデータや実際のロボットデータと連携させる（パイプライン統合）ことは、会社が自力で準備したり、前処理したりするのが非常に難しいとされています。

Nexdataは、Physical AIの分野で世界規模でのデータ収集と提供の実績があります。これまでに集めたたくさんのデータセットを、世界中の企業や研究機関に提供してきました。また、テレオペレーション（遠隔操作）、UMI、Ego-centric（一人称視点）といった、さまざまな方法でのデータ収集に対応しています。映像データに加えて、ロボットの動きの記録や、力を感じ取る情報、位置情報など、複数の種類の情報を正確に同期させたデータを提供しています。

これらの経験とデータ収集の仕組みを活かし、お客様の技術的な要望に合ったデータセットの提供から、データ収集に必要な機器の準備、さらに実際のロボットを使った検証まで、一貫してサポートする体制を整えています。

新規データセットの詳細

今回提供が始まったデータセットは、マルチビュー幾何学、全身運動学（Whole-body control）、Sim2Real（シミュレーションから現実世界への応用）といった研究テーマにすぐに使えるように設計されています。

1,000時間 PICO収集データセット

このデータセットは、細かい作業を学習させるために必要な、全身の協調した動きのデータと、既存の学習システムに組み込みやすい高い互換性を提供します。

項目	内容
収集機器	PICO 4 Ultraヘッドマウント型ステレオデバイス、5台のIMUトラッカー、両手首アクションカメラ
収集環境	家庭、オフィス、商業施設など7分類のシーンを網羅
データ構成	時空間アライメント済みのステレオ動画、エゴセントリックポーズ、全身骨格キーポイント、ジェスチャー、再構築シーン。タスク単位での分割と動作記述済み
フォーマット	LeRobot標準フォーマットに準拠しており、既存の学習パイプラインへの直接的な組み込みが可能。

1,000本 6カメラEgo-centricデータ

マルチカメラを使った3Dの再現やSLAM（自己位置推定と環境地図作成）の研究に必要な、時間を厳密に合わせた情報と空間情報を提供します。

項目	内容
同期仕様	6台のカメラをハードウェアトリガーにより同期露光（時間差 ≤1ms）を実現
収集環境	家庭、オフィス、リフォーム現場、小売店舗、学校、倉庫の6分類、計34カ所（各クリップ約35秒、計1,042セグメント）
データ構成	RGB 60fps (1600×1200)、モノクロ魚眼 30fps (640×480) の6系統動画に加え、キャリブレーション情報、点群データ、自社開発VSLAMによるミリ単位位置推定軌跡、ジェスチャー認識結果を包含

データ詳細やサンプルはこちらで確認できます。

その他のデータセット

上記以外にも、AIの基礎モデル構築からシミュレーションまで対応できるデータセットが提供されています。

13.5万時間 Ego-centricデータセット：動画、IMU、SLAM/深度、手部キーポイント、サブタスクアノテーションの5層構造で、家庭から産業まで多様なシーンに対応しています。
15万セットハンド器用操作データ：多指ハンド（複数の指を持つロボットハンド）のつかむ・回す動作のデータです。RGB-Dデータには、関節の状態や力・トルクのフィードバック情報も含まれます。
11.6万セット 3Dハンドジェスチャーデータ：深度、マスク画像、3Dキーポイントが完全に同期しています。手の3D再現やキーポイント検出のタスクに対応します。
2.88億セット 3Dモデルおよびシーンデータ：Sim2Real（シミュレーションから現実世界への転移）やデジタルツイン構築のための、屋内外の3D環境データベースです。

NexdataのPhysical AIデータ支援体制

Nexdataは、データ提供だけでなく、開発の具体的な段階までを支援するための設備も提供しています。

Physical AI専用データ収集工場：8,000㎡の広さを持つ施設には、人型ロボット、双腕ロボット、四足ロボットなど300体以上のロボットが常に稼働しています。UMIやテレオペレーションを活用し、月に5,000時間規模のデータ収集が可能です。
Scan to simデータ作成サービス：現実世界の空間データを3Dスキャン装置で集め、それをもとにPhysical AIの学習や検証に最適な、非常にリアルなシミュレーション空間を作成します。AIの開発から実際の環境へのスムーズな導入まで、一貫してサポートします。
VLA・VTLA特化アノテーション：マルチモーダルデータを完全に同期させ、動作の意図を言葉で説明するなど、Vision-Language-Action（VLA）モデルに最適化されたアノテーション（データの意味づけ作業）を行います。
Physical AIモデルテスト検証支援：人型ロボットや双腕ロボット、高性能なGPUサーバーを完備しています。現実世界やシミュレーション環境でのテスト実施から、その結果を開発に活かすためのフィードバックまで、一貫してサポートし、AIモデルの開発・検証を加速させます。