Physical AI開発を加速！Nexdataが「一人称視点」の多感覚データセットを提供開始

Physical AI（現実世界で自律的に動くAI）の研究開発では、実際の環境で得られる多様で質の高いデータが不足していることが大きな課題です。特に、ロボットが周りの環境を理解し、自分で動くためには、単なる映像だけでなく、ロボット自身の視点（一人称視点、Ego-centric）からの様々な感覚情報や、細かな操作データがとても大切になります。

このような課題を解決するため、Nexdataは2026年8月26日より、Physical AIの基盤となるモデルの研究開発を早めるための、大規模な多感覚データセットの提供を開始しました。

新しいデータセットが提供する価値

今回提供されるデータセットは、AIの基礎モデルを作ることから、ロボットの細かい動きを学習させることまで幅広く使えます。映像、動きのセンサー（IMU）、位置情報を測る技術（SLAM）や奥行き情報、そして手の動きの重要な点（キーポイント）や、物体を識別する情報（セマンティックアノテーション）が、完全に時間同期されています。これにより、研究のプロセスにすぐに組み込むことが可能です。

また、Physical AIを実際の環境に導入する際に、データの収集や準備に時間がかかるという問題があります。Nexdataは、これまでの世界的なデータ収集の実績を活かし、必要な機器の調達から、実際にロボットを使った検証までを一貫してサポートする体制を整えています。AI開発の課題に合わせて、最適なデータセットと解決策が提供されます。

実環境データ収集の重要性

Physical AIの研究では、一つのデータ源に頼るのではなく、一般的なデータ、シミュレーションデータ、一人称視点データ、UMI（Universal Manipulation Interface）データ、ロボットデータといった、様々なレベルのデータを組み合わせて使う「データレシピ」を作ることで、どんな状況にも対応できるAIアルゴリズムを学習させる方法が注目されています。

それぞれのレベルのデータは、量、多様性、集める費用、データの形が大きく異なります。特に一人称視点データでは、複数のセンサーの情報を正確に同期させたり、UMIや実際のロボットのデータと連携させたりすることが、自分たちだけで準備するには非常に難しいとされています。

Nexdataは、Physical AIの分野で世界的にデータ収集・提供を行ってきた経験があります。これまでに集めた膨大なデータセットを、世界中の企業や研究機関に提供してきました。さらに、遠隔操作（テレオペレーション）、UMI、一人称視点といった様々な方法でのデータ収集に対応しています。映像データだけでなく、ロボットの動きの記録や、力加減の情報、位置情報など、複数の種類のデータを同期させた高精度のデータ提供を実現しています。

これらの知識とデータ収集の仕組みを使い、技術的な要求に合ったデータセットの提供から、収集機器の調達、実際のロボットを使った検証まで、一貫したサポート体制を整えています。

新しく提供されるデータセット：技術的な要求に応える一人称視点データ

今回提供されるデータセットは、マルチビュー幾何学、全身運動学、Sim2Real（シミュレーションから現実世界への適用）といった研究テーマにそのまま活用できるように作られています。

1,000時間 PICO収集データセット

細かいロボット操作を学習するために必要な、全身の協調した動きのデータと、高いデータ連携性を提供します。

項目	内容
収集機器	PICO 4 Ultraヘッドマウント型ステレオデバイス、5台のIMUトラッカー、両手首アクションカメラ
収集環境	家庭、オフィス、商業施設など7種類のシーン
データ構成	時間と空間が揃えられたステレオ動画、一人称視点での姿勢、全身の骨格キーポイント、ジェスチャー、再構築されたシーン。タスクごとに分割され、動作が記述済み
フォーマット	LeRobot標準フォーマットに準拠しており、既存の学習プロセスに直接組み込み可能

1,000本 6カメラEgo-centricデータ

複数のカメラを使った3D再構築やSLAM（自己位置推定と環境地図作成）の研究に必要な、正確な時間同期と空間情報を提供します。

項目	内容
同期仕様	6台のカメラをハードウェアの信号で同期露光（時間差1ミリ秒以下）を実現
収集環境	家庭、オフィス、リフォーム現場、小売店舗、学校、倉庫の6種類、合計34カ所（各約35秒のクリップ、合計1,042セグメント）
データ構成	RGB 60fps (1600×1200)、モノクロ魚眼 30fps (640×480)の6系統動画に加え、カメラの調整情報、点群データ、独自開発のVSLAMによるミリ単位の位置推定軌跡、ジェスチャー認識結果を全て含む

データ詳細やサンプルは以下のリンクから確認できます。
https://nexdata.jp/datasets/embodied-ai/2236?utm_source=social

その他の既製データセット

上記以外にも、基礎モデルの構築からシミュレーションまで対応できる、以下のデータセットも提供可能です。

13.5万時間 Ego-centricデータセット: 動画、IMU、SLAM/深度、手部キーポイント、サブタスクアノテーションの5層構造。家庭から産業まで様々なシーンに対応しています。
15万セットハンド器用操作データ: 指の多いハンドの物をつかむ・回転させる動作。RGB-Dデータに加えて、関節の状態や力・トルクのフィードバック情報が含まれます。
11.6万セット 3Dハンドジェスチャーデータ: 深度、マスク画像、3Dキーポイントを完全に同期。手の3D再構築やキーポイント検出タスクに対応しています。
2.88億セット 3Dモデルおよびシーンデータ: Sim2Realやデジタルツイン構築のための、屋内と屋外の3D環境データベースです。

NexdataのフィジカルAIデータ支援体制

Nexdataは、データの提供だけでなく、以下の設備やサービスを使って、AIの実装段階までを支援します。

フィジカルAI専用データ収集工場: 8,000平方メートルの施設で、人型、双腕、四足など300体以上のロボットが常に稼働。UMIやテレオペレーションを使い、月に5,000時間規模のデータ収集に対応可能です。
Scan to simデータ作成サービス: 現実世界の空間データを3Dスキャン装置で収集・構築し、Physical AIの学習や検証に最適な、非常に現実と近いシミュレーション空間を作成します。AIの開発から現実世界でのスムーズな利用まで、一貫して支援します。
VLA・VTLA特化アノテーション: 多感覚データを完全に同期させ、動作の意図を言葉にするなど、Vision-Language-Actionモデルに最適化されたデータに印をつける（アノテーション）作業を行います。
フィジカルAIモデルテスト検証支援: 人型・双腕ロボットと高性能なGPUサーバーを完備。現実世界とシミュレーション環境でのテスト実施から、結果のフィードバックまで一貫してサポートし、AIモデルの開発・検証を加速させます。

「家庭環境に合わせたデータ収集」や「自社の工場・倉庫でのピッキング作業やエラーからの回復動作の記録」など、特定の分野や作業に特化したデータ収集の要望にも対応します。必要なハードウェアの選定や、特殊なセンサーの同期に関する技術的な相談も受け付けています。

Physical AIの開発や実装の段階でデータに関する課題がある場合は、下記のお問い合わせ先まで連絡してください。

お問い合わせはこちら:
https://nexdata.jp/industries/embodied-ai?utm_source=social