DX wpmaster 2026年9月16日 0 コメント

日立、製造現場の作業手順を動画から自動抽出し、熟練者のノウハウ継承を支援する映像AI技術を開発

日立は、製造や保守・点検といった複雑な作業を行う現場のために、動画から作業手順の区切りや内容を自動で探し出し、たとえ見た目がよく似た工程であっても高い精度で見分けられる映像AI技術を開発しました。

熟練者の持つ作業ノウハウは、個人の経験に頼りがちで、それを手順書としてまとめたり、更新したりするには多くの時間が必要です。また、技能継承や教育に役立つ形に整理するのも大変な作業でした。今回開発された技術は、同じ道具や部品がずっと映っているような、一枚の画像だけでは区別しにくい作業工程でも、連続する映像から手の動きや対象物の変化を時間の流れに沿って捉え、AIが分析します。

これにより、見た目が似ている作業工程でも、フレーム単位での手順識別精度が、従来の画像や文章の類似度を使う方法と比べて約73％向上しました。さらに、動画を手順ごとに分ける際、現場にある簡単な手順情報を補助的に使うことで、それぞれの作業がいつ始まり、いつ終わるのかを人が細かく指定しなくても自動で推定できます。この機能により、熟練者の作業動画を、手順書の作成や更新、さらには技能継承や教育に役立てやすい形で整理できるようになります。

開発の背景とこれまでの課題

製造や保守・点検の現場では、ベテランの技術を次の世代に伝えることと、作業の質を一定に保ち、高めていくことが重要な課題です。文章だけで手順書を作ろうとしても、手元の細かい動きは文字では伝わりにくく、作成者によって書き方にばらつきが出たり、作成に大きな負担がかかったりしていました。そのため、直感的にわかりやすい「作業動画」の活用が期待されていましたが、映像解析で自動化しようとすると、隣り合う工程で同じ部品や道具が映り続けるため、見た目だけで工程を区別するのが難しいという技術的な壁がありました。

また、動画を見ながら人が一つ一つの手順の区切り（開始・終了時刻）を設定するのは、非常に手間がかかる作業です。その結果、現場で撮影された動画を、手順書の作成や技能継承、教育に十分に活用できていないのが大きな課題でした。

新技術の特長

日立が開発した映像AI技術には、以下の三つの特長があります。

1. 人の手による時間設定の負担を減らす作業手順抽出技術

この技術は、動画から手の動き、道具、対象物、場所といった作業に関する情報を抽出し、それらの関係を整理して時間の流れに沿って分析します。さらに、現場ですでに持っている作業名や簡単な手順リストを補助情報として活用することで、動画のどの時間帯がどの作業に対応するかを推定し、人が細かく時間を指定しなくても動画を手順ごとに分割できます。これにより、作業内容が変わった場合でも、動画の整理や学習データの準備にかかる手間を抑え、手順書の作成や更新を効率化できます。

2. 見た目が似た作業工程の違いを見分ける時間変化分析技術

作業現場の動画では、隣り合う手順で同じ作業者や道具、部品などが映り続けるため、一枚の画像や画像と文章の似ている度合いだけでは手順の違いを識別できないことがあります。この技術は、連続する複数のフレームから、作業者の手がどの対象物に触れ、道具がどのように使われ、操作対象がどう動いて変化したかをAIで分析し、作業の進み具合に伴う時間的な特徴を捉えます。

これにより、見た目がとてもよく似た工程でも、その違いを正確に見分けられるようになり、細かい違いまで理解する必要がある作業の整理や教育に役立てられます。

3. 手順書作成・更新の効率化と知識共有を助ける説明文抽出技術

この技術は、動画を作業手順ごとに分割するだけでなく、それぞれの区間の作業内容を説明文として抜き出すことができます。これにより、熟練者の作業動画を、手順書の作成や更新の効率化だけでなく、技能継承や教育に活用しやすい形に整理できます。現場ごとの作業内容や対象物の違いに合わせて、動画と簡単な手順情報を組み合わせながら知識を整理できるため、経験の少ない人への教育や知識の共有がしやすくなります。

確認された効果

この技術がどれくらい役立つかは、一般に公開されている作業データセットと、日立が独自に作ったデータセットの二つを使って評価されました。一人称視点の一般的な作業動画データセットを用いた基本的な性能の検証では、作業動画と手順リストのみ（開始・終了時刻なし）から手順の区切りを推定したところ、従来の方法に比べて手順抽出性能が約35％向上することを確認しました。また、動画から作業の説明文を作る質も約13％向上しました。

さらに、医療機器や精密電子機器などの複雑な組み立て作業を対象とした独自のデータセット「EgoIndAssembly」を新たに作り、変化の少ない手元の作業を見分ける性能を評価しました。その結果、見た目が似ている工程であっても、フレーム単位での手順識別精度が従来の方法と比べて約73％向上しました。これにより、人が細かく時間ラベルを付けなくても、手順書の作成や更新に使える高い基本的な性能があることに加え、現場特有の「見た目が似ている複雑な工程」も識別できることが確認されました。

今後の展望

日立は今後、お客様と協力しながらこの技術の効果を確かめ、複雑な作業工程を持つさまざまな現場へと適用範囲を広げていく予定です。具体的には、手順書の作成や更新を効率化するだけでなく、熟練者の技能継承や作業教育に活用できるサービスへと展開を目指します。その一つとして、次世代AIエージェント「Naivy」が扱う作業センシングデータや分析・見える化機能との連携も検討していきます。

さらに、映像や手順文書などのITデータと、現場に蓄積された経験や知識（OTナレッジ）にAIを組み合わせることで、Lumada 3.0を実現する技術の一つとして強化していきます。これにより、現場業務が持続的に行えるようになることや、人材育成・技能継承の高度化に貢献していくことでしょう。

なお、この成果の一部は、2026年6月に米国で開催されたThe IEEE/CVF Conference on Computer Vision and Pattern Recognition 2026 (CVPR 2026)のワークショップで発表されたほか、2026年9月13日から17日にフィンランドで開催されるThe IEEE International Conference on Image Processing (ICIP 2026)でも発表される予定です。