現実世界では手が物体と不可避的に相互作用するため、手と物体の相互作用行動や意図を理解することは重要な研究意義を持ちます。本論文では、手と物体の相互遮蔽、手の自己遮蔽、および複雑な相互作用背景などにより姿勢推定精度が低下する問題に対して、多モーダル特徴と構造認識を統合した手および相互作用物体の3次元姿勢推定手法を提案します。本手法はカラー画像と深度画像の多モーダル特徴を活用し、情報の補完を実現し、背景の複雑さや手の自己遮蔽、手物間の相互遮蔽の問題を効果的に解決します。さらに、グラフ構造に基づき手、相互作用物体および手物相互作用の構造認識モジュールをそれぞれ設計し、より合理的で正確な手と相互作用物体の2次元姿勢推定を補助します。最後に取得した2次元姿勢と深度画像の深度情報を統合し、テクスチャ特徴により統合した3次元姿勢をさらに最適化して最終的な手物相互作用の3次元姿勢を得ます。本手法の有効性を検証するため、FPHA、HO-3Dなどのデータセットで一連の実験を実施し、手および相互作用物体の姿勢誤差をそれぞれ9.62 mmおよび14.37 mmに低減しました。実験結果は、提案手法が従来の手物相互作用姿勢推定手法より優れており、高いロバスト性と汎化性を有することを示しています。

手物姿勢推定;グラフ畳み込みネットワーク;多モーダル特徴;構造認識