既存の3D視覚定位手法が単一モダリティ情報への依存が強く、視点変化への適応性が低いことや、クロスモダリティ特徴融合の効果が限定的であるという問題に対し、クロスモダリティ相互学習と反復融合を用いた3D視覚定位手法を提案する。本手法はマルチモーダル特徴抽出とクロスモダリティ特徴融合の二段階で構成される。特徴抽出段階では、点群エンコーダとテキストエンコーダを用いて点群とテキストの特徴を抽出し、点群のカテゴリ情報を導入する。特徴融合段階では、Transformerに基づく点群特徴強化モジュールを設計し、点群特徴の表現能力を向上させる。対称的な相互学習モジュールを通じて、点群とテキスト特徴間の深い関連性を捉え、無関係な特徴の干渉を効果的に抑制する。クロスモダリティ反復融合モジュールは段階的にクロスモダリティ情報を融合し、複雑なシーンにおけるモデルの定位能力を強化する。実験結果は、本手法がScanRefer、Nr3D、Sr3Dという3つの代表的な3D視覚定位データセットにおいて総合的な精度向上を達成したことを示す。ScanReferのuniqueサブセットでは、Acc@0.25およびAcc@0.5がそれぞれ86.19％および69.68％に達し、Nr3DおよびSr3Dのeasyサブセットでは、定位精度がそれぞれ65.20％および74.87％に達した。本手法は多様な3Dシーンで安定した定位能力を示し、多モダル相互作用とクロスモダリティ融合の強化における卓越した性能を検証した。

3D視覚定位; 点群; 相互学習; 反復融合; Transformer