オープンシーンにおける検出器の新しいクラス概念理解の弱さ、ラベルの混同、新しいクラス検出性能の不足という問題に対処するために、知識埋め込み誘導型の二重ブランチ融合強化オープンボキャブラリー物体検出（KI-DBFOVD）手法を提案した。まず、ビジュアル言語モデル（VLM）によって生成された疑似ラベルを活用し、新しいクラス概念の学習を促進するために検出器に埋め込む知識埋め込み（KI）モジュールを設計した。次に、多段階の閾値調整および基底クラスと新規クラスの独立したマッチングによりラベルマッチングプロセスを細分化し、検出器の学習過程における基底クラスと新規クラスのラベル混同現象を緩和するラベルマッチング（LM）モジュールを提案した。最後に、従来のビジュアルブランチとビジュアル言語ブランチを幾何平均によって融合し、新しい二重ブランチ融合モジュール（DBF）を構築することで、基底クラスの検出精度を維持しながら新クラスのターゲットをより効果的に掘り起こし、位置特定を行い、KI-DBFOVD手法の全体的な検出性能をさらに向上させた。実験結果により、本手法はCOCOデータセットにおいて新クラスの検出精度38.6%、より多様で検出難度の高いLVISデータセットにおいて25.4%の検出精度を達成し、複数の主要な手法を上回り、さまざまなオープンシーンでの応用に適していることが示された。

オープンボキャブラリー物体検出;知識埋め込み;ラベルマッチング;二重ブランチ融合