セマンティック制御可能な赤外線・可視光画像融合

LIU Changyuan ,  

CHENG Bingyun ,  

WU Haibin ,  

摘要

既存の赤外線と可視光画像の融合タスクに対するオープンテキスト指示駆動型の融合ニーズに応じて、本稿では学習可能な周波数帯分解とテキスト誘導ゲーティングに基づく赤外線-可視光画像融合フレームワークを提案する。言語–画像事前学習モデル(Contrastive Language-Image Pre-training、CLIP)とテキストプロンプトに基づく汎用セグメンテーションモデル(Grounded Segment Anything Model、Grounded SAM)を協働してテキスト-画像アライメントモジュールを構築し、テキストの意味的先行知識と画像の局所領域を正確に関連付ける。マルチモーダル特徴抽出のために専用の学習可能な周波数帯分解モジュールを設計し、全体構造を表す低周波基底と繊細な質感を表す高周波細部を適応的に分離する。続いてテキスト認識ゲーティング融合モジュールを設計し、赤外線および可視光モダリティの特徴寄与重みを空間的に適応制御する。勾配忠実度、ゲートマップ正則化損失などの主要制約項を含む多拘束損失関数を構築し、融合結果の構造的完全性とテキスト意味的一貫性を明示的に保証する。実験結果はLLVIPデータセット上で、本稿のネットワークがTextfusionに比べてテキスト関連指標であるエッジ保持向上指標(Qabf+)及び構造類似性向上指標(SSIM+)がそれぞれ0.0705及び0.0364向上し、一般的な画像融合指標である相互情報量(Mutual Information、MI)及びピーク信号雑音比(Peak Signal-to-Noise Ratio、PSNR)はそれぞれ1.5164及び1.7566dB向上し、物体検出タスクにおけるIoU閾値0.5~0.95の平均精度(mean Average Precision、mAP@50-95)が0.9%向上したことを示す。実際の融合においてテキストが画像融合の生成過程を効果的に誘導し、基本的にセマンティックコントロール可能な画像融合目標を達成している。

关键词

画像融合;テキスト誘導;赤外線画像;可視光画像;周波数帯分解

阅读全文

以上内容由讯飞翻译自动生成,翻译内容仅供参考。对于因使用本网站翻译内容产生的相关后果,本网站不承担任何商业和法律责任。

The above content is generated by Large Model Translation. The translated content is for reference only. We do not assume any commercial or legal responsibilty for any consequences arising from the use of our website