دراسة وتطبيق دمج الصور متعددة التركيز بناءً على بنية CNN وTransformer

WANG Yuxuan ,  

XIA Zhenping ,  

LUO Ge ,  

CHENG Cheng ,  

摘要

لمعالجة مشكلة عدم قدرة صورة التركيز الفردية على عرض معلومات المشهد الكاملة في نفس الوقت، يقترح هذا البحث خوارزمية دمج صور متعددة التركيز من النهاية إلى النهاية لتحسين دقة وفعالية دمج الصور. في مرحلة الترميز، يتم بناء مشفر يجمع بين الهيكل المتوازي لشبكة CNN التلافيفية الكثيفة وTransformer لاستخلاص ميزات التردد العالي والمنخفض للصورة بكفاءة، مع إدخال آلية الانتباه الفضائي لتعزيز قدرة التعبير عن الميزات. في مرحلة الدمج، تم تصميم استراتيجية دمج متقاطعة موجهة بالأولويات الدلالية لإدخال التفاصيل ذات التردد العالي بدقة تحت توجيه معلومات التردد المنخفض، مما يخفف بشكل فعال من مشكلة التحيز بين التركيز البعيد والقريب في الطرق التقليدية، ويعزز بشكل ملحوظ التباين والاحتفاظ بالتفاصيل في الصورة المدمجة. بالمقارنة مع أحدث طرق البحث على مجموعات بيانات Lytro وCOCO وMFFW مع سبع خوارزميات دمج صور متقدمة، حققت الطريقة المقترحة ميزات متميزة عبر عدة مؤشرات، حيث ارتفعت EN، PSNR، SSIM، MI، AG وSF بنسبة 2.7%، 13.6%، 7.9%، 6.5%، 1.6% و3.7% على التوالي. علاوة على ذلك، تم تحسين الأداء في مهام التعرف على دبابيس الشرائح وتحديد مركز الشريحة في المهام اللاحقة، مما يؤكد العملية والتعميم للخوارزمية. تظهر طريقة هذا البحث أداءً ممتازًا من حيث جودة الدمج ونتائج المهام اللاحقة، وتمتلك إمكانات تطبيقية جيدة لتلبية متطلبات السرعة والدقة لدمج صور متعددة التركيز في مهام الكشف العملية.

关键词

دمج الصور متعددة التركيز;Transformer;آلية الانتباه متعددة الرؤوس;التعرف على الشرائح;الكشف عن الشرائح

阅读全文