دمج فرعي مزدوج المزايا يوجه بمحتوى المعرفة لتعزيز كشف الأهداف المفتوحة

JIN You ,  

DENG Zhen ,  

LIU Libo ,  

摘要

من أجل فهم مفهوم فئة جديدة من مُعيار الكشف في السياق المفتوح ضعيف، ولغز العلامات الضعيفة وأداء كشف الفئة الجديدة غير الكافي، تم اقتراح أسلوب جديد لتعزيز كشف الأهداف المفتوحة من خلال دمج فرعي مُعزز بمضمون المعرفة الموجه (KI-DBFOVD). أولاً، تم تصميم وحدة المعرفة المدمجة (KI) ، واستخدام العلامات الزائفة التي تم إنشاؤها بواسطة نموذج اللغة البصرية (VLM) لتضمينها في مُعيار الكشف لتعزيز تعلم مفهوم الفئة الجديدة. ثم، تم اقتراح وحدة مطابقة العلامات (LM)، ومن خلال ضبط الحدود متعددة المستويات ومطابقة مستقلة بين الفئات الأساسية والفئات الجديدة لتفصيل عملية مطابقة العلامات، تم تخفيف ظاهرة ارتباك العلامات بين الفئات الأساسية والفئات الجديدة خلال عملية تدريب مُعيار الكشف. وأخيرًا، تم دمج الفرع البصري التقليدي وفرع اللغة البصرية بطريقة المتوسط الهندسي لبناء وحدة دمج فرعي مزدوجة المزايا (DBF) ، والتي يمكنها بشكل أكثر فعالية استكشاف وتحديد الأهداف الجديدة وبالتالي تعزيز أداء KI-DBFOVD بشكل شامل. نتائج التجارب تظهر أن الأسلوب المستخدم في هذه الورقة يمكنه تحقيق دقة كشف الفئة الجديدة بنسبة 38.6٪ على مجموعة بيانات COCO. ويمكنه تحقيق دقة كشف الفئة الجديدة بنسبة 25.4٪ على مجموعة بيانات LVIS التي تحتوي على مجموعات فئات أكثر تنوعًا وأكثر صعوبة في الكشف من النماذج المتداولة، وبالتالي يمكنه تطبيقه بشكل أفضل في سياقات مفتوحة مختلفة.

关键词

كشف الأهداف الجديدة; المعرفة المدمجة; مطابقة العلامات; دمج الفرعي المزدوج

阅读全文