نظرًا للمتطلبات الصارمة لدقة الخوارزمية والوقت الحقيقي في تطبيقات مثل إدراك البيئة للقيادة الذاتية، ولتحقيق توازن فعال بين دقة نموذج تقسيم الدلالة وسرعة الاستنتاج، تم اقتراح خوارزمية تقسيم دلالي للصور في الوقت الحقيقي تعتمد على شبكة ذات ثلاثة فروع. تم استلهام تصميم شبكة ثلاثية الفروع من خوارزمية PIDNet، حيث يُستخدم كل فرع لاستخلاص تفاصيل الصورة، ومعلومات السياق الدلالي، ومعلومات الحواف على التوالي. في الفرع الدلالي، تم تصميم وحدة تجمع هرمية فعالة للحصول على معلومات السياق بأحجام مختلفة بالإضافة إلى توسيع مجال استقبال ميزات الشبكة. في فرعي التفاصيل والحواف، تم تصميم وحدة انتباه تفاعلي عبر القنوات متعددة المقاييس خفيفة وفعالة لتعزيز الميزات المُستخلصة. في النهاية، يتم دمج ميزات الصورة المستخرجة من الفروع الثلاثة السابقة لإخراج نتيجة التقسيم الدلالي النهائية. أظهرت النتائج التجريبية أن الخوارزمية المقترحة القائمة على الشبكة ثلاثية الفروع تحقق أداء تقسيم دلالي في الوقت الحقيقي بنسبة 79.2% mIoU و88.5 إطار في الثانية على مجموعة بيانات Cityscapes، و80.5% mIoU و140.1 إطار في الثانية على مجموعة بيانات CamVid. يمكن للخوارزمية التي اقترحها هذا البحث تنفيذ مهمة تقسيم الصور الدلالي بكفاءة، مع تحقيق توازن ممتاز بين الوقت الحقيقي والدقة، وأداء تقسيم دلالي متفوق بشكل ملحوظ على الطرق القياسية الحالية.
关键词
تقسيم دلالي;تعلم عميق;الزمن الحقيقي;آلية الانتباه;ميزات متعددة المقاييس