لا مفر في العالم الواقعي من تفاعل اليد مع الأجسام، لذا فإن فهم سلوك ونوايا تفاعل اليد مع الأجسام يحمل أهمية بحثية كبيرة. في هذه الورقة نطرح طريقة لتقدير الوضعية ثلاثية الأبعاد لليد والأجسام المتفاعلة تعتمد على دمج ميزات متعددة الأنماط والإحساس بالبنية، بهدف التغلب على المشاكل الناجمة عن التداخل المتبادل، التداخل الذاتي لليد، والخلفيات التفاعلية المعقدة التي تؤدي إلى انخفاض دقة تقدير الوضعية. تستخدم الطريقة ميزات متعددة الأنماط من الصور الملونة وعمق الصور لتحقيق تكميل المعلومات وحل مشاكل الخلفيات المعقدة، التداخل الذاتي لليد، والتداخل بين اليد والجسم. بالإضافة لذلك، تستند إلى تصميم وحدات إحساس هيكلية خاصة باليد، الجسم المتفاعل، وهيكل التفاعل اليد-جسم، مما يساعد على تقدير وضعية ثنائية الأبعاد أكثر منطقية ودقة لليد والجسم المتفاعل. أخيرًا، تُدمج الوضعيات الثنائية الأبعاد المكتسبة مع معلومات العمق من صور العمق، ويتم تحسين الوضعية ثلاثية الأبعاد المدمجة باستخدام ميزات النسيج للحصول على الوضعية النهائية لتفاعل اليد والجسم ثلاثي الأبعاد. للتحقق من فعالية الطريقة المقترحة، تم إجراء سلسلة من التجارب على مجموعات البيانات FPHA و HO-3D، حيث انخفض خطأ الوضعية لليد والجسم المتفاعل إلى 9.62 ملم و14.37 ملم على التوالي. تظهر النتائج التجريبية أن الطريقة المقترحة تتفوق على الطرق الحالية لتقدير وضعية تفاعل اليد والجسم، وتتمتع بمقاومة وقابلية تعميم عالية.

تقدير وضعية اليد والجسم;شبكة الالتفاف الرسومية;ميزات متعددة الأنماط;إحساس بالبنية