基于二维仿射变换的几何一致性虚实融合

滕嘉玮; 赵岩; 张艾嘉; 王世刚; 王晓坤

doi:10.37188/OPE.20223011.1374

您当前的位置：

首页 >

文章列表页 >

基于二维仿射变换的几何一致性虚实融合

信息科学 | 更新时间：2022-06-21

- 基于二维仿射变换的几何一致性虚实融合
- Virtual-real fusion with geometric consistency based on two-dimensional affine transformation
- 光学精密工程 2022年30卷第11期页码：1374-1382
- 作者机构：
  
  1.吉林大学通信工程学院，吉林长春 130012
  2.空军航空大学航空作战勤务学院，吉林长春 130022
- 作者简介：
  
  [ "滕嘉玮（1997-）男，吉林松原人，硕士研究生，2019年于吉林大学获得学士学位，主要从事三维场景中几何一致性的研究。E-mail：tengjw19@mails.jlu.edu.cn" ]
  [ "赵　岩（1971-）女，吉林伊通人，教授，博士生导师，2003年于吉林大学获得博士学位，主要从事图像与视频处理、增强现实虚实融合技术、立体视频编码、图像匹配与拼接、集成成像采集、编码与显示的研究。E-mail： zhao_y@jlu.edu.cn" ]
- 基金信息：
  
  国家重点研发计划项目(2017YFB1002900);国家自然科学基金资助项目(61631009;61771220)
- DOI：10.37188/OPE.20223011.1374
  中图分类号： TP391.41
- 收稿日期：2021-12-31，
  
  修回日期：2022-02-13，
  
  纸质出版日期：2022-06-10
- 稿件说明：
移动端阅览
滕嘉玮,赵岩,张艾嘉等.基于二维仿射变换的几何一致性虚实融合[J].光学精密工程,2022,30(11):1374-1382.

TENG Jiawei,ZHAO Yan,ZHANG Aijia,et al.Virtual-real fusion with geometric consistency based on two-dimensional affine transformation[J].Optics and Precision Engineering,2022,30(11):1374-1382.
滕嘉玮,赵岩,张艾嘉等.基于二维仿射变换的几何一致性虚实融合[J].光学精密工程,2022,30(11):1374-1382. DOI： 10.37188/OPE.20223011.1374.

TENG Jiawei,ZHAO Yan,ZHANG Aijia,et al.Virtual-real fusion with geometric consistency based on two-dimensional affine transformation[J].Optics and Precision Engineering,2022,30(11):1374-1382. DOI： 10.37188/OPE.20223011.1374.

摘要

几何一致性和光照一致性在虚拟物体叠加到真实场景中的真实感渲染中起着重要作用。为了构建立体相机的真实场景和虚拟场景的坐标测量系统，实现虚实融合过程中的几何一致性和光照一致性，提升虚实融合的真实感，提出了一种几何一致性虚实融合方法，利用从三维空间到二维空间的转换，详细计算虚拟对象与真实场景之间的几何关系，并应用二维仿射变换处理二维图像，以实现更精确的计算。最后，结合光照一致性估计，使用差分渲染法将虚拟对象准确地插入到真实场景中实现虚实融合。实验结果表明，虚拟物体可以完全按照尺寸和体积融合到真实场景中，融合后的几何一致性提升了15%以上，该方法为增强现实的应用奠定了基础。

Abstract

With the rapid development of three-dimentional technologies， geometric and illumination consistency play an important role in the realistic rendering of virtual objects superimposed on real scenes. In order to construct the coordinate measurement system of real and virtual scenes of a stereo camera， realize the geometric and illumination consistency in real fusion， and improve the realism of virtual-real fusion， a geometric consistency virtual-real fusion method was proposed. At transformation from three to two-dimensional space was used for detailed calculation of the geometric relationship between a virtual object and real scene. Following this， a two-dimensional affine transformation was applied to process the two-dimensional images for a more accurate calculation. Finally， combined with the illumination consistency estimation， the virtual object was accurately inserted into the real scene using the differential rendering method to realize virtual-real fusion. The experimental results show that the virtual object can be fused into the real scene completely in terms of size and volume. The geometric consistency after fusion is increased by more than 15%. This verifies the effectiveness of the method and lays a foundation for applications of augmented reality.

关键词

Keywords

references

GUO X Z ， WANG C ， QI Y . Real-time augmented reality with occlusion handling based on RGBD images ［C］. 2017 International Conference on Virtual Reality and Visualization （ICVRV）. October 21 - 22 ， 2017 . Zhengzhou， China. IEEE ， 2017 ： 298 - 302 . doi: 10.1109/icvrv.2017.00069 http://dx.doi.org/10.1109/icvrv.2017.00069

MASRI A ， AL-JABI M . Virtual dressing room application ［C］. 2019 IEEE Jordan International Joint Conference on Electrical Engineering and Information Technology （JEEIT）. April 9 - 11 ， 2019 . Amman， Jordan. IEEE ， 2019 ： 694 - 698 . doi: 10.1109/jeeit.2019.8717410 http://dx.doi.org/10.1109/jeeit.2019.8717410

WANG L ， WANG Y ， YANG H G ， et al . Research on application of virtual-real fusion technology in smart manufacturing ［C］. 2018 IEEE 9th International Conference on Software Engineering and Service Science . 2325，2018 ， Beijing， China . IEEE ， 2018 ： 1066 - 1069 . doi: 10.1109/icsess.2018.8663865 http://dx.doi.org/10.1109/icsess.2018.8663865

MOHAMED B ， MOHAMED B . Proposition of a 3D pattern for e-learning augmented reality applications based on ARToolkit library ［C］. International Conference on Education and e-Learning Innovations . 13，2012 ， Sousse ， Tunisia . IEEE ， 2012 ： 1 - 4 . doi: 10.1109/iceeli.2012.6360672 http://dx.doi.org/10.1109/iceeli.2012.6360672

LIANG J B ， HE H W ， WU Y M . Bare-hand depth perception used in augmented reality assembly supporting ［J］. IEEE Access ， 8 ： 1534 - 1541 .

GÜNES S ， SANLI O ， ERGÜN Ö Ö . Augmented reality tool for markerless virtual try-on around human arm ［C］. 2015 IEEE International Symposium on Mixed and Augmented Reality - Media， Art， Social Science， Humanities and Design. September 29 - October 3 ， 2015 ， Fukuoka， Japan. IEEE ， 2015： 59 - 60 . doi: 10.1109/ismar-mashd.2015.25 http://dx.doi.org/10.1109/ismar-mashd.2015.25

POSPISIL J ， FLIEGEL K ， KLIMA M . Phase estimation of illumination pattern in structured illumination microscopy ［C］. 2017 27th International Conference Radioelektronika （RADIOELEKTRONIKA）. 1920，2017 ， Brno， Czech Republic. IEEE ， 2017 ： 1 - 4 . doi: 10.1109/radioelek.2017.7937590 http://dx.doi.org/10.1109/radioelek.2017.7937590

ROHMER K ， GROSCH T . Tiled frustum culling for differential rendering on mobile devices ［C］. 2015 IEEE International Symposium on Mixed and Augmented Reality . 293，2015 ， Fukuoka ， Japan . IEEE ， 2015 ： 37 - 42 . doi: 10.1109/ismar.2015.13 http://dx.doi.org/10.1109/ismar.2015.13

ZHANG G L ， LI J P ， PENG J J ， et al . 3D human body modeling based on single Kinect ［C］. 2014 7th International Conference on Biomedical Engineering and Informatics . 1416，2014 ， Dalian ， China . IEEE ， 2014 ： 100 - 104 . doi: 10.1109/bmei.2014.7002751 http://dx.doi.org/10.1109/bmei.2014.7002751

JIA S M ， LI B Y ， ZHANG G L ， et al . Improved KinectFusion based on graph-based optimization and large loop model ［C］. 2016 IEEE International Conference on Information and Automation . 13，2016 ， Ningbo， China . IEEE ， 2016 ： 813 - 818 . doi: 10.1109/icinfa.2016.7831931 http://dx.doi.org/10.1109/icinfa.2016.7831931

CALLIERI M , CIGNONI P , DELLEPIANE M , et al . Processing a complex architectural sampling with meshlab： the case of piazza della signoria [J]. ISPRS-International Archives of the Photogrammetry Remote Sensing and Spatial Information Sciences , 2012 , XXXVIII-5/W 16 ( 2-3 ): 205 - 212 . doi: 10.5194/isprsarchives-xxxviii-5-w16-205-2011 http://dx.doi.org/10.5194/isprsarchives-xxxviii-5-w16-205-2011

JIN B ， HU W L ， WANG H Q . Human interaction recognition based on transformation of spatial semantics ［J］. IEEE Signal Processing Letters ， 2012 ， 19 （ 3 ）： 139 - 142 . doi: 10.1109/lsp.2012.2183364 http://dx.doi.org/10.1109/lsp.2012.2183364

LIU T ， CHEN Q ， ZHANG Y B ， et al . Theory and simulation of statistical representation of the Stokes parameters in multilook fields based on polarization basis transformation ［C］. 2010 IEEE International Conference on Information Theory and Information Security . 1719，2010 ， Beijing . IEEE ， 2010 ： 705 - 709 . doi: 10.1109/icitis.2010.5689498 http://dx.doi.org/10.1109/icitis.2010.5689498

HSIEH Y H ， LEE F C . Modeling resonant converters in a rotating coordinate ［J］. 2017 IEEE Energy Conversion Congress and Exposition （ECCE）， 2017 ： 237 - 243 . doi: 10.1109/ecce.2017.8095787 http://dx.doi.org/10.1109/ecce.2017.8095787

ZHANG A J ， ZHAO Y ， WANG S G . An improved augmented-reality framework for differential rendering beyond the lambertian-world assumption ［J］. IEEE Transactions on Visualization and Computer Graphics ， 2021 ， 27 （ 12 ）： 4374 - 4386 . doi: 10.1109/tvcg.2020.3004195 http://dx.doi.org/10.1109/tvcg.2020.3004195

ZHANG A J ， ZHAO Y ， WANG S G . Illumination estimation for augmented reality based on a global illumination model ［J］. Multimedia Tools and Applications ， 2019 ， 78 （ 23 ）： 33487 - 33503 . doi: 10.1007/s11042-019-08155-2 http://dx.doi.org/10.1007/s11042-019-08155-2

JIDDI S ， ROBERT P ， MARCHAND E . Reflectance and illumination estimation for realistic augmentations of real scenes ［C］. 2016 IEEE International Symposium on Mixed and Augmented Reality . 1923，2016 ， Merida ， Mexico . IEEE ， 2016 ： 244 - 249 . doi: 10.1109/ismar-adjunct.2016.0085 http://dx.doi.org/10.1109/ismar-adjunct.2016.0085

PANAGOPOULOS A ， WANG C H ， SAMARAS D ， et al . Illumination estimation and cast shadow detection through a higher-order graphical model ［J］. CVPR 2011 ， 2011 ： 673 - 680 . doi: 10.1109/cvpr.2011.5995585 http://dx.doi.org/10.1109/cvpr.2011.5995585

LI X ， WAN W G ， CHENG X ， et al . An improved poisson surface reconstruction algorithm ［C］. 2010 International Conference on Audio， Language and Image Processing . 2325，2010 ， Shanghai， China . IEEE ， 2010 ： 1134 - 1138 . doi: 10.1109/icalip.2010.5685081 http://dx.doi.org/10.1109/icalip.2010.5685081

DEBEVEC P . Rendering synthetic objects into real scenes： bridging traditional and image-based graphics with global illumination and high dynamic range photography ［C］. SIGGRAPH '98 ： Proceedings of the 25th Annual Conference on Computer Graphics and Interactive Techniques . 1998 ： 189 - 198 . doi: 10.1145/280814.280864 http://dx.doi.org/10.1145/280814.280864

浏览量

478

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

增强现实手术导航系统的投影显示技术综述

增强现实近眼显示设备中光波导元件的研究进展

适应移动智能设备的目标跟踪器