一种基于主体识别技术的三维重建改进算法

如需使用本文所述的方法于商用请联系：2018@yinjinjing.cn

本文所述内容将发表于：An Improved Low-Cost Binocular 3D Reconstruction Algorithm Based on Open AI Platform[C].International Conference on Image, Video and Signal Processing,2020.

感兴趣的读者可以待4月份后在网上查看具体细节，因为疫情影响，本文所述方法的实现代码会稍晚上传。

我们话不多说，先看效果图，如下是传统的双目三维重建算法和改进后的三维重建算法的效果图：

传统的双目三维重建算法在特征点匹配环境通常会在特征点匹配环节出现特征点的误匹配，如图所示：

这些误匹配会导致后续的图像三角平面剖分错误，如图所示：

而这些误匹配的特征点通常无法通过纯图像的方法来解决，本文提出了一种利用图像主体识别的方法来进行特征点的筛选，这一过程我们选用的是百度开放平台的图像主体识别SDK来完成的，当然也可以自己训练模型来完成这一过程，如图所示：

进行完图像主体识别后，我们可以再次观察特征点的效果图，如图所示：

改进后的算法我们再次观察特征点匹配效果以及三角剖分平面，我们可以发现匹配及三角剖分都准确了很多，如图所示：

通过这一方法可以有效的提升双目三维重建环节中特征点的匹配的正确率，也能非常有效的提高三维重建效果。