面向数字化保护的自动文物三维重建方法研究

山 西建筑

SHANXI ARCHITECTURE

Vol.44No.6Feb. 2018

• 257 •

•计算机技术及应用•

文章编号：1009-6825 (2018) 06-0257-02

面向数字化保护的自动文物三维重建方法研究+

(1.衢州学院，浙

江衢州

324000; 2.衢州云圈科技有限公司，浙

吴宁1’2陈佳舟3吴凯乐2

江衢州

324000; 3.浙江工业大学，浙

江杭州

310023)

摘要:将基于图像的三维重建方法引入物质文化遗产的数字化保护，提出了一种针对文物三维模型的自动重建方法。首先输入 —组不同视角下拍摄的图片，从图像中进行特征提取与匹配，由此重建出稠密的三维点云；然后利用类八叉树聚类算法对三维点 云进行处理，去除点云中的误差点;最后通过泊松重建算法生成可编辑三维网格，并对网格进行纹理参数化，实现了从图像集到逼 真三维模型的过程。结果表明，该方法能够全自动地进行三维重建,为文物的数字化保护和研究提供了新的研究思路和技术支撑。关键词:三维重建，文物,物质文化遗产，数字化保护 中图分类号:TP319

文献标识码:A

取特征，再对每一对图像做鲁棒的特征匹配;将所有二图匹配合 并，找出相机的轨迹;通过轨迹估算相机参数场景的稀疏结构，这

样可以得到物体的稀疏三维点云，然后根据PMVS算法构建出稠 密的点云。由于在拍摄照片时，难免会受到物体周围的物体及光 线变化的影响，因此得到的稠密点云会存在很多杂点，我们称之为 噪点，如图1所示(线框外的即为噪点）。而这些噪点对于构建可 编辑网格来说完全是多余的，所以在此之前有必要去除这些噪点。

1概述

文物是人类在社会活动中遗留下来的具有历史、艺术、科学

价值的遗物和遗迹，它是人类宝贵的历史文化遗产。对于文物的 保护研究，国内外都制定了很多数字化保护方案。尽管如此，对 于文物的保护仍是世界各国面临的一大挑战。对于受损文物，如 何快速、有效、代价尽量小的对其进行修复;对于珍稀文物，如何 在尽量少的破坏文物的情况下对其进行研究，这些仍是文物保护 方面面临的难题。针对文物的数字化保护问题，本文提出利用基 于图像的自动三维重建方法，构建文物的三维重建系统。通过输

人一组文物图像，采用SFM +PMVS算法生成稠密点云，通过类八 叉树聚类算法对稠密点云去噪，最后利用泊松曲面重建算法生成 文物三维模型并进行纹理参数化。

图1噪点示意图

3.2类八叉树聚类算法去噪

去除稠密点云中的噪点，可以理解为将点云聚类，所有噪点 归为一类，其他的归为另一类。在三维空间中，用于游戏碰撞检 测的八叉树算法可以用于点云聚类，八叉树的主要思想是将整个 空间分为大小一样的八个子空间，如果子空间需要继续划分，则 将子空间划分为八个更小的子空间，直到达到划分边界为止。由 于八叉树是划分整个空间，其实很多地方是并不需要进行空间划 分的，这样会极大浪费时间。受八叉树算法的启发，本文提出了 类八叉树聚类算法，能够很好的去除噪点。

算法的主要思想如下:1)预先定义子空间大小（定义正方体

边长‘本文取〇. 2)。2)对于点云中的每个点进行遍历，根据点P 的坐标信息将坐标点划归到一个子空间，后续的任何点在此子空 间范围内则划分到此子空间。3)遍历所有子空间，将相邻的子空 间合并。遍历完所有子空间后，也就是进一步将点进行了聚类， 此时，点数量最多的子空间就是待重建物体的稠密点云。为加快 速度，对所有点数目小于给定阙值(本文取10)的子空间不予以考 虑。对于复杂情况,例如背景复杂，采样图像不足等，得到的噪点 可能跟待重建点云连成一片。在此情况下，想自动去除这些噪 点，需要通过手动交互操作。本文提出的算法不需要直接划分子 空间，建立复杂的八叉树，只有当某一子空间存在点的时候才会 定义一个子空间。相比于八叉树算法，运算效率有很大提高。3.3 泊松曲面重建

泊松曲面重建基于泊松方程。泊松方程是一个比较常见的

2相关工作

对于物体三维重建的研究很早就开始了，目前三维重建的技

术趋于成熟。三维重建的方法大致分为两大类:第一类是基于光 结构的三维重建方法，黄俊春[1]利用结构光技术实现了实时的物 体三维重建。本文不实际基于光结构的三维重建,所以在此不再 赘述。第二类是基于图像的方法，基于图像的方法也可以分为两

类:一是双目立体视觉方法，T Akim〇to[2]于1993年利用双目立体 视觉方法用于三维重建，C L Chen[3]于2007年将双目立体视觉方 法用于物体的重建，推动了双目立体视觉方法的发展。第二类是 单目视觉三维重建方法，主要有基于明暗度的方法、基于光度立 体视觉的方法、纹理法、轮廓法、调焦法、基于特征统计学习法和 运动法。C. Harris[4]在1988年首先提出了结合角和边缘的探测 方法用于物体的三维重建，迅速推动了运动法的发展。随后J. Shi[5]在1994年提出了一个更好的角度提取算法。而目前广泛使 用的SIFT算法是由David Lowew于1999年发表，随后更加鲁棒 的SIFT算法相继被提出。在得到三维点云之后，KaZhdan[7]提出 了泊松曲面重建算法，实现了三维点云到三维网格的过程。本文 通过提出类八叉树聚类算法，结合SFM + PMVS和泊松算法，构建 了一个三维重建系统，能够有效地用于文物的三维重建。3

三维重建

3.1稠密点云生成

通过相机采集待重建物体的图像数据之后，本文通过使用 SFM + PMVS算法生成稠密点云。利用SIFT算法对每张图像提

收稿日期=2017-12-12 ★:浙江省文物保护科技项目（2017005)、衢州市科技局资助项目（2017J02)、国家自然科学基金项目(51508306,51468006 )、浙江省自然科学基金项目（LQ14E080013)作者简介:吴宁（1984-),男，副教授；陈佳舟（1984-)，男，副教授；吴凯乐（1995-)，男，工程师

• 258 •

第44卷第6期

2 0 1 8年2月

山西建筑

偏微分方程，在很多领域被应用，如高动态范围图像的调和映射、 图像区域的无缝编辑、流体力学、网格编辑等，多重网格泊松方法 已应用于高效GPU计算。表面重建过程如下：1)定义八叉树。 使用八叉树结构存储点集，根据采样点集的位置定义八叉树，然后 细分八叉树使每个采样点都落在深度为的叶节点;2)设置函数 空间:对八叉树的每个节点设置空间函数所有节点函数f的线 性和可以表示向量场F,基函数F采用了盒滤波的n维卷积;3)创 建向量场:均匀采样的情况下，假设划分的块是常量，通过向量场F 逼近指示函数的梯度。采用三次条样插值(三线插值）；4)求解泊 松方程:方程的解采用拉普拉斯矩阵迭代求出;5)提取等值面:为

保留。在数据采集充足的情况下，数据越充足，文物重建得到的 效果将更接近于实物。同样的,如果数据采集不充足，文物重建

得到的效果肯定丢失细节信息。如图4a)所示，在整体看来，狮子 重建的效果很好，但是由于数据采集不充足，没有提供足够的图 像信息，重建出来的文物丢失了部分细节。如图4b)所示,在狮子 的头部，线框标注部分的细节与其他地方相比存在明显错误。通 过对不同类型的文物进行重建，对重建结果进行分析，可以得出： 在数据采集充分的情况下，通过本文的算法，可以有效的重建出 逼真的，能够很好地保留细节信息的文物模型。通过对文物进行

三维重建，可以构建逼真的文物模型，对于文物的研究可以建立在

这对于文物的 得到重构表面，需要选择阈值获得等值面;先估计采样点的位置， 重建的可编辑网格或者结合3D打印出的实物之上，然后用其平均值进行等值面提取，然后用移动立方体算法得到等 值面。对于泊松曲面重建的结果将在下一节详细讨论。

研究提供了便利，同样在一定程度上起到了保护文物的作用。

5结论与展望

通过本文的方法，可以有效的对文物进行三维重建。但是由

4结果与讨论

于采集照片时的局限性，例如图像采样不充足、背景复杂、物体复 杂等情况下，全自动的三维重建效果不够理想，这时候就需要进 行人工交互操作。不过相比于纯手工操作来说，通过本文方法的 简化之后，可以有效降低手工操作的时间，节省人力成本。理想 情况下，对背景不复杂的单个文物采集充足照片，可以得出很好 的效果，能够很好的保存文物的细节信息，这对于文物的保护和 研究具有重要意义。在采集图像时，很难捕捉所有细节。所以针 对重建结果细节丢失问题，未来可以根据研究丢失细节周围的信 息来推断丢失的细节,从而补全丢失的细节信息。参考文献：

[1] 黄俊

大

学

春

.基

于

结

构

光

的

实

时

三

维

重

建

[D].上

海：华东师范

,2009.

[2]

Akimoto T,Suenaga Y, Wallace R S. Automatic creation of 3D facial models [ J ]. IEEE Computer Graphics and Applications,

1993,13(5) ： 16-22.

[3]

a) b)

图4獅子重建效果

[4 ] [5 ]

通过本文算法，可以有效地对文物进行三维重建。接下来本

文将详细介绍实验结果，并指出其中的突出点和不足之处。在有 些情况下，由于条件的限制可能只能对文物进行单面图像采集工 作，这样对于文物的重建就必须加人人工交互，希望得到更加逼真 的效果，如图2a)所示，重建出的物体虽然有正反两面，但是物体两 面成镜像对称，这其实不符合逻辑。但是本文算法也能很好地保留 文物的细节信息，如图2b)所示。区别对物体单面进行采集图像并 进行三维重建，对物体全方面进行采集图像，这样得到的重建效果 会更加真实，能够保存文物的更多细节信息。如图3所示，由于对 文物进行了足够的图像采集，文物的正反两面细节都得到了很好的

[6]

[7]

Wu Ning12 Chen Jiazhou3 Wu Kaile2

(1. Quzhou University, Qiizhou 324000 f China； 2. Quzhou Cloud Circle Technology Co.,Ltd, Quzhou 324000, China； 3. Zhejiang University of Technology, Hangzhou 310023, China)Abstract： This paper tries to introduce the image-based 3D reconstruction method into the digital protection of cultural heritages, proposes an automatic 3D reconstruction system for cultural relics. Firstly, taking a set of images shot in different viewpoints as input, we detect and match feature points from pictures, and reconstruct a dense 3D point cloud; secondly, we employ an octree model to cluster the 3D point cloud, and use it to remove error points； finally, poisson reconstruction algorithm is used to generate an editable 3D mesh and parameterize the texture of the mesh to achieve 3D reconstruction from images. The experimental results show that our method can reconstruct 3D models, provides novel re­search strategy and technical support for the protection of cultural relics.Key words： 3D reconstruction, cultural relics, cultural heritage, digital protection

Research on automatic 3D reconstruction method for cultural relic digital protection*

Chen C L,Tai C L,Lio Y F. Virtual binocular vision systems to

solid model reconstruction [ J ]. The International Journal of Ad­vanced Manufacturing Technology,2007,35(3) ：379-384.Harris C, Stephens M. A combined comer and edge detector [A]. Alvey vision conference[ C]. 1988.Shi J. Good features to track[ A]. Computer Vision and Pattern Recognition, 1994. Proceedings CVPR94. ,1994IEEE Computer Society Conference on[C].IEEE,1994:593-600.Lowe D G. Object recognition from local scale-invariant features [A]. Computer vision, 1999. The proceedings of the seventh IEEE international conference on. Ieee[ C]. 1999 ： 1150-1157.Kazhdan,Michael,Matthew Bolitho,et al. Poisson surface recon­struction [A ]. Proceedings of the fourth Eurographics symposi­um on Geometry processing [ C]. 2006.