一种三维还原方法、系统、终端设备和存储介质与流程

文档序号:20922587 发布日期:2020-05-29 14:21
一种三维还原方法、系统、终端设备和存储介质与流程

本发明涉及图像处理技术领域,尤指一种三维还原方法、系统、终端设备和存储介质。



背景技术:

物体三维模型应用领域十分广泛,如设计仿真、虚拟现实、3d电影等领域。物体三维模型的建立需要借助摄像头对物体进行全景拍摄,对拍摄获取的图像进行特征识别后进行三维还原构建对应的物体三维模型。

但是,目前的三维还原方式,由于图像处理方法中的特征提取往往只能够提取较为明显的角点特征或者边缘特征,对于物体上没有明显特征的区域,无法提取更多的图像特征,导致需要使用高质量的摄像头进行图像采集,从而使得三维还原成本较高。而且由于图像特征较少时无法有效、准确地生成物体三维模型。



技术实现要素:

本发明的目的是提供一种三维还原方法、系统、终端设备和存储介质,实现增加图像特征数量,提升三维还原的精准度的同时降低三维还原成本。

本发明提供的技术方案如下:

本发明提供一种三维还原方法,包括步骤:

当投影设备投射预设图案至待扫描目标后,从至少四个图像采集设备获取第二图像;所述至少四个图像采集设备中相邻图像采集设备的视角区域两两重叠;所述第二图像包括被投射有预设图案后的待扫描目标;

对所述第二图像进行特征提取,根据所提取的图像特征进行匹配得到图像对;所述图像对包括场景重叠的至少两个第二图像;

分别对所述图像对进行特征点匹配得到匹配组;

根据所述匹配组进行计算得到各图像特征所对应的在所述待扫描目标上的空间点;

根据所述空间点生成获得所述待扫描目标对应的三维模型。

进一步的,所述对所述第二图像进行特征提取,根据所提取的图像特征进行匹配得到图像对包括步骤:

通过第一特征提取算法和第二特征提取算法分别对各第二图像进行特征提取得到各第二图像对应的第一特征点集合和第二特征点集合;

根据所述第一特征点集合和第二特征点集合分别进行匹配得到所述图像对。

进一步的,所述根据所述第一特征点集合和第二特征点集合分别进行匹配得到所述图像对包括步骤:

将当前第二图像对应的第一特征点集合与剩余第二图像对应的第一特征点集合进行匹配得到第一匹配结果;

将当前第二图像对应的第二特征点集合与剩余第二图像对应的第二特征点集合进行匹配得到第二匹配结果;

比较第一匹配结果和所述第二匹配结果,确定相同图像特征比例较多的匹配结果为最终匹配结果,并根据所述最终匹配结果获得所述图像对。

进一步的,所述根据所述空间点生成获得所述待扫描目标对应的三维模型包括步骤:

对所有空间点进行连线生成对应的三角网格,根据所述三角网格生成获得所述待扫描目标对应的三维模型;或,

根据所有空间点在预设区域内查找相邻空间点,对所有空间点和相邻空间点进行连线生成对应的三角网格,根据所述三角网格生成获得所述待扫描目标对应的三维模型。

进一步的,所述连线生成对应的三角网格之后,根据所述三角网格生成获得所述待扫描目标对应的三维模型之前包括步骤:

查找并删除所述三角网格中的交叉三角片或重叠三角片得到新的三角网格。

进一步的,所述根据所有空间点连线生成获得所述待扫描目标对应的三维模型之后包括步骤:

根据所述三维模型所对应区域,从已获取的第二图像再次进行特征提取和特征点匹配,并根据新的匹配组计算获得新的空间点;

根据所述新的空间点进行连线更新获得所述待扫描目标对应的三维模型。

进一步的,所述当投影设备投射预设图案至待扫描目标后,从至少四个图像采集设备获取第二图像之前包括步骤:

从所述至少四个图像采集设备处获取第一图像;所述第一图像包括待扫描目标;

所述获得所述待扫描目标对应的三维模型之后包括步骤:

对所述第一图像进行特征提取得到对应图像特征的颜色特征;

根据所述图像特征的颜色特征对所述三维模型进行纹理贴图,以还原所述待扫描目标的颜色和纹理。

本发明还提供一种三维还原系统,包括:投影设备、至少四个图像采集设备、终端设备和主框架;

所述至少四个图像采集设备设于所述主框架上,且所述至少四个图像采集设备中相邻图像采集设备的视角区域两两重叠;所述投影设备设于所述主框架上或靠近所述主框架内侧位置处;

所述投影设备、至少四个图像采集设备分别与所述终端设备连接;

当所述投影设备投射预设图案至所述待扫描目标后,所述终端设备从所述至少四个图像采集设备获取第二图像;所述第二图像包括被投射有预设图案后的待扫描目标;

所述终端设备对所述第二图像进行特征提取,根据所提取的图像特征进行匹配得到图像对;所述图像对包括场景重叠的至少两个第二图像;

所述终端设备分别对所述图像对进行特征点匹配得到匹配组,并根据所述匹配组进行计算得到各图像特征所对应的在所述待扫描目标上的空间点;

所述终端设备根据所述空间点生成获得所述待扫描目标对应的三维模型。

本发明还提供一种终端设备,其特征在于,包括处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器,用于执行所述存储器上所存放的计算机程序,实现所述的三维还原方法所执行的操作。

本发明还提供一种存储介质,其特征在于,所述存储介质中存储有至少一条指令,所述指令由处理器加载并执行以实现所述的三维还原方法所执行的操作。

通过本发明提供的一种三维还原方法、系统、终端设备和存储介质,能够增加图像特征数量,提升三维还原的精准度的同时降低三维还原成本。

附图说明

下面将以明确易懂的方式,结合附图说明优选实施方式,对一种三维还原方法、系统、终端设备和存储介质的上述特性、技术特征、优点及其实现方式予以进一步说明。

图1是本发明一种三维还原系统的一个实施例的结构示意图;

图2是本发明一种三维还原方法的一个实施例的流程图;

图3是本发明一种三维还原方法的另一个实施例的流程图;

图4是本发明一种三维还原方法的另一个实施例的流程图;

图5是本发明一种三维还原系统的另一个实施例的结构示意图;

图6是本发明一种三维还原系统的另一个实施例的结构示意图;

图7是本发明规则形状和明确图案结合的一种情况的示意图;

图8是本发明基于图7的投射组合图案至待扫描目标的一种场景示意图;

图9是本发明图标实体图案的一种情况的示意图;

图10是本发明基于图9的投射图标实体图案至待扫描目标的一种场景示意图;

图11是本发明一种计算机设备的一个实施例的结构示意图。

具体实施方式

以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、技术之类的具体细节,以便透彻理解本申请实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其他实施例中也可以实现本申请。在其他情况中,省略对众所周知的系统、装置、电路以及方法的详细说明,以免不必要的细节妨碍本申请的描述。

应当理解,当在本说明书和所附权利要求书中使用时,术语“包括”指示所述描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其他特征、整体、步骤、操作、元素、组件和/或集合的存在或添加。

为使图面简洁,各图中只示意性地表示出了与本发明相关的部分,它们并不代表其作为产品的实际结构。另外,以使图面简洁便于理解,在有些图中具有相同结构或功能的部件,仅示意性地绘示了其中的一个,或仅标出了其中的一个。在本文中,“一个”不仅表示“仅此一个”,也可以表示“多于一个”的情形。

还应当进一步理解,在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。

具体实现中,本申请实施例中描述的终端设备包括但不限于诸如具有触摸敏感表面(例如,触摸屏显示器和/或触摸板)的移动电话、膝上型计算机或平板计算机之类的其他便携式设备。

终端设备支持各种应用程序,例如以下中的一个或多个:绘图应用程序、演示应用程序、网络创建应用程序、文字处理应用程序、盘刻录应用程序、电子表格应用程序、游戏应用程序、电话应用程序、视频会议应用程序、电子邮件应用程序、即时消息收发应用程序、锻炼支持应用程序、照片管理应用程序、数码相机应用程序、数字摄像机应用程序、web浏览应用程序、数字音乐播放器应用程序和/或数字视频播放器应用程序。

另外,在本申请的描述中,术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。

为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对照附图说明本发明的具体实施方式。显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图,并获得其他的实施方式。

第一实施例

一种三维还原系统,如图1所示,包括:投影设备、至少四个图像采集设备、终端设备和主框架;

至少四个图像采集设备设于主框架上,且至少四个图像采集设备中相邻图像采集设备的视角区域两两重叠;投影设备设于主框架上或靠近主框架内侧位置处;

具体的,图像采集设备为摄像头,摄像头包括但是不限于深度摄像头,tof摄像头、广角摄像头。至少四个图像采集设备设于主框架上,且至少四个图像采集设备中相邻图像采集设备的视角区域两两重叠,这样使得至少四个图像采集设备在同一时刻所采集的图像具有场景重叠的部位,示例性的,如图5所示,主框架上设有32个摄像头。如图6所示,主框架设有8个摄像头。主框架的形状大小不限定,设置在主框架上的至少四个摄像头的型号不限定,只要至少四个摄像头设置在主框架上,且安装位置恰当使得相邻图像采集设备的视角区域两两重叠,从而实现至少四个摄像头拍摄的图像拼接后能够包括待扫描目标的全景即可。

甚至,当只有两个图像采集设备组,其中一个图像采集设备组位于主框架的顶部边框,另一个图像采集设备组位于主框架的底部边框,只要图像采集设备组的视角足够大,能够囊括拍摄到待扫描目标的全景即可。

投影设备可以是能够投射预设图案的投影仪,也可以是投射红外光线图案的红外投影灯,也可以是投射激光光线图案的激光投影灯。

投影设备、至少四个图像采集设备分别与终端设备连接;

具体的,投影设备、至少四个图像采集设备可以通过有线连接方式与终端设备进行连接。也可以在投影设备、图像采集设备、终端设备上设置无线传输模块,使得投影设备、至少四个图像采集设备可以通过无线连接方式与终端设备进行连接。无线连接方式包括但是不限于rfid无线连接、wifi无线连接、2g网络无线连接。

此外,投影设备的数量和安装位置不做限定。投影设备与图像采集设备的数量可以相同也可以不相同。示例性的,当投影设备与图像采集设备的数量相同时,所有投影设备设于主框架上,且每个投影设备分别靠近图像采集设备。当投影设备与图像采集设备的数量不同时,移动件设于主框架上,投影设备可拆卸安装在移动件上。或者如图5所示,投影设备设于靠近主框架内侧位置处。

基于上述三维还原系统的个设备,如图2所示,执行以下三维还原步骤:

s110当投影设备投射预设图案至待扫描目标后,终端设备从至少四个图像采集设备获取第二图像;第二图像包括被投射有预设图案后的待扫描目标;

具体的,预设图案包括但是不限于投影设备投射的随机彩色点,组合图案(包括规则形状和明确图案的组合)、图标实体图案。

规则形状和明确图案的结合的一种情况如图7所示,精确定义的规则图案经常被摄像机所使用。规则形状具有形状明确的轮廓,例如棋盘格图案的角,是特征提取算法所适用的良好对象。待扫描目标为纯色立方体,对待扫描目标进行投射效果图如图8所示,通过对一些规则形状的简单改进,可以生成非常清晰的组合图案,可以将该组合图案投射在待扫描目标的相对平坦的表面,因为计算所需的特征较少,且增加更多的几何特征细节,从而能够提高三维重建性能的同时,大大增加三维还原的完整性和精准度。

图标实体图案的一种情况如图9所示,具有图标实体图案的颜色谱足够宽,而轮廓具有高度语义化的特点。待扫描目标为纯色立方体,对待扫描目标进行投射效果图如图10所示,可以将该图标实体图案投射在待扫描目标的相对平坦的表面,因为计算所需的特征较少,且增加更多的几何特征细节,从而能够提高三维重建性能的同时,大大增加三维还原的完整性和精准度。

s120终端设备对第二图像进行特征提取,根据所提取的图像特征进行匹配得到图像对;图像对包括场景重叠的至少两个第二图像;

s130终端设备分别对图像对进行特征点匹配得到匹配组,并根据匹配组进行计算得到各图像特征所对应的在待扫描目标上的空间点;

s140终端设备根据空间点生成获得待扫描目标对应的三维模型。

通过本实施例,终端设备通过图像识别方法分别对多组第二图像数据进行图像特征提取,根据图像图像特征进行图像匹配,将相似的第二图像进行配对获得多个图像对,再根据图像对进行精细匹配,从而获得图像特征之间匹配关系。终端设备根据特征点匹配获得多个匹配组,从而根据匹配组进行计算得到每个图像对中具有配对关系的第二图像中同一图像特征(即同名点)所对应的空间点,终端设备根据所有空间点进行处理输出多个曲面,根据多个曲面生成三维模型完成待扫描目标的三维还原。通过投影设备投射预设图案至待扫描目标,能够增加图像特征数量,提升三维还原的精准度的同时降低物体的三维还原成本。

第二实施例

一种三维还原方法,如图3所示,执行以下三维还原步骤:

s210从至少四个图像采集设备处获取第一图像;第一图像包括待扫描目标;

具体的,在投影设备投射预设图案至待扫描目标之前,从至少四个图像采集设备处获取包括待扫描目标的第一图像。

s220当投影设备投射预设图案至待扫描目标后,从至少四个图像采集设备获取第二图像;至少四个图像采集设备中相邻图像采集设备的视角区域两两重叠;第二图像包括被投射有预设图案后的待扫描目标;

s230通过第一特征提取算法和第二特征提取算法分别对各第二图像进行特征提取得到各第二图像对应的第一特征点集合和第二特征点集合;

具体的,特征提取算法包括harris特征提取算法、susan特征提取算法、sift特征提取算法、surf特征提取算法、kaze特征提取算法、akaze特征提取算法。

示例性的,第一特征提取算法为akaze特征提取算法,第二特征提取算法为sift特征提取算法。通过akaze特征提取算法分别对各个第二图像进行特征提取,获取各个第二图像对应的第一特征点集合。通过sift特征提取算法分别对各个第二图像进行特征提取,获取各个第二图像对应的第二特征点集合。由于akaze特征提取算法和sift特征提取算法的特性,通常,akaze特征提取算法往往适用于提取效率高、但是提取图像特征较少的图像特征提取需求,而sift特征提取算法往往适用于提取效率较低、但是提取图像特征较多的图像特征提取需求。

sift特征提取算法具有尺度和旋转不变性,其鲁棒性较强,适合用来提取尺度变换和旋转角度的各种图片图像特征信息,其准确性强,在这种离线算法不需要考虑时间成本的情况下也较有优势。

s240根据第一特征点集合和第二特征点集合分别进行匹配得到图像对;

具体的,通过上述特征提取算法提取到某一第二图像p1对应的第一特征点集合1和第二特征点集合1,并通过上述特征提取算法提取到某一第二图像p2对应的第一特征点集合2和第一特征点集合2。

s250分别对图像对进行特征点匹配得到匹配组;

具体的,获取第一特征点集合和第二特征点集合后进行图像配准。图像配准后进行特征点匹配,由于邻近搜索和建立kd树进行图像配准,能够缩小搜索范围且提高效率,但也有可能不是最优,所以邻域取值是关键,越大越准确,越大计算量越大。当距离小于一定阈值的时候就认为匹配成功,但是误匹配也比较多,需要采取多种手段剔除:如果最近距离与次近距离的比值大于某个阈值,应该剔除。当特征点匹配关系建立后,需要生成匹配列表,比如第二图像1的第5图像特征点和第二图像2的第27图像特征点及第二图像3的第169图像特征点是同名点,则(1,5)、(2,27)、(3,115)是属于一个匹配组,据此可以生成一个匹配列表,同时生成匹配组的时候也需要剔除无用匹配:如果一个匹配组中的某个第二图像中的多个图像特征都匹配了同一个图像特征,则匹配关系肯定是错误的,对该匹配组进行剔除。如果只有两张第二图像具有同一个图像特征点,也对该匹配组进行剔除避免候选三维重建产生误差。

可以直接通过对图像对中的各个相似第二图像对应的特征点集合中所包括图像特征两两之间的欧式距离,一旦图像特征1与图形特征2之间的欧式距离在预设距离值范围内,则确定图像特征1与图形特征2是不同图像采集设备在同一时刻的不同方位处,针对待扫描目标的同一个空间点所成像的同一个图像特征,即图像特征1与图形特征2是匹配组。

当然,还可通过sfm算法对对图像对进行特征点匹配得到匹配组。

示例性的,第二图像1对应有特征点集合{11,21,31,41和51},第二图像2对应有特征点集合{12,32,52,62和72},第二图像3对应有特征点集合{13,43,53和163},若11、72和163三者中两两之间的欧式距离均在预设距离值范围内,则可确定11、72和163是匹配组。

s260根据匹配组进行计算得到各图像特征所对应的在待扫描目标上的空间点;

具体的,通过三点定位法进行计算得到各个图像特征对应的空间点。例如,左摄像头分别与前摄像头和后摄像头的视角区域重叠,右摄像头分别与前摄像头和后摄像头的视角区域重叠。左摄像头、右摄像头、前摄像头和后摄像头分别拍摄待扫描目标上的某一个角点p,分别获取包括角点p的第二图像1、第二图像2、第二图像3以及第二图像4,那么处理器确定第二图像1、第二图像2、第二图像3以及第二图像4为图像对,且第二图像1、第二图像2、第二图像3以及第二图像4具有相同的图像特征p′,该图像特征p′为同名点,那么根据图像特征p′以及图像坐标系与世界坐标系之间的转换关系,通过三点定位法能够计算得到图像特征p′对应角点p的空间点。

s270根据空间点生成获得待扫描目标对应的三维模型;

s280对第一图像进行特征提取得到对应图像特征的颜色特征;

s290根据图像特征的颜色特征对三维模型进行纹理贴图,以还原待扫描目标的颜色和纹理。

通过本实施例,终端设备通过图像识别方法分别对多组第二图像数据进行图像特征提取,根据图像图像特征进行图像匹配,将相似的第二图像进行配对获得多个图像对,再根据图像对进行精细匹配,从而获得图像特征之间匹配关系。终端设备根据特征点匹配获得多个匹配组,从而根据匹配组进行计算得到每个图像对中具有配对关系的第二图像中同一图像特征(即同名点)所对应的空间点,终端设备根据所有空间点进行处理输出多个曲面,根据多个曲面生成三维模型完成待扫描目标的三维还原。然后再基于第一图像所提取对应图像特征的颜色特征进行纹理贴图,能够更加贴近待扫描目标的实际情况。本发明通过投影设备投射预设图案至待扫描目标,能够增加图像特征数量,提升三维还原的精准度的同时降低物体的三维还原成本。

第三实施例

一种三维还原方法,如图4所示,执行以下三维还原步骤:

s310从至少四个图像采集设备处获取第一图像;第一图像包括待扫描目标;

s320当投影设备投射预设图案至待扫描目标后,从至少四个图像采集设备获取第二图像;至少四个图像采集设备中相邻图像采集设备的视角区域两两重叠;第二图像包括被投射有预设图案后的待扫描目标;

s330通过第一特征提取算法和第二特征提取算法分别对各第二图像进行特征提取得到各第二图像对应的第一特征点集合和第二特征点集合;

s340根据第一特征点集合和第二特征点集合分别进行匹配得到图像对;

s350分别对图像对进行特征点匹配得到匹配组;

s360根据匹配组进行计算得到各图像特征所对应的在待扫描目标上的空间点;

s370根据空间点生成获得待扫描目标对应的三维模型;

s380根据三维模型所对应区域,从已获取的第二图像再次进行特征提取和特征点匹配,并根据新的匹配组计算获得新的空间点;

s385根据新的空间点进行连线更新获得待扫描目标对应的三维模型;

s390对第一图像进行特征提取得到对应图像特征的颜色特征;

s395根据图像特征的颜色特征对三维模型进行纹理贴图,以还原待扫描目标的颜色和纹理。

通过本实施例,终端设备通过图像识别方法分别对多组第二图像数据进行图像特征提取,根据图像图像特征进行图像匹配,将相似的第二图像进行配对获得多个图像对,再根据图像对进行精细匹配,从而获得图像特征之间匹配关系。终端设备根据特征点匹配获得多个匹配组,从而根据匹配组进行计算得到每个图像对中具有配对关系的第二图像中同一图像特征(即同名点)所对应的空间点,终端设备根据所有空间点进行处理输出多个曲面,根据多个曲面生成三维模型完成待扫描目标的三维还原。通过投影设备投射预设图案至待扫描目标,能够增加图像特征数量,提升三维还原的精准度的同时降低物体的三维还原成本。

第四实施例

一种三维还原方法,执行以下三维还原步骤:

s405从至少四个图像采集设备处获取第一图像;第一图像包括待扫描目标;

s410当投影设备投射预设图案至待扫描目标后,从至少四个图像采集设备获取第二图像;至少四个图像采集设备中相邻图像采集设备的视角区域两两重叠;第二图像包括被投射有预设图案后的待扫描目标;

s415通过第一特征提取算法和第二特征提取算法分别对各第二图像进行特征提取得到各第二图像对应的第一特征点集合和第二特征点集合;

s420将当前第二图像对应的第一特征点集合与剩余第二图像对应的第一特征点集合进行匹配得到第一匹配结果;

s425将当前第二图像对应的第二特征点集合与剩余第二图像对应的第二特征点集合进行匹配得到第二匹配结果;

s430比较第一匹配结果和第二匹配结果,确定相同图像特征比例较多的匹配结果为最终匹配结果,并根据最终匹配结果获得图像对;

具体的,通过上述特征提取算法提取到某一第二图像p1对应的第一特征点集合1和第二特征点集合1,并通过上述特征提取算法提取到某一第二图像p2对应的第一特征点集合2和第一特征点集合2。可以通过通过比较第一特征点集合1与第一特征点集合2中所包括的图像特征,获得相同图像特征的第一数量。同理,通过比较第二特征点集合1与第二特征点集合2中所包括的图像特征,获得相同图像特征的第二数量。

若根据第一特征点集合1与第一特征点集合2进行判断第二图像p1与第二图像p2是特征点匹配个数达到预设要求的图像对,但是,根据第二特征点集合1与第二特征点集合2进行判断第二图像p1与第二图像p2不是图像对。那么进一步比较第一数量与第二数量的大小。如果第一数量大于第二数量,则确定第二图像p1与第二图像p2是图像对;如果第一数量小于第二数量,则确定第二图像p1与第二图像p2不是图像对;如果第一数量等于第二数量,则对第二图像p1与第二图像p2进行相似度检测,设置相似度对应的权重系数1和相同图像特征总数对应的权重系数2,其中,权重系数1和权重系数2的和值为100%。根据上述相似度、相同图像特征总数、权重系数1和权重系数计算得到权重值,若权重值大于预设数值,则确定第二图像p1与第二图像p2是图像对,否则确定第二图像p1与第二图像p2是图像对不是图像对。

当然,若根据第一特征点集合1与第一特征点集合2进行判断第二图像p1与第二图像p2不是图像对,但是,根据第二特征点集合1与第二特征点集合2进行判断第二图像p1与第二图像p2是特征点匹配个数达到预设要求的图像对。参照上述方式进行确定第二图像p1与第二图像p2是图像对是否为图像对,在此不再详细说明。

若根据第一特征点集合1与第一特征点集合2进行判断第二图像p1与第二图像p2是特征点匹配个数达到预设要求的图像对,且,根据第二特征点集合1与第二特征点集合2进行判断第二图像p1与第二图像p2是图像对,则确定第二图像p1与第二图像p2是图像对。

若根据第一特征点集合1与第一特征点集合2进行判断第二图像p1与第二图像p2不是特征点匹配个数达到预设要求的图像对,且,根据第二特征点集合1与第二特征点集合2进行判断第二图像p1与第二图像p2不是图像对,则确定第二图像p1与第二图像p2不是图像对。

上述仅仅例举了第二图像p1与第二图像p2之间进行匹配判断,还可将第二图像p1与第二图像p3等所有图像采集设备采集的除了第二图像p1与第二图像p2以外剩余的第二图像进行匹配判断,获得对应的图像对。同理,将第二图像pn与所有图像采集设备采集的除了第二图像pn以外的所有剩余第二图像进行匹配判断获得对应的图像对。

s440分别对图像对进行特征点匹配得到匹配组;

s450根据匹配组进行计算得到各图像特征所对应的在待扫描目标上的空间点;

s460对所有空间点进行连线生成对应的三角网格,根据三角网格生成获得待扫描目标对应的三维模型;

s470根据三维模型所对应区域,从已获取的第二图像再次进行特征提取和特征点匹配,并根据新的匹配组计算获得新的空间点;

具体的,采用上述拓展和改进方案的有益效果:能够准确的从少量的空间点中得到密集的空间点,从而使生成的三维更加接近待扫描目标的实物。通过ann-l2方法进行扩增空间点的数量,即获取的当前空间点所对应图像特征点对应的以r为半径的所有候选特征点,r设置为检测到的特征点的所有隔离距离之间的平均距离。隔离距离是给前空间点所对应图像特征点到任何其他图像特征点之间的最短距离。

对于第二图像p1上的每个图像特征点 寻找其在其他第二图像 上的,与第二图像p1上的图像特征点 为同名点的图像特征点 从而得到匹配组 其中,n为第n个第二图像的标号,k为标号为n的第二图像上的第k个图像特征点。上述匹配组只是示例,其他情景在此不再一一赘述。

由每一个匹配组根据三角定位法能够计算得到对应的空间点。计算每个空间点与成像有该空间点对应的图像特征点,根据对应的图像特征点能够找到对应的目标第二图像,从而根据目标进行扩散得到新的图像特征点,从而根据新的图像特征点进行计算得到新的空间点。

s480根据新的空间点进行连线更新获得待扫描目标对应的三维模型;

s485对第一图像进行特征提取得到对应图像特征的颜色特征;

s490根据图像特征的颜色特征对三维模型进行纹理贴图,以还原待扫描目标的颜色和纹理。

优选的,连线生成对应的三角网格之后,根据三角网格生成获得待扫描目标对应的三维模型之前包括步骤:

查找并删除三角网格中的交叉三角片或重叠三角片得到新的三角网格。

通过本实施例,终端设备通过图像识别方法分别对多组第二图像数据进行图像特征提取,根据图像图像特征进行图像匹配,将相似的第二图像进行配对获得多个图像对,再根据图像对进行精细匹配,从而获得图像特征之间匹配关系。终端设备根据特征点匹配获得多个匹配组,从而根据匹配组进行计算得到每个图像对中具有配对关系的第二图像中同一图像特征(即同名点)所对应的空间点,终端设备根据所有空间点进行处理输出多个曲面,根据多个曲面生成三维模型完成待扫描目标的三维还原。通过投影设备投射预设图案至待扫描目标,能够增加图像特征数量,提升三维还原的精准度的同时降低物体的三维还原成本。

第五实施例

一种三维还原方法,执行以下三维还原步骤:

s505从至少四个图像采集设备处获取第一图像;第一图像包括待扫描目标;

s510当投影设备投射预设图案至待扫描目标后,从至少四个图像采集设备获取第二图像;至少四个图像采集设备中相邻图像采集设备的视角区域两两重叠;第二图像包括被投射有预设图案后的待扫描目标;

s515通过第一特征提取算法和第二特征提取算法分别对各第二图像进行特征提取得到各第二图像对应的第一特征点集合和第二特征点集合;

s520将当前第二图像对应的第一特征点集合与剩余第二图像对应的第一特征点集合进行匹配得到第一匹配结果;

s525将当前第二图像对应的第二特征点集合与剩余第二图像对应的第二特征点集合进行匹配得到第二匹配结果;

s530比较第一匹配结果和第二匹配结果,确定相同图像特征比例较多的匹配结果为最终匹配结果,并根据最终匹配结果获得图像对;

s540分别对图像对进行特征点匹配得到匹配组;

s550根据匹配组进行计算得到各图像特征所对应的在待扫描目标上的空间点;

s560根据所有空间点在预设区域内查找相邻空间点,对所有空间点和相邻空间点进行连线生成对应的三角网格,根据三角网格生成获得待扫描目标对应的三维模型;

s570根据三维模型所对应区域,从已获取的第二图像再次进行特征提取和特征点匹配,并根据新的匹配组计算获得新的空间点;

s580根据新的空间点进行连线更新获得待扫描目标对应的三维模型;

s585对第一图像进行特征提取得到对应图像特征的颜色特征;

s590根据图像特征的颜色特征对三维模型进行纹理贴图,以还原待扫描目标的颜色和纹理。

优选的,连线生成对应的三角网格之后,根据三角网格生成获得待扫描目标对应的三维模型之前包括步骤:

查找并删除三角网格中的交叉三角片或重叠三角片得到新的三角网格。

通过本实施例,终端设备通过图像识别方法分别对多组第二图像数据进行图像特征提取,根据图像图像特征进行图像匹配,将相似的第二图像进行配对获得多个图像对,再根据图像对进行精细匹配,从而获得图像特征之间匹配关系。终端设备根据特征点匹配获得多个匹配组,从而根据匹配组进行计算得到每个图像对中具有配对关系的第二图像中同一图像特征(即同名点)所对应的空间点,终端设备根据所有空间点进行处理输出多个曲面,根据多个曲面生成三维模型完成待扫描目标的三维还原。通过投影设备投射预设图案至待扫描目标,能够增加图像特征数量,提升三维还原的精准度的同时降低物体的三维还原成本。

所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各程序模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的程序模块完成,即将所述装置的内部结构划分成不同的程序单元或模块,以完成以上描述的全部或者部分功能。实施例中的各程序模块可以集成在一个处理单元中,也可是各个单元单独物理存在,也可以两个或两个以上单元集成在一个处理单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件程序单元的形式实现。另外,各程序模块的具体名称也只是为了便于相互区分,并不用于限制本申请的保护范围。

本发明的一个实施例,如图11所示,一种终端设备100,包括处理器110、存储器120,其中,存储器120,用于存放计算机程序121;处理器110,用于执行存储器120上所存放的计算机程序121,实现上述图1-图11所对应三维还原方法方法实施例中所执行的操作。

所述终端设备100可以为桌上型计算机、笔记本、掌上电脑、平板型计算机、手机、人机交互屏等设备。所述终端设备100可包括,但不仅限于处理器110、存储器120。本领域技术人员可以理解,图11仅仅是终端设备100的示例,并不构成对终端设备100的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如:终端设备100还可以包括输入/输出接口、显示设备、网络接入设备、通信总线、通信接口等。通信接口和通信总线,还可以包括输入/输出接口,其中,处理器110、存储器120、输入/输出接口和通信接口通过通信总线完成相互间的通信。该存储器120存储有计算机程序121,该处理器110用于执行存储器120上所存放的计算机程序121,实现上述图1-图11所对应三维还原方法方法实施例中所执行的操作。

所述处理器110可以是中央处理单元(centralprocessingunit,cpu),还可以是其他通用处理器、数字信号处理器(digitalsignalprocessor,dsp)、专用集成电路(applicationspecificintegratedcircuit,asic)、现场可编程门阵列(field-programmablegatearray,fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述存储器120可以是所述终端设备100的内部存储单元,例如:终端设备的硬盘或内存。所述存储器也可以是所述终端设备的外部存储设备,例如:所述终端设备上配备的插接式硬盘,智能存储卡(smartmediacard,smc),安全数字(securedigital,sd)卡,闪存卡(flashcard)等。进一步地,所述存储器120还可以既包括所述终端设备100的内部存储单元也包括外部存储设备。所述存储器120用于存储所述计算机程序121以及所述终端设备100所需要的其他程序和数据。所述存储器还可以用于暂时地存储已经输出或者将要输出的数据。

通信总线是连接所描述的元素的电路并且在这些元素之间实现传输。例如,处理器110通过通信总线从其它元素接收到命令,解密接收到的命令,根据解密的命令执行计算或数据处理。存储器120可以包括程序模块,例如内核(kernel),中间件(middleware),应用程序编程接口(applicationprogramminginterface,api)和应用。该程序模块可以是有软件、固件或硬件、或其中的至少两种组成。输入/输出接口转发用户通过输入/输出接口(例如感应器、键盘、触摸屏)输入的命令或数据。通信接口将该终端设备100与其它网络设备、用户设备、网络进行连接。例如,通信接口可以通过有线或无线连接到网络以连接到外部其它的网络设备或用户设备。无线通信可以包括以下至少一种:无线保真(wifi),蓝牙(bt),近距离无线通信技术(nfc),全球卫星定位系统(gps)和蜂窝通信等等。有线通信可以包括以下至少一种:通用串行总线(usb),高清晰度多媒体接口(hdmi),异步传输标准接口(rs-232)等等。网络可以是电信网络和通信网络。通信网络可以为计算机网络、因特网、物联网、电话网络。终端设备100可以通过通信接口连接网络,终端设备100和其它网络设备通信所用的协议可以被应用、应用程序编程接口(api)、中间件、内核和通信接口至少一个支持。

本发明的一个实施例,一种存储介质,存储介质中存储有至少一条指令,指令由处理器加载并执行以实现上述图1-图11所对应三维还原方法方法实施例中所执行的操作。例如,存储介质可以是只读内存(rom)、随机存取存储器(ram)、只读光盘(cd-rom)、磁带、软盘和光数据存储设备等。

它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本发明不限制于任何特定的硬件和软件结合。

在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详细描述或记载的部分,可以参见其他实施例的相关描述。

本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。

在本申请所提供的实施例中,应该理解到,所揭露的装置/终端设备和方法,可以通过其他的方式实现。例如,以上所描述的装置/终端设备实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口,装置或单元的间接耦合或通讯连接,可以是电性、机械或其他的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外,在本申请各个实施例中的各功能单元可能集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。

所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个存储介质中。基于这样的理解,本发明实现上述实施例方法中的全部或部分流程,也可以通过计算机程序121发送指令给相关的硬件完成,所述的计算机程序121可存储于一存储介质中,该计算机程序121在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序121可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述存储介质可以包括:能够携带所述计算机程序121的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom,read-onlymemory)、随机存取存储器(ram,randomaccessmemory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如:在某些司法管辖区,根据立法和专利实践,计算机可读的存储介质不包括电载波信号和电信信号。

应当说明的是,上述实施例均可根据需要自由组合。以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

再多了解一些
当前第1页 1 2 3
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1