实景三维重建在自然保护区勘界中的应用
自然保护地对于建设重要自然生态系统、维护生物多样性、提高自然遗产保存率及改善生态环境质量至关重要。长期以来,我国实行“重数量轻质量”策略,保护地面积和数量不断犷张,忽略了保护地所面临的交叉重叠、生态环境境破碎化、土地权属不清等诸多问题,现实矛盾冲突尖锐,降低了自然资源的保护效率,阻碍了保护地的健康发展。因此,加强自然保护地的勘界立标,为优化整合工作提供准确、可靠的本底数据,有助于推动保护地的规范化建设和精细化管控,促进保护地与周边区域协调发展,对加强新时代生态文明建设具有重要现实意义。随着新型信息观测技术的发展,无人机倾斜摄影测量通过飞行平台搭载多角度传感器,可同时得到地物正射和倾斜方向的真实纹理,获得更加立体的地理环境信息。相较于传统航空摄影二维平面观测的局限和实地勘测成本高、工作量大的限制,倾斜摄影测量拥有高效率的三维模型生产技术,成果更符合人类视觉系统的直观真实感知,大大提高了地表特征的判读解译效率和精度,可提供多种直接的测量手段。因此,被广泛应用于不动产更新测绘、城市规划、自然资源勘查和管理等领域。目前,自然保护地界主要通过人工携带RTK或全站仪等装置进行实地勘测,该种方法在地势险峻地区勘测阻力较大,难以保证工作的全面覆盖。基于此,本文基于倾斜摄影测量技术,结合谷歌地图和数字正射影像(DOM),获取测区1 :500实景三维模型,在兼顾测绘精度要求的同时,以期快速、高效地解决勘界过程中存在的边界不客观、不符合实际情况等问题,实现自然保护地边界的识别 和提取。 1、关键技术步骤利用测量技术进行自然保护地勘界的流程主要包括像控点布设、倾斜摄影测量平台设定、飞行航线设计、像控点测址、空三解算、实景三维建模及边界识别与提取。 1.1、像控点布设像控点布设作为倾斜摄影测量中不可或缺的基础步骤,在保证像控点测定几何精度的同时,低数量、质量还需满足像片处理和模型精度的要求,确保目标地物在空间系统中的绝对位置,技术流程如下所示。像控点应避免布设在建筑物密集区、可能被基础设施建设和植被遮挡区域,而应布设在纹理明显、色彩差异较大的空旷区,如道路交叉点、房前空地等区域。 1.2、倾斜摄影测量系统无人机倾斜摄影测量是以无人机为飞行平台、以倾斜摄影相机为传感器的航空摄影测址系统。对于飞行平台而言,应着正考虑续航时间、飞行速度、载重、安全性及抗风性等因素;对于传感器而言,应着重关注其波段数、焦距、POS数据采集能力等主要指标。通过POS采集与相机拍摄的同步设置,最大限度减少了机械延时产生的定位误差,保证了而动态场景下的影像获取精度;通过无人机与航摄系统融合的设计使飞行更趋于稳定;通过高精度双RTK模块导航定位与精准飞行技术相结合的方式,使航线误差控制在2cm、定向精度在0.2度以内。 1.4、空三解算倾斜摄影时,将机载POS提供的外方位元素视为观测值引入摄影测量区域网平差中,利用后处理软件采用统一的数学模型和算法,对多视影像进行自动匹配,获得同名连接点,构建自由网;在初次空三结果基础上加入控制点进行联合平差,可优化精度至1/3像素,通过同名点匹配技术建立影像与模型间的严格对应关系,以满足后续自动化建模精度。当空三运算精度结果中像控点中误差小于0.03m(小于0.01m效果最佳),残差满足限差要求,丢片合理,无分层、断层、错位,则认定空三运算满足质量要求。 2、应用实例韶关北江特有珍惜鱼类省级自然保护区于2006年建立,2008年升格为省级自然保护区,位于广东省韶关北江水系的武江,总面积为2820hm²,主要保护对象为特有珍稀濒危鱼类及水生生态环境等,属于内陆湿地和水域生态系统类保护区。 三维建模项目采用,集群调用8组GPU同步运算。通过集成处理POS数据,验证POS精度并对其姿态角数据进行子午线收敛角补偿,解算出精确外方位元素;利用特征匹配算法获取高精度同名点匹配结果,通过光束法局域网平差实现空中三角测量;根据聚簇算法和密集匹配算法初步构建高密度点云数据,依据空三建立的影像间三角关系经由高密度点云构建TIN网格模型;最后经由纹理映射形成实景三维模型,效果真实性强,纹理现势性好。 结语本文通过无人机倾斜摄影测量技术首次实施北江特种珍稀鱼类自然保护区勘界工作。试验表明,该方法具有较好的适用性及实用性,能满足划定保护地边界的勘查及定期测量。其自动化程度高,大大减少了外业工作量;成果精度高,模型效果好,可针对特殊区域施行重点监测,弥补了航空、航天遥感的平面观测缺陷和现场监测技术的不足。实景三维模型、DOM和DSM等地理信息数据的获取,推动了自然保护地勘界立标工作的信息化发展,为自然保护地整合优化工作提供了现势性好和准确的基础数据,应用前景十分广阔,易于推广。无人机倾斜摄影测量是否适用于湿地、森林等高植被覆盖的自然公园勘界有待进一步研究。此外,如何高效获取更直观的三维展示成果、提高无人机续航力及减少数据冗余等问题仍是今后探索的趋势。新用户注册大雁云-实景三维重建平台,即可领取价值200元新手券~本文《整理发布,如需转载,请注明出处及链接:https://www.dayancloud.com/news/post-id-1118---相关阅读推荐:
2021-11-18
实景三维重建在犯罪现场勘查中的应用
犯罪现场是犯罪嫌疑人进行犯罪的场所,是犯罪信息的源泉。由于人为、天气等外界因素干扰,案发现场容易遭到破坏和干扰。在公安机关现场勘查中,重建案件现场发挥越来越重要的作用,现场形成三维实景图像,所记录的信息具有原始性、全面性、准确性等优点。犯罪现场是犯罪嫌疑人进行犯罪的场所,是犯罪信息的源泉,现场勘查工作的精细与否,对案件的侦查成功与否有着举足轻重的作用。勘查现场的同时也是对现场原始性的破坏,很多时候现场勘 查只有一次成功的机会,在传统的现场勘查工作后,现场勘查人员必须综合现场笔录、现场照片和现场录像的记录情况才能将现场情况反映给侦查人员。可以说,侦行员得到的现场信息是经过勘查人员介绍的二手现场信息,这二手现场信息有的不够全面,有的经过勘查人员的加工,甚至有的带有勘查人员的主观臆断,这些不全面甚至错误的信息会严重干扰侦查员的侦查思路。当前,无损勘查是广大技术人员的一个共识,科技的进步必然带动现场勘查理念的更新及现场勘查技术的提高。目前,三维重建技术被广泛运用在建筑学、生物学、医学等各个领域中,在三维重建技术的基础上发展起来的现场三推实景重建技术主要是记录现场的一切原始信息,在电脑中重建犯罪现场痕迹及犯罪过程,有别于传统意义上的现场勘查方法,所记录的信息具有原始性、全面性、重建案件发生过程高度逼真等优点,将在公安机关今后的现场勘查中发挥越来越重要的作用。 1、三维实景重建技术的概念现场三维实景重建技术是指采用三维实景扫描设备对现场环境和物体进行精细扫描,扫描信息传输至计算机系统内,通过计算机软件处理,生成360度空间现场三维实景效果图像,全方位真实地记录现场环境、物体及痕迹物证等一切现场实景的立体信息,并整合现场细目、测量数据、文字介绍等多媒体效果。三维实景图像通过软件具有放大、旋转、平移、测量等操作功能,把这些三维实景图像和动画、声音、文字结合,就可为侦查、技术、指挥人员生成各种还原案件现场三维实景和案件过程的多媒体影音和影像材料。 2、三维实景重建技术的数据(信息)采集三维实景重建技术数据采集的目的是收集案发现场环境、物品的空间结构、各的痕迹物证等信息,全面反映案发现场的具体情况。采集的对象主要包括现场环境、犯罪主客体以及各类犯罪痕迹等,内容包括采集对象的性质状态、空间位置、尺寸大小、方位朝向等详细信息,采集时可以使用红外定点扫描、多点扫描、移动扫描及近距离精细扫描等方式,全面、真实和满确采集现场信息。特别是三维实景重建的倾斜摄影设别搭载在多旋翼无人机上。利用无人机机动灵活、运行稳定、适合超低空应用的特点,在不影响现场痕迹物证的情况下,对现场信息进行采集。在现场勘查的过程中,只有全面、真实和准确地采集现场三维实景信息,才能在电脑软件的帮助下形成接近真实场景的原始现场三维实景图。 3、三维实景重建技术在现场勘直中的应用 3.1案发现场的全景重现在勘查阶段,除了用相机、摄像机固定现场痕迹及物证外,还可通过三维实景重建设备,在不破坏原始现场痕迹物证的情况下对犯罪现场原始状态及现场痕迹物证进行扫描,体现痕迹物证的相应位置、状态及痕迹物证之间的联系。形成完整的犯罪现场信息情况,并保存在电脑内形成电子数据。指挥人员可以通过所记录的犯案原始现场三维实景信息进行反复巡查,分析现场哪个部位可能存在潜在的痕迹物证,确定进入现场勘查的人员及勘查路线,并制定可行性现场勘查方案。因此,使用可以在现场巡查阶段避免多人进入现场或重复进入现场,从而减少破坏现场潜在痕迹物证的机率,并具有长期保存原始犯罪现场信息的作用。 3.2 案发过程三维动画模拟常规现场勘查后,现场中的物品有的被移动,痕迹物证被显现和被提取,原始现场已被破坏,已无法反映犯罪信息的原始情况。利用现场三维实景重建技术所保存的原始犯罪现场信息,技术人员可以根据现场的鞋印大小、方向、鞋印间的关系及鞋印上形成的运动特征来分析嫌疑人的身高、体重及行走姿势或运动方式。通过现场血迹的分布、形态及方向可以对血迹的形成方式进行分析。对现场分析后,运用动画软件重现犯罪过程,从而更精准地分析出作案的人数、作案人的行为特征、作案人身体特怔及作案的过程。 3.3 快速形成现场汇报文件创建完成的现场图像及犯罪过程模拟动画,可以导出可执行汇报演示的文件,文件可以在任一电脑上脱机播放,无需安装任何插件。全新的三维实景案件现场勘查汇报方式可以用多方位视角和动画播放演示的形式呈现,取代了传统的PPT汇报,使案件现场更有真实感。公安机关可将这些直观的案件现场和作案过程及时通过媒体发布,正确引导社会舆论,消除案件发生所带来的社会影响,起到控制舆情、以正视听、稳定社会的作用。总之,现场主要是对犯罪实施过程中嫌疑人和受害人的行为、动作进行再现,其中人的行为重建是关键。现场三维实景重建犯罪现场是技术人员全方位采集原始现场信息后在电脑软件下形成的三维立体实景图像,并用3D动画技术真实模拟仿真整个案件发生的原因、过程和结果。为案件的侦破、记录、汇报、存档查询提供便利,是现代化科技强警的有力工具,它有效提高了现场三维重建的效率,具有较高的实用性,将在今后的现场勘查中获得广泛应用。本文《》内容由大雁云实景三维重建平台整理发布,如需转载,请注明出处及链接:https://www.dayancloud.com/news/post-id-0510/---相关阅读推荐:
2021-05-13
实景三维重建在军事领域的应用(下)
是对三维物体或场景建立历合适计算机表示和处理的数学模型,是在计算机环境下对其进行处理、操作和分析的基础,也是在计算机中建立表达客观世界的虚拟现实的关键技术。上篇文章中,我们介绍了。本文我们将继续从无人作战应用、军事医疗救护、装备制造维修方面介绍实景三维重建在军事领域的应用。 (三)无人作战应用。 一方面,通过实时获取生成三维环境, 有助于实现无人装备的自动导航。例如,在美国国防部高级研究计划局(DARPA)的支持下,波士顿动力公司联合福斯特•米勒公司、JPL和哈佛大学共同研究大狗(Bigdog)四足军用机器人,用于在一些军用车辆难以使用的险要地方助士兵一臂之力,进行作战物资的运输。大狗机器人配有环境感知电子眼,能够结合立体视觉和激光扫描仪产生精确的,使其能够分辨出前方安全的道路。另一方面,通过获取目标的三维特征,可以实现目标自动识别和分类,并判断目标的行为动作,为人机协同提供有力支持。 (四)军事医疗救护,从而为相关的正畸手术提供帮助。此外,通过扫描手段获取人体的全身或骨骼、关节等部位的三维模型,可以为身形矫正和假肢制造等提供精确的参数信息。 (五)装备制造维修,是逆向工程的首要环节。例如,著名逆向工程解决方案提供商Direct Dimensions公司使用FAROLS激光扫描仪获取F15战斗机CAD模型“另一方面,随着各种扫描技术在工业领域的应用,基于非接触式三维测量技术的微断面技术(Micn)profilome-try)、激光扫描技术等被广泛应用于工业制造中的质量检测,根据扫描数据,评估产品表面的光滑度、弯曲度、拓扑信息以及典型的缺陷,实现对产品质量的检测与监控。---相关阅读推荐:
2021-05-07
实景三维重建相较于传统建模的优势有哪些?
一、三维实景建模技术的兴起近年来,三维实景重建技术开始背人们所知,逐渐应用在大型地址调查(三维地形重建)、考古、建筑复原等领域中。三维实景建模技术也称之为基于图像的三维重建。这项技术能够通过数学方法,并结合相机的一些基本原理,就可以仅仅通过上传百张甚至几十张照片就能得到真是目标物体的三维模型。并且通过这种技术得到的三维模型在空间结构上与真实物体的非常像素,误差在严格的控制下甚至可以达到毫米级,接下来再以此为基础,进一步对模型进行修改完善,最终可以得到精确的数据,满足我们的需求。这种技术属于逆向建模的范畴,这打破了传统的三维模型制作(正向建模)和真实场景复原,提供了一个完全崭新的方法,应用前景广阔。 二、传统建模的缺点传统建模是建模人员通过平面图作为参考,用三维模型制作软件,根据个人经验从基础的三维几何体开始制作模型,不断调整,最终做出目标形态。这种方式存在许多局限:(1)需要花费大量的时间。建模人员需要先读图,了解目标物体的大体结构以及细部结构,然后再根据图纸逐一的机型建模,这往往需要大量的工作时间。(2)对建模人员的要求较高。需要建模人员对建模软件非常的熟悉,要想达到一定的水准往往需要有大量的实战经验和刻苦的训练。然而实际中我们需要制作的模型目标包罗万象,有可以结构简单,一些简单的几何体,也有可能结构复杂,比如一个人,一个复杂的曲面,这些不确定的目标类型对于建模人员来说是很大的考验,需要对建模软件全面的熟悉与运用。(3 )对于那些没有图纸的模型,只能凭建模人员的主观决定,模型的精细程度就完全得不到保证。因此这三点制约了传统建模快速实现三维模型重建的发展,我们需要找到一种新的跟高级的建模技术。 三、三维实景建模技术的优势随着计算机运算能力的不断增强以及数字图像处理技术的高速发展,三维实景建模的技术开始进入各行业研究人员的视野,并取得了一系列实用化成果。三维实景建模是基于图像的三维重建,它是从单幅图像或图像序列中反求出物体的三维模型,它是相机拍摄照片的逆过程。虽然一幅图像上仅含二维信息,但是这些二维信息包括多幅图像中共同物体的物理特征及所对应的几何关系,和两幅图像中的视差关系。因此我们可以比较物体某一点在多幅相片中不同的位置,据此来计算该点的三维几何信息。这些二维信息是被拍摄物体本身所具有的。对于一些大地形,我们为了提高精度,我们需要在地形表面增加一些特殊标识作为辅助点,比如像控点。这有助于计算机更快的更好的分辨和处理这些二维信息。总之就是利用数字相机作为工具,综合运用图像处理技术,数学理论基础从二维图像中提取目标的三维空间信息,最终实现目标的三维重建。这种技术有很大的优点,具体体现在以下四个方面:(1)工作量大大减少,通过科学的正确的拍摄方法,能够快速的采集数据信息,然后再室内进行数据处理,可以很快的得到目标的三维模型。(2)对建模人员要求不是很高,只要简单的熟悉拍摄技巧,以及数据处理的技巧,数天之内就可以上手。下面我会介绍拍摄技巧和数据处理技巧。(3)定种技术不受拍摄物体的形状玳态和尺寸所限制。(4)不需要昂贵的设备,一般情况下只需要普通的数码相机就可以,如果拍摄大地形,大的建筑物,我们可以使用无人机进行数据采集。这些优点很好的弥补了传统建模以及三维激光扫描仪存在的不足,注定了它将是今后三维建模的一个重要发展方向,它的全自动或半自动建模特点和批量处理特点决定了它能够适用于各个行业。,让我们拭目以待吧!---相关阅读推荐:
2021-04-16
基于无人机倾斜摄影技术的三维建模
实景三维重建近年来,随着我国城市建设的快速发展,城镇化进程口益加快,各个行业都在积极 响应数字化、智慧化的号召,对城市和地表空间基础信息的需求与口俱增,需要更加完整、真实以及高精度的空间信息数据来辅助完成各项工作,在越来越多的领域得到应用。是由传统航空摄影发展而来的,与传统航空摄影技术相比,该技术能够较为全面、清晰且高精度地感知目标物的复杂场景,其获得的数据成果能更加真实客观地反映目标物的实际情况,还可获取目标物的绝对位置、高度等属性信息,保证目标物成果的真实性及精度的可靠性。同时相较于传统人工建模手段该技术的建模效率得到很大提高,一般而言,一个中小城市采用传统人工建模的方式进行模型构建需要一到两年的时间才能完成,而采用无人机倾斜摄影技术进行模型构建则只需要三到五个月的时间,大大缩减了数据采集及模型生产的时间周期和经济成本。该技术可以快速高效地获取目标物的影像数据,实现真实完整的三维实景重建。 无人机倾斜摄影技术倾斜摄影测量技术作为一门革新性的测绘技术,近年来在无人机技术的支撑下得到了飞速发展,尤其在全面快速地构建三维实景模型方面,具有重要的实践应用价值。 无人机与倾斜摄影技术相结合进行无人机倾斜摄影测量是当前测绘行业的研究热点。传统的航空摄影是在飞行平台上搭载一台传感器从垂直方向进行拍摄,只能获取目标物的顶部信息数据,无法全面获取目标物的侧面信息及纹理,具有一定的局限性;而无人机倾斜摄影技术是在无人机平台上搭载多台传感器,从5个不同的角度同时进行拍摄完成数据采集。倾斜摄影技术从多个角度观察目标物,能更加真实直观地反映目标物的实际情况,同时侧视影像能较好地采集目标物的侧面信息及纹理,弥补了传统航空摄影的局限性。相较于传统人工建模手段,基于无人机倾斜摄影的三维建模技术不仅有效提高了工作效率,还缩短了数据获取的时间,降低了人力与物力成本。 基于无人机倾斜摄影三维建模的技术流程无人机搭载倾斜相机获取目标物的多视影像,联合POS信息及像控点数据通过建模软件进行数据处理实现三维实景模型的构建。在三维重建过程中,采集的倾斜影像的分辨率,POS数据的质量以及像控点的分布等因素对模型成果的精度有直接影响。随着倾斜摄影技术的兴起,对倾斜相机、机载RTK等都进行了深入研究,并获得一定的成果。随着城市建设与测绘技术的发展,对三维模型的精度提出了更高的要求,目前市场上常用的实景建模平台主要包括大雁云实景三维建模平台、大势智慧、大疆智图、千寻云图等,这些平台在全自动化建模方面发展已较为成熟。大雁云实景三维建模平台是深圳市瑞云科技有限公司旗下专注于真实世界的高精度采集、三维数字化重建和服务方面的软硬件产品关键技术开发与应用,在城市高精度三维建模、应用和文化遗产数字化保护领域具有强大的技术优势。
2021-04-01
三维重建技术概述——相关概念
相关概念 (1)彩色图像与深度图像彩色图像也叫作RGB图像,R、G、B三个分量对应于红、绿、蓝三个通道的颜色,它们的叠加组成了图像像素的不同灰度级。RGB颜色空间是构成多彩现实世界的基础。深度图像又被称为距离图像,与灰度图像中像素点存储亮度值不同,其像素点存储的是该点到相机的距离,即深度值。图2-1表示深度图像与灰度图像之间的关系。图2-1 深度图像与灰度图像深度值指的目标物体与测量器材之间的距离。由于深度值的大小只与距离有关,而与环境、光线、方向等因素无关,所以深度图像能够真实准确的体现景物的几何深度信息。通过建立物体的空间模型,能够为深层次的计算机视觉应用提供更坚实的基础。图2-2 人物的彩色图像与深度图像 (2)PCLPCL(Point Cloud Library,点云库)是由斯坦福大学的Dr.Radu等学者基于ROS(Robot Operating System,机器人操作系统)下开发与维护的开源项目,最初被用来辅助机器人传感、认知和驱动等领域的开发。2011年PCL正式向公众开放。随着对三维点云算法的加入与扩充,PCL逐步发展为免费、开源、大规模、跨平台的C++编程库。PCL框架包括很多先进的算法和典型的数据结构,如滤波、分割、配准、识别、追踪、可视化、模型拟合、表面重建等诸多功能。能够在各种操作系统和大部分嵌入式系统上运行,具有较强的软件可移植性。鉴于PCL的应用范围非常广,专家学者们对点云库的更新维护也非常及时。PCL的发展时至今日,已经来到了1.7.0版本。相较于早期的版本,加入了更多新鲜、实用、有趣的功能,为点云数据的利用提供了模块化、标准化的解决方案。再通过诸如图形处理器、共享存储并行编程、统一计算设备架构等领先的高性能技术,提升PCL相关进程的速率,实现实时性的应用开发。在算法方面,PCL是一套包括数据滤波、点云配准、表面生成、图像分割和定位搜索等一系列处理的算法。基于不同类型区分每一套算法,以此把整合所有三维重建流水线功能,保证每套算法的紧凑性、可重用性与可执行性。例如PCL中实现管道运算的接口流程:1. 创建处理对象,例如滤波、特征估计、图像分割等;2. 通过setInputCloud输入初始点云数据,进入处理模块;3. 设置算法相关参数;4. 调用不同功能的函数实现运算,并输出结果。为了实现模块化的应用与开发,PCL被细分成多组独立的代码集合。因此便可方便快捷的应用于嵌入式系统中,实现可移植的单独编译。如下列举了部分常用的算法模块:- libpcl I/O:完成数据的输入、输出过程,如点云数据的读写;- libpcl filters:完成数据采样、特征提取、参数拟合等过程;- libpcl register:完成深度图像的配准过程,例如迭代最近点算法;- libpcl surface:完成三维模型的表面生成过程,包括三角网格化、表面平滑等。此类常用的算法模块均具有回归测试功能,以确保使用过程中没有引进错误。测试一般由专门的机构负责编写用例库。检测到回归错误时,会立即将消息反馈给相应的作者。因此能提升PCL和整个系统的安全稳定性。 (3)点云数据如图2-3所示,展示了典型的点云数据(Point Cloud Data,PCD)模型。图2-3 点云数据及其放大效果点云数据通常出现在逆向工程中,是由测距设备获取的物体表面的信息集合。其扫描资料以点的形式进行记录,这些点既可以是三维坐标,也可以是颜色或者光照强度等信息。通常所使用的点云数据一般包括点坐标精度、空间分辨率和表面法向量等内容。点云一般以PCD格式进行保存,这种格式的点云数据可操作性较强,同时能够提高点云配准融合的速度。本文研究的点云数据为非结构化的散乱点云,属于三维重建特有的点云特点。 (4)坐标系在三维空间中,所有的点必须以坐标的形式来表示,并且可以在不同的坐标系之间进行转换。首先介绍基本坐标系的概念、计算及相互关系。1. 图像坐标系图像坐标系分为像素和物理两个坐标系种类。数字图像的信息以矩阵形式存储,即一副像素的图像数据存储在维矩阵中。图像像素坐标系以为原点、以像素为基本单位,U、V分别为水平、垂直方向轴。图像物理坐标系以摄像机光轴与图像平面的交点作为原点、以米或毫米为基本单位,其X、Y轴分别与U、V轴平行。图2-4展示的是两种坐标系之间的位置关系:图2-4 图像像素坐标系与物理坐标系令U-V坐标系下的坐标点(u0,v0),与代表像素点在X轴与Y轴上的物理尺寸。那么图像中的所有像素点在U-V坐标系与在X-Y坐标系下的坐标间有着如式(2-1)表示的关系:其中指的是图像坐标系的坐标轴倾斜相交而形成的倾斜因子(Skew Factor)。2. 摄像机坐标系摄像机坐标系由摄像机的光心及三条、、轴所构成。它的、轴对应平行于图像物理坐标系中的、轴,轴为摄像机的光轴,并与由原点、、轴所组成的平面垂直。如图2-5所示:图2-5摄像机坐标系令摄像机的焦距是f,则图像物理坐标系中的点与摄像机坐标系中的点的关系为:3. 世界坐标系考虑到摄像机位置具有不确定性,因此有必要采用世界坐标系来统一摄像机和物体的坐标关系。世界坐标系由原点及、、三条轴组成。世界坐标与摄像机坐标间有着(2-3)所表达的转换关系:( 2-3 )其中,是旋转矩阵,代表摄像机在世界坐标系下的指向;是平移向量,代表了摄像机的位置。
2021-04-01
三维重建技术概述——重建流程
三维重建流程本文使用Kinect采集景物的点云数据,经过深度图像增强、点云计算与配准、数据融合、表面生成等步骤,完成对景物的三维重建。图2-6 基于深度传感器的三维重建流程图图2-6显示的流程表明,对获取到的每一帧深度图像均进行前六步操作,直到处理完若干帧。最后完成纹理映射。下面对每个步骤作详细的说明。 2.1 深度图像的获取景物的深度图像由Kinect在Windows平台下拍摄获取,同时可以获取其对应的彩色图像。为了获取足够多的图像,需要变换不同的角度来拍摄同一景物,以保证包含景物的全部信息。具体方案既可以是固定Kinect传感器来拍摄旋转平台上的物体;也可以是旋转Kinect传感器来拍摄固定的物体。价格低廉、操作简单的深度传感器设备能够获取实时的景物深度图像,极大的方便了人们的应用。 2.2 预处理受到设备分辨率等限制,它的深度信息也存在着许多缺点。为了更好的促进后续基于深度图像的应用,必须对深度图像进行去噪和修复等图像增强过程。作为本文的重点问题,具体的处理方法将在第四章进行详细的解释说明。 2.3 点云计算经过预处理后的深度图像具有二维信息,像素点的值是深度信息,表示物体表面到Kinect传感器之间的直线距离,以毫米为单位。以摄像机成像原理为基础,可以计算出世界坐标系与图像像素坐标系之间具有下式的转换关系:则k值只与有关,而等参数只与摄像机的内部构造有关,所以称为像机的内参数矩阵。以摄像机作为世界坐标系,即,则深度值即为世界坐标系中的值,与之对应的图像坐标就是图像平面的点。 2.4 点云配准对于多帧通过不同角度拍摄的景物图像,各帧之间包含一定的公共部分。为了利用深度图像进行三维重建,需要对图像进行分析,求解各帧之间的变换参数。深度图像的配准是以场景的公共部分为基准,把不同时间、角度、照度获取的多帧图像叠加匹配到统一的坐标系中。计算出相应的平移向量与旋转矩阵,同时消除冗余信息。点云配准除了会制约三维重建的速度,也会影响到最终模型的精细程度和全局效果。因此必须提升点云配准算法的性能。三维深度信息的配准按不同的图像输入条件与重建输出需求被分为:粗糙配准、精细配准和全局配准等三类方法。(1)粗糙配准(Coarse Registration)粗糙配准研究的是多帧从不同角度采集的深度图像。首先提取两帧图像之间的特征点,这种特征点可以是直线、拐点、曲线曲率等显式特征,也可以是自定义的符号、旋转图形、轴心等类型的特征。随后根据特征方程实现初步的配准。粗糙配准后的点云和目标点云将处于同一尺度(像素采样间隔)与参考坐标系内,通过自动记录坐标,得到粗匹配初始值。(2)精细配准(Fine Registration)精细配准是一种更深层次的配准方法。经过前一步粗配准,得到了变换估计值。将此值作为初始值,在经过不断收敛与迭代的精细配准后,达到更加精准的效果。以经典的由Besl和Mckay提出的ICP(Iterative Closest Point,迭代最近点)算法为例,该算法首先计算初始点云上所有点与目标点云的距离,保证这些点和目标点云的最近点相互对应,同时构造残差平方和的目标函数。基于最小二乘法对误差函数进行最小化处理,经过反复迭代,直到均方误差小于设定的阈值。ICP算法能够获得精正确无误的配准结果,对自由形态曲面配准问题具有重要意义。另外还有如SAA(Simulate Anneal Arithmetic,模拟退火)算法、GA(Genetic Algorithm,遗传)算法等也有各自的特点与使用范畴。(3)全局配准(Global Registration)全局配准是使用整幅图像直接计算转换矩阵。通过对两帧精细配准结果,按照一定的顺序或一次性的进行多帧图像的配准。这两种配准方式分别称为序列配准(Sequential Registration)和同步配准(Simultaneous Registration)。配准过程中,匹配误差被均匀的分散到各个视角的多帧图像中,达到削减多次迭代引起的累积误差的效果。值得注意的是,虽然全局配准可以减小误差,但是其消耗了较大的内存存储空间,大幅度提升了算法的时间复杂度。 2.5 数据融合经过配准后的深度信息仍为空间中散乱无序的点云数据,仅能展现景物的部分信息。因此必须对点云数据进行融合处理,以获得更加精细的重建模型。以Kinect传感器的初始位置为原点构造体积网格,网格把点云空间分割成极多的细小立方体,这种立方体叫做体素(Voxel)。通过为所有体素赋予SDF(Signed Distance Field,有效距离场)值,来隐式的模拟表面。SDF值等于此体素到重建表面的最小距离值。当SDF值大于零,表示该体素在表面前;当SDF小于零时,表示该体素在表面后;当SDF值越接近于零,表示该体素越贴近于场景的真实表面。KinectFusion技术虽然对场景的重建具有高效实时的性能,但是其可重建的空间范围却较小,主要体现在消耗了极大的空间用来存取数目繁多的体素。为了解决体素占用大量空间的问题,Curlessf等人提出了TSDF (Truncated Signed Distance Field,截断符号距离场)算法,该方法只存储距真实表面较近的数层体素,而非所有体素。因此能够大幅降低KinectFusion的内存消耗,减少模型冗余点。图2-7 基于空间体的点云融合TSDF算法采用栅格立方体代表三维空间,每个栅格中存放的是其到物体表面的距离。TSDF值的正负分别代表被遮挡面与可见面,而表面上的点则经过零点,如图2-7中左侧展示的是栅格立方体中的某个模型。若有另外的模型进入立方体,则按照下式实现融合处理。其中,指的是此时点云到栅格的距离,是栅格的初始距离,是用来对同一个栅格距离值进行融合的权重。如图2-7中右侧所示,两个权重之和为新的权重。对于KinectFusion算法而言,当前点云的权重值设置为1。鉴于TSDF算法采用了最小二乘法进行了优化,点云融合时又利用了权重值,所有该算法对点云数据有着明显的降噪功能。 2.6 表面生成表面生成的目的是为了构造物体的可视等值面,常用体素级方法直接处理原始灰度体数据。Lorensen提出了经典体素级重建算法:MC(Marching Cube,移动立方体)法。移动立方体法首先将数据场中八个位置相邻的数据分别存放在一个四面体体元的八个顶点处。对于一个边界体素上一条棱边的两个端点而言,当其值一个大于给定的常数T,另一个小于T时,则这条棱边上一定有等值面的一个顶点。然后计算该体元中十二条棱和等值面的交点,并构造体元中的三角面片,所有的三角面片把体元分成了等值面内与等值面外两块区域。最后连接此数据场中的所有体元的三角面片,构成等值面。合并所有立方体的等值面便可生成完整的三维表面。 性能优化Kinect等深度传感器的出现,不仅给娱乐应用带来了变革,同样对科学研究提供了新的方向。尤其是在三维重建领域。然而由于三维重建过程涉及到大量密集的点云数据处理,计算量巨大,所以对系统进行相应的性能优化显得非常的重要。本文采用基于GPU(Graphic Processing Unit,图形处理器)并行运算功能,以提高整体的运行效率。NVIDIA公司于1999年提出了GPU概念。在这十几年间,依靠硬件行业的改革创新,芯片上晶体管数量持续增多,GPU性能以半年翻一番的速度成倍提升。GPU的浮点运算能力远超CPU上百倍,却具有非常低的能耗,极具性价比。因GPU不仅广泛应用于图形图像处理中,也在如视频处理、石油勘探、生物化学、卫星遥感数据分析、气象预报、数据挖掘等方面崭露头角。作为GPU的提出者,NVIDIA公司一直致力于GPU性能提升的研究工作,并在2007年推出了CUDA架构。CUDA(Compute Unified Device Architecture,统一计算设备架构)是一种并行计算程序架构。在CUDA的支持下,使用者可以编写程序以利用NVIDIA系列GPU完成大规模并行计算。GPU在CUDA中被用作通用计算设备,而不只是处理图像。在CUDA中,将计算机CPU称为主机(Host),GPU称为设备(Device)。主机端和设备端都有程序运行,主机端主要完成程序的流程与串行计算模块,而设备端则专门处理并行计算。其中,设备端的并行计算过程被记录在Kernel内核函数中,主机端可以从Kernel函数入口执行并行计算的调用功能。在此过程中,虽然Kernel函数执行同一代码,但却处理着不同的数据内容。Kernel函数采用扩展的C语言来编程,称为CUDAC语言。需要注意的是,并不是所有的运算都可以采用CUDA并行计算。只有独立性的计算,如矩阵的加减,因为只涉及到对应下标的元素的加减,不同下标元素毫无关联,所以适用于并行计算;而对于如阶乘的计算则必须对所有数累积相乘,故无法采用并行计算。CUDA具有线程(Thread)、程序块(Block)、网格(Grid)三级架构,计算过程一般由单一的网格完成,网格被平均分成多个程序块,每个程序块又由多个线程组成,最终由单个线程完成每个基本运算,如图2-8所示。图2-8 CUDA模型为了更深入的理解CUDA模型的计算过程,计算某点的深度值与三维坐标之间的转换:上式中的表示深度值,内参数矩阵是已知量,是该点的坐标。可以发现这个点的转换过程与其他点转换过程是相互独立的,所以整幅图像中各点的坐标转换能够并行执行。这种并行计算可以大幅提升整体计算的速率。例如,利用一个网格来计算一幅像素的深度图像到三维坐标的转换,只需要将此网格均分成块,每块包括个线程,每个线程分别操作一个像素点,便可以便捷的完成所有的坐标转换运算。通过GPU的并行计算,三维重建性能得到了大幅的提升,实现了实时的输入输出。对于Kinect在实际生产生活中的应用奠定了基础。
2021-04-01
[实景建模]-实景三维建模的应用领域
(1)在智慧城市的建设中,城市空间信息数据是数字化的软基础设施。但是长久以来,时,利用三维数据实现数字化管理、监测及分析,通过三维实景建模构建一个真实、全面、直观的虚拟环境,提供高精度的三维位置信息,实现诸多要素立体化显示,为管理者提供决策支持的同时,便于用户实时了解城市建设情况。(2)在城市规划中,传统的手段是通过图纸来表达设计思想和意图,具有一定的限制性,将三维实景建模应用到城市规划中,可以为客户提供逼真的三维城市景观模型,用户可完以在真实的三维虚拟环境中完成建设用地适宜性评价、城市道路规划、城市景观辅助设计、方案评价与成果表现、规划管埋等工作,可以显著提高规划工作的效率,促进规划工作的科学性和透明性。三维实景建模改变了传统城市规划的表现形式,利用真实、立体的虚拟城市环境,可在一定程度上实现城市规划可视化。(3)在形变监测中,通过构建高精度的三维实景建模,融合AR技术实时直观形象地呈现变形体的真实三维景象及变形情况,在三维实景建模上实时动态地显示GNSS传感器的状态、监测对象的变形量并对变形情况进行分析预警等。还可以通过手机、计算机等实时查看、控制传感器,及时获取监测对象的各种数据,并对其进行分析、显示及存储等。(4)在应急救灾中,灾害的发生危及着全球人民的生命财产安全,在应对灾害过程中,关键问题是快速、及时地收集高质量的数据信息,同时灾害危险性评估及灾后跟踪分析也是重中之重。三维实景建模的数据获取手段有多种,可通过合适的技术手段灵活、快速地获取灾区现场的高质量数据信息。三维实景建模能直观地反映灾区的地形信息,便于进一步分析灾害发生的位置、类型及范围等。同时还可以对灾区进行灾后跟踪,实时获取灾区的实际情况,及时把握灾后重建工作的进程,制定合适的救助方案,避免二次灾害的发生。(5)在智慧旅游中,传统的旅游信息都需要游客在网上自行筛选搜集,经常会出现景点描述与实际不相符的情形,心理落差大,同时在景点的实时管理方面主管部门也稍有欠缺。综合多方面的需求,三维实景建模的出现极大地促进了智慧旅游的发展。三维实景建模可构建出逼真的三维可视化环境,能全方位、立体展示景区的整体布局,游客足不出户就可以享受在三维景点中漫游的乐趣,且能根据自己的需求规划旅游航线。旅游主管部门也可以有效利用获取的地理信息数据构建综合服务平台,实时洞察旅游景点的人流情况、车辆情况等,提高管理能力。可见,在智慧城市、城市规划、形变监测、应急救灾、智慧旅游等建立高精度、高可靠性及全方位的三维实景建模具有十分广阔的应用前景。大雁云实景三维重建服务是推出的一款旨在为用户提供高效、安全、稳定、流畅、可靠的实景云端重建模型平台,在海量机器秒级调度的基础之上,提供自助式实景三维重建云服务,操作便捷,只需一键上传即可将二维图片转化为三维数据模型。大雁云旨在为智慧城市、工程建设管控、国防军事、应急测绘等行业赋能,打造云服务生态闭环。,在顷刻之间,让形聚九野。
2021-03-29
  • 24小时全国服务热线:
    400-003-4560
  • 跳转联系我们,发送邮箱:
    liumingyan@rayvision.com