摘要 深度探测系统可以获得周边环境物体的深度信息,在自主导航,探测定位, 物体表面几何信息提取等领域得到了广泛运用。近数十年来,随着自主设备的应 用领域不断扩大,室外深度信息探测已成为了研究的热点,越来越受到重视。目 前主要的室外深度信息探测方法有计算机立体视觉技术,雷达探测技术,但计算 机立体视觉的实时性与测量精度难以兼顾,而雷达探测技术的成本过高,随着结 构光技术的不断进步,本文对结构光室外深度检测的可行性进行了研究。 结构光深度探测利用目标物体表面深度信息会对结构光投影图案产生影响 来获取目标物体深度信息通过分析众多结构光编码方式,综合考虑室外场景光线 影响,场景间断等因素,认为釆用M阵列编码能较好的适应室外环境,室外结 构光深度检测具备原理可行性,此外通过对目前设备参数分析认为方法同样具有 系统可行性。 本文设计实现了 一个简单的结构光深度探测系统,并设计了独特的200*200 大型二元M阵列作为系统结构光投影图案。该M阵列投影图案中任意10*10子 矩阵在母矩阵中唯一,有效地提高了系统的分辨精度。在解调算法的实现中,采 用了局部灰度最大法,子矩阵水平识别,二级查找表等方式来优化设计,提高系 统探测的正确率与实时性,并对实验结果进行了分析,证明了系统具有深度探测 的功能。 本文还实现了图像解调算法在FPGA硬件平台的运行,利用FPGA器件并 行运算特点对算法进行了优化,加快了系统运行速率,达到了实时性要求。 关键字:深度检测,室外环境,结构光,M阵列 II 浙江大学碩士学位报告 Abstract Abstract Depth detection system can get the depth information of environment objects, has been widely used in the field of mechanical navigation detection and object's surface geometry information extraction. In recent decades,with the depth information application fields expanded, depth information detection has been widely applied. At present the most effective methods for outdoor depth information are computer stereo vision technology and radar detection technology. But because of the matching problem, stereo vision can't meet the requirement of real-time processing and radar is too expensive. With the development of technology of structured light, this paper studied the feasibility of structured light outdoor depth detection. The object surface depth information has influence on the structured light projection and structured light depth detection used it to get the depth information. Consider the factor of the analysis of structured light coding mode and comprehensive of the outdoor scene, it is considered that the M matrix code can better adapt to the outdoor environment, outdoor structured light depth detection have principle feasibility, in addition to the current equipment parameter analysis method that it also has system feasibility. This paper also designed and implemented a simple depth detection system based on structured light and designed a unique 200 * 200 large binary M matrix as system structure light projection pattern. The M matrix projection pattern has property of every 10 * 10 submatrix unique, effectively improved the system's resolution. In the demodulation algorithm implement, we use the local gra\ level identification, secondary LUT. and other ways to optimize result, improve the system detection accuracy and speed .With the experimental results analyzed shows that the system has the function of depth detection. This paper also implemented the image demodulation algorithm in FPGA hardware platform, use the FPGA device's parallel operation characteristics to in 浙江大学硕士学位报告 Abstract optimize the algorithm, and the speed of the system, meet the real time requirement. Key words: Depth Detection, Outdoor. Structured Light, M-array IV 浙江大学碩士学位报告 表目录 表目录 表1.1常用立体匹配算法局部匹配算法 5 表2.1分时编码策略 15 表2.2空间领域编码策略 18 表2.3直接编码策略 22 表2.4环境光线背景级别 25 表5.1 XC5VLX155T的主要可用资源 54 v 浙江大学碩士学位报告 图目录 图目录 图1.1结构光立体视觉深度检测原理示意图 7 图2.1结构光深度探测技术的原理 12 图2.2分时二值码 17 图2.3灰度码结合相位移 18 图2.4非正式编码 20 图2.5 De Bruijn序歹1J编石马 21 图2.6 M阵列编码 22 图2.7基于灰度的直接编码 23 图2.8基于颜色的直接编码 24 图3.1激光光源 29 图3.2红外光源 30 图3.3数码摄像机 31 图3.4红外摄像机 32 图 3.5FPGA 33 图4.1结构光深度探测系统结构 36 图4.2 M序列生成流程图 41 图4.3调制用M阵列 42 图4.4标定用图 43 图4.5矩阵点识别模块流程图 44 图4.6投影矩阵点识别结果 45 图4.7子矩阵识别模块流程图 46 图4.8深度信息计算模块流程图 47 图4.9位置识别结果 48 图5.1乒乓结构 51 图5.2 box滤波 52 图5.3点识别模块流程 52 VI 浙江大学硕士学位报告 图目录 5.4优化后的点识别模块流程 53 VII 浙江大学硕士学位报告 绪论 目录 制 I 髮 II Abstract Ill V S _ vi l. l 1.1项目的研究意义 1 1.2深度信息检测技术国内外研究动态及现状分析 3 1.2.1基于计算机立体视觉的三维检测方法 4 1.2.2基于连续波雷达的距离测量方法 6 1.2.3结构光深度检测技术 7 1.2.4三种检测方法总结 9 1.3本文主要研究内容 9 2.基于结构光室外深度探测的原理可行性研究 12 2.1结构光深度探测原理 12 2.2结构光的编码策略 13 2.2.1分时编码策略和编码模式 15 2.2.2空间邻域编码策略和编码模式 18 2.2.3直接编码策略和编码模式 22 2.3室外环境结抅光探测编码策略的选择 24 2.3.1室外环境特点分析 24 2.3.2结论与投影策略选择 26 2.4本章小结 27 3.基于结构光室外深度探测的系统可行性研究 28 3.1投影光源 28 3.1.1图像对比度 28 3.1.2投影光源选择 29 3.2摄像机 30 3.3处理设备 32 VIII 浙江大学硕士学位报告 绪论 3.3.1计算机/单片机 32 3.3.2 FPGA 32 3.4本章小结 34 4.基于结构光的深度探测系统 36 4.1M 阵列 36 4.1.1 quasi-M阵列生成法 37 4.1.2结构光深度探测系统的M阵列设计 40 4.2结构光深度探测系统的标定 42 4.3图像解调与识别 44 4.3.1矩阵点识别模块 44 4.3.2子矩阵识别模块 46 4.3.3深度信息计算 47 4.4实验结果分析 48 4.5本章小结 49 5.图像处理算法的硬件实现 50 5.1数据读取模块 50 5.2点识别模块 51 5.3子矩阵识别与位置差值输出 53 5.4硬件系统实现 54 5.5本章小结 55 6. 总结与展望 56 58 作者简历及在攻读硕士学位期间的科研成果 62 IX 浙江大学硕士学位报告 绪论 1.绪论 1.1项目的研究意义 随着计算机智能化水平的提高,各种人工智能已逐渐步入人们的日常生活, 对社会生产人类生活提供了巨大帮助,目前传感器的定位精度与机器设备的执行 能力已经远超人类自身的能力限制,计算机处理能力的大幅提井给予了机器依据 当前环境数据状况做出合适决策的能力,这些都使人工智能技术的提升具有了合 适的条件,然而目前的自主设备的效能与人们的预期仍有较大差距,主要问题是 在于机器对环境的感知无法为计算机系统所理解,即智能系统无法与外界环境进 行有效交流,传感器对外界信息的主动摄取并未被系统有效理解,导致系统在外 界环境信息缺失的情况下无法釆取有效的针对性强的策略对机器动作进行指导 与规划。 就目前的自主导航来说,周围环境的三维参数是最为重要的参数之一,首先 因为周围环境的三维空间参数的获取可直接对机器的运动轨迹进行有效规划,为 计算机系统进行路径规划,行进避障等运动决策提供基础数据;其次环境特征的 三维参数获取使系统可以对机器自身的姿态进行估计,从而进一步制定更为合适 的运动规划,且由于自主导航大多运用于危险环境或人类无法到达的场所,面对 的环境因素比较复杂,因此如何高速准确地获得室外环境的深度信息成为了阻碍 自主导航发展的难题之一。 目前对于环境深度信息的获取主要依赖于三种技术,分别是双目立体视觉技 术,雷达探测技术以及基于结构光的深度探测技术,这些技术各有其优势与劣势, 在某些适用环境下能取得良好的效果,以下对这三种技术进行分析。 双目立体视觉算法理论最为成熟,实现起来较为方便,但是由于没有标记, 像素匹配算法会造成大量运算资源开销和时间消耗,很难达到实时性要求。有些 研究者为达到实时性要求,采用FPGA等逻辑运算器件对立体视觉算法进行优化, 但由于FPGA的并行运算结构仅仅适用于区域匹配算法,实时性提升的同时会带 来识别准确度的下降,由于在自主导航中深度信息的探测会直接决定机器的运动 策略,准确度的下降可能导致错误的路线规划引发不可预期的后果,因此双目立 体视觉技术在室外深度检测领域的应用中受到的局限性较大。 1 浙江大学硕士学位报告 绪论 雷达探测技术是目前较为普遍的室外深度探测技术,尤其是激光雷达准确率 高,实时性好,可以氣好的适应各种室外环境,但是激光雷达的成本太过昂贵, 会大大提高自主导航生产使用成本,且目前导航用激光雷达还无法进行国产,不 利于我国的自行研究。相比于激光雷达连续波雷达也具有结构简单,使用气候范 围广等优点,且价格低廉,适合应用于与图像联合进行三维重建,但是连续波雷 达只能识别单一目标,在面对多目标复杂环境会出现误识别率较高的情况,因此 只能适用于环境情况较为单一简单的室外环境,同时无法对环境进行三维重建, 在自主导航领域的应用受到了很大限制。 基于结构光的三维检测方法是双目立体视觉的一个分支,具有理论基础强, 测量范围广,准确度高,分辨率高,成本低的特点,同时避免了双目立体视觉像 素匹配的难题,实时性远远优于双目立体视觉技术。基于结构光的深度检测中需 要将经过编码的图案投影到物体表面,深度检测结果会受到环境光线的较大影响, 因此目前结构光技术大多用于室内环境。然而结构光深度检测技术实时性好,准 确率高,结构简单,成本低的特点非常适合自主导航对周围环境三维信息获取的 要求,因此本文将探讨运用结构光编码策略,投影光源设备等改进方法,将结构 光深度检测技术应用于室外环境检测的可行性,并进行详细分析。 室外三维深度检测技术有着广泛的应用场景,可应用于曰常生活,生产的多 个方面: 1)自主避障: 自主避障主要是通过雷达、声纳等硬件手段对前方的障碍物进行物体测距, 障碍物位置估计。由于自主设备往往处于运动状态中,一旦探测失败可能会对自 主设备造成物理损伤,因此应用于这种领域的三维探测技术必须满足实时性和准 确率要求等,采用雷达等硬件手段可以较好地满足这两点需求。 2)姿态估计: 姿态估计主要用于自主机器人与星球车领域,在无明显标志物,全局地图以 及定位能力的情况下通过对机器体自身的姿态估计来确定机器的运动步骤非常 重要。由于无明显标志物,雷达与结构光技术使用受到了限制,而计算机立体视 觉技术可以通过匹配图像地面纹理获得深度信息,且由于自主机器人或星球车运 动速率不大,因此实时性要求不强,计算机立体视觉在此领域受到广泛应用。 2 浙江大学硕士学位报告 绪论 3)自动分捡与手势识别: 随着三维检测技术的不断进步,人们对三维数据库的要求也不断细节化,自 动分捡与手势识别要求检测方法识别出目标物体的几何外形、位置和姿态等信息, 双目立体视觉由于分辨率限制一直无法在物体表面细节三维参数的获取上取得 突破,结构光技术的产生与进步为目标的自动分检与手势识别提供基础。结构光 技术高分辨率低处理时耗的特点可以实时地获得物体几何外形的三维信息及姿 态。 4)三维场景的重建: 自主导航若需要对周围环境进行全局的了解往往需要进行三维场景的重建 工作,这不仅需要摄像机获取周围场景的图片信息更需要图片中相应物体的深度 及高度信息。计算机立体视觉可以在一定程度上完成三维场景的重建工作,然而 由于计算机立体视觉的图片匹配过程中并没有标记物,往往会有物体被漏识别造 成三维场景信息的缺失,若在此基础上进行运动策略的决定会给自主设备的运行 带来危险,结合雷达探测技术来对场景中的障碍物进行识别与距离信息的补充可 以较好地弥补这一缺点,同时由于计算机视觉与雷达探测技术在场景距离过近时 都会有盲区存在,而结构光技术在近距离下表现良好,可以对近距离的场景信息 进行补充。因此三维场景重建往往釆用多种不同的三维探测技术联合探测的方法, 也可以看出不同技术三维探测技术在不同场景下的表现各不相同。 5)测绘: 结构光技术可快速获得物体的表面三维信息,且精度较高,主要用于实时测 绘设备,三维打印等领域,雷达声纳等硬件技术可用于河道测绘山体渠道等物理 参数测量等领域。 室外三维深度信息检测方法,是目前自主导航获取外界三维信息的主要途径, 在机器运动避障、路径规划、姿态估计,手势识别,以及物体三维描述等领域被 广泛应用,是机器获取外界环境信息,提高自主决策正确里的主要途径,有着广 阔的应用前景和发展空间。 1.2深度信息检测技术国内外研究动态及现状分析 非接触深度检测技术作为自主导航设备感知外部环境的主要手段,一直以来 3 浙江大学硕士学位报告 绪论 都是研究的热点,其研究方法主要包括基于连续波雷达、计算机立体视觉以及结 构光技术等三类方法。本节对各类方法进行分析,并对各类检测技术的优点和所 存在的问题予以总结。 1.2.1基于计算机立体视觉的三维检测方法 上个世纪60年代中期,计算机立体视觉技术随着美国麻省理工学院的Robert 开始研究三维积木世界,把基于二维图像分析发展到三维景物的分析而诞生。70 年代中期麻省理工学院开设“计算机视觉”课程,至70年代末,Marr等创立了全 新的计算机视觉理论。Marr从信息处理系统的角度出发,认为对该系统的研究 应分为三个层次,即计算理论层次、表达与算法层次、硬件实现层次,对立体视 觉的发展产生了巨大影响,为立体视觉理论体系奠定了基础。随后的数十年间立 体视觉作为一门新兴学科飞速发展,并建立了从图像获取到三维场景重建的完整 体系。随着自主导航系统需求的曰益增大,近十年来计算机立体视觉已成为了研 究的热点,并取得了一些重要成果。 1981年Barnard和Fischler[2]整理了当时立体视觉研究领域的主要研究成果, 包括三维场景重建的原理支持,著名方法的分析,他们还提出了立体视觉效果的 评价标准体系。80年代Dhond与Aggarwal[4]对计算机视觉的发展做出了重大贡 献,他们提出了利用三目约束来减少不确定性,分级运算策略以及一些新的匹配 方法,都使当时计算机视觉效果有了很大提高。90年代中立体视觉技术的很多 方面已经趋于成熟,人们开始把研究热点转向一些特殊问题,例如图像的遮挡与 透视,主动视觉等方面,这些研究直接导致了如结构光技术等立体视觉衍生学科 的诞生与发展。随着立体视觉研究的不断进行,通过对特征匹配算法,立体运动 估计,硬件算法实现等领域的研究,立体视觉的准确度与实时性也不断提升,很 多方面均涌现了创新。 立体视觉理论基础强准确率高,是一种可靠的检测方法,然而立体视觉深度 获取的基础是两幅图像对应点之间的视差获取,因此建立左右视图对应点的匹配 关系成为了立体视觉技术的关键问题,直接影响到立体视觉系统的检测结果和检 测速率。匹配算法就是为了将图像对中同一空间点在两幅图像中的成像点建立对 应关系,也就是通过图像中像素点的信息来寻找对应图像中拥有类似信息的点。 4 浙江大学硕士学位报告 绪论 在实际系统中往往需要运用如极限约束、唯一性约束、视差连续性约束、顺序一 致性约束等自然约束条件来求得两幅图像中的匹配点。目前主要的匹配算法 分为全局匹配算法和局部匹配算法两种,全局匹配算法对扫描线与全图进行约束, 而局部匹配算法则只对像素点为中心的一小块邻域进行约束。 表1.1常用立体匹配算法局部匹配算法 a局部匹配算法 局部匹配