目录
前言
几个高频面试题目
自动驾驶中的传感器:LiDAR和Radar的区别
LiDAR
Radar
性能对比
激光雷达中是如何做到和GPS时间同步的?
一、三种方案PPS+GPRMC、PTP、gPTP
二、同步过程
算法原理
发展历程
国内外厂商
算法思想
测距
三角测距
探测
点云
激光雷达测距方法
光学相控阵LiDAR
调频连续波LiDAR
纳米天线阵列LiDAR
泛光(Flash)面阵式LiDAR
激光雷达(Lidar)工作原理,及雷达(Radar)、点云数据相关技术
点云
遥感影像+激光雷达
测绘地图与“数字孪生”城市
应用案例
KITT激光雷达点云数据处理
数据描述
数据可视化
优缺点
应用场景
激光雷达数据处理关键技术与发展趋势
前言
激光雷达,英文全称为Light Detection And Ranging,简称LiDAR,即光探测与测量,是一种集激光、全球定位系统(GPS)和IMU(InertialMeasurement Unit,惯性测量设备)三种技术于一身的系统,用于获得数据并生成精确的DEM(数字高程模型)。这三种技术的结合,可以高度准确地定位激光束打在物体上的光斑,测距精度可达厘米级,激光雷达最大的优势就是“精准”和“快速、高效作业”。它是一种用于精确获得3D位置信息的传感器,其在机器中的作用相当于人类的眼睛,能够确定物体的位置、大小、外部形貌甚至材质。
无人驾驶是当前激光雷达最热门的应用之一,将LiDAR应用于自动驾驶,要追溯到美国的DARPA (美国国防高等研究计划署),它举办了多次无人驾驶汽车挑战赛,在的DARPA挑战赛上,7支参赛队伍中的6支都采用了Velodyne公司设计的LiDAR,最终的第一二名就出自这六只参赛队。这引起了准备研发无人驾驶车的谷歌的注意,之后谷歌组建了队伍,最初的人员就来自这些参赛队员。谷歌于推出无人驾驶汽车项目,在其无人车原型中使用的就是Velodyne公司的LiDAR。
近几年,无人驾驶汽车市场发展火热,谷歌之后,百度、Uber等主流无人驾驶汽车研发团队都在使用激光雷达作为传感器之一,与图像识别等技术搭配使用,使汽车实现对路况的判断。传统的汽车厂商也纷纷开始研发无人驾驶汽车,包括大众、日产、丰田等公司都在研发和测试无人驾驶汽车技术,他们也都采用了激光雷达。
LiDAR系统测量3D空间中每个像素到发射器间的距离和方向,通过传感器创造出真实世界完整的3D模型。操作LiDAR系统的基本方法是发射一束激光,然后测量光在物体表面反射而返回来的信号。LiDAR模块接收到反射回来的信号所需的时间提供了一种直接测量LiDAR系统与物体之间的距离的手段。关于物体的额外的信息,比如它的速率或材料成分,也可以通过测量反射回来的信号中的某些特性而得以确定,这些特性包括诱导多普勒频移(induced Doppler shift)。最后,通过操控发射出去的光,可以测量出环境中许多不同的点,从而创建出完整的3D模型。
激光雷达的类型很多,如下所示。车载激光雷达常用的是多线机械旋转的激光雷达。
单线雷达就是只有一个激光发射器和接收器,经过电机的旋转,投射到前面障碍物是一条线,这样的好处是数据量处理起来比较少,效率高,稳定性好,技术成熟,但是只能检测同一个高度的障碍物,不能测量整体轮廓,多应用于扫地机器人、酒店服务机器人
多线雷达目前市场有4
线、8
线、16
线、32
线、64
线、128
线,就是在垂直方向上具有多个发射器和接收器,通过电机的旋转,获得多条线束,线数越多,物体表面轮廓越完善,当然处理的数据量越大,对硬件要求越高;多线雷达主要应用在无人驾驶上,可以计算物体的高度信息,并对周围坏境进行3D
建模。每相连激光发射器之间形成的角度就是其角分辨率,一般各角度是相同的,但也有不等的,比如禾赛的40
线激光雷达,角分辨率0.33°
(-6°
到+2°
),角分辨率1°
(-16°
到-2°
,+2°
到+7°
);这样做的目的是可以充分捕捉远处物体的特征,不至于因视场角过大,激光器的射线在远距离时超出障碍物外而失效。
几个高频面试题目
自动驾驶中的传感器:LiDAR和Radar的区别
LiDAR
LiDAR全称Light Detection and Ranging,是一种用于检测物体表面、尺寸及准确位置朝向的技术。LiDAR在市场上的出现时间要晚于Radar和SONAR(声呐),它用激光脉冲扫描环境,而非无线电波或声波。美国军方和NASA早在40多年前就发明了该技术并用于太空测距,而它直到1995年才首次用于商业用途。
LiDAR的工作流程如下:
发射激光信号激光信号到达障碍物信号从障碍物反射信号返回到接收器记录一个激光脉冲
激光雷达设备先朝各个方向发射激光脉冲,这些脉冲在抵达物体表面之后反射回来,并被接收器接收。这一原理与声呐类似,不同之处在于,声呐发射的是声波,其波速远低于光速。基于这一原理,我们只需记录激光的首发时间,通过简单的公式就能进行测距。
Radar
Radar全称是Radio Detection and Ranging,常用于检测远距离的物体并估计其速度和朝向。顾名思义,Radar的工作原理与LiDAR几乎一致,区别在于它使用无线电波而不是激光或光。相比光波,无线电波具备更长的波长,因此它能覆盖更远的距离,也具备更强的穿透性。
Radar的工作原理如下图所示:
与LiDAR类似,Radar系统主要由发射机和接收机两部分组成。Radar系统使用天线来传输无线电信号。由于Radar系统的用途不同,传输信号的频率也有不同。Radar的频率决定了系统的限制和功能(比如范围、波长、天线尺寸),常见的雷达频率如下图所示。
性能对比
精确度由于LiDAR使用的是在纳米范围内工作的光信号,LiDAR系统比Radar系统更为精准(如下图所示)。较小的波长也意味着LiDAR系统可以检测更小的物体,并建立目标的三维图像。
2.鲁棒性
尽管Radar的准确性有很多不足之处,但它比LiDAR要可靠得多。LiDAR由于波长较短,很容易收到空气介质中的各种杂质干扰。大气中的水分会影响LiDAR系统的性能,而且在恶劣天气下(比如雨雪雾天),LiDAR系统表现并不理想。较短的波长也容易发生信号衰减,在晴朗天气中,LiDAR的探测范围就小于Radar系统;而在恶劣天气中,LiDAR的感知范围会远小于Radar。下面四张图分别展示了自动驾驶场景的Radiate数据集在晴天、雨天、雪天、雾天四种场景下,Radar和LiDAR成像的结果。可以看到,在晴天的条件下,Radar的探测范围要略大于于LiDAR;而在其他几种恶劣天气条件下,尤其是雾天,Radar的探测范围要远大于LiDAR的范围。
Radar尽管对于不同天气都有着较好的鲁棒性,但是它易受各种杂波的影响,因此在使用数据前还需要进行预处理;相比之下,激光雷达则要好一些,而这一现象在上面图中也能看出:激光雷达成像时,对环境的建模更为简洁清晰,而Radar成出的像则包含多种杂波和噪声背景。
3.成本
过去LiDAR传感器由于成本高昂,很难成为绝大部分车厂的首选传感器。由于毫米波雷达传感器的售价(50美元区间)要远低于LiDAR,从成本角度出发,装配Radar一直是更经济的选择。
可就在,激光雷达公司Velodyne发布了一款名为Velabit的激光雷达产品,并且公布量产售价仅为100美元。车用激光雷达的价格在十年间就从10万美元的的区间下降到了100美元的区间。诚然,售价100美元的Velabit的性能无法与Velodyne此前发售的64线、价值数万美元的产品媲美,但Velodyne和其竞争对手则已将激光雷达大幅降低至数千美元区间,而且按照目前的趋势来看,随着博世、华为、大疆等巨头在激光雷达市场逐鹿中原,未来的LiDAR价格战将非常惨烈,LiDAR价格也将持续走低。
LiDAR与Radar可以说是各有优劣,这里具体罗列一下两者的优缺点:
激光雷达中是如何做到和GPS时间同步的?
一、三种方案PPS+GPRMC、PTP、gPTP
(1)PPS+GPRMC
GNSS输出两条信息,一条是时间周期为1s的同步脉冲信号PPS,脉冲宽度5ms~100ms;一条是通过标准串口输出GPRMC标准的时间同步报文。同步脉冲前沿时刻与GPRMC报文的发送在同一时刻,误差为ns级别,误差可以忽略。GPRMC是一条包含UTC时间(精确到秒),经纬度定位数据的标准格式报文。
PPS秒脉冲为物理电平输出,接收及处理PPS信号的时间在ns级别,依旧可以忽略。但GPRMC数据一般通过波特率9600的串口发送,发送、接收、处理时间tx在ms级别,是时间同步的关键。以下是使用PPS+GPRMC进行时间同步的原理。
(1)设备收到PPS秒脉冲信号后,将内部以晶振为时钟源的系统时间里的毫秒及以下时间清零,并由此开始计算毫秒时间。
(2)当收到GPRMC数据后,提取报文里的时、分、秒、年、月、日UTC时间。
(3)将收到秒脉冲到解析出GPRMC中UTC时间所用的时间tx,与UTC整秒时间相加,同步给系统时间,至此已完成一次时间同步。下一秒再进行相同的过程,每秒准确校准一次。
激光雷达需要进行时间同步,就做两根线接上这两个物理接口就妥了,这种方式是可以的,也是很多厂商在用的方案,但是PPS+GPRMC存在如下问题。
(1)PPS是一个低功率的脉冲电平信号,驱动电流少的只有0.5mA,多的也就20mA,带几个同步节点(激光雷达和其他需要时间同步的节点),十几个就很困难了。
(2)PPS是无屏蔽的单线脉冲信号,十几根PPS线穿梭在车内,极易受到车内恶劣电磁环境的干扰,届时根本无法区分出是干扰脉冲还是同步脉冲。
(3)GPRMC通过RS232串口发送同步报文,RS232是一种1对1的全双工通信形式,也可以通过主从形式实现1对几数据传输。但对十几,实属罕见,只能通过试验验证到底可不可行。但至少线束工程师是打死不愿答应的。
(4)当时钟源丢失的时候,所有需要时间同步的设备都一下子没有了主心骨,每个小弟都可以自立门户,没有二当家的及时站出来,主持大局。这对功能安全要求极高的自动驾驶系统来说,根本无法接受。
(2)PTP
因此基于单纯的PPS和GPRMC实现整个自动驾驶系统的时间同步,具有理论可行性,但并不具有实际可操作性。而基于网络的高精度时间同步协议PTP(Precision Time Protocol,1588 V2),同步精度可以达到亚微秒级。这对于主干网络为以太网的全域架构来说,简直是万事具备,只欠各域控制器的硬件PHY芯片支持了。PTP是一种主从式的时间同步系统,采用硬件时间戳,因此可以大幅减少软件处理时间。同时PTP可运行在L2层(MAC层)和L4层(UDP层),运行在L2层网络时,直接在MAC层进行报文解析,不用经过四层UDP协议栈,从而大幅减少协议栈驻留时间,进一步提高时间同步精度,对于自动驾驶系统来说非常友善。全域架构下的一种架构方案如下图。
设备中运行PTP协议的网络端口称为PTP端口,PTP主端口用来发布时间,PTP从端口用来接收时间。同时定义了三种时钟节点,边界时钟节点(BC,Boundary Clock)、普通时钟节点(OC,Ordinary Clock)和透明时钟节点(TC,Transparent clock)。
(1)边界时钟节点拥有多个PTP端口,其中一个用来同步上游设备时间,其余端口用来向下游设备发送时间。当边界时钟节点的上游时间同步设备是GNSS接收机时,此时的边界时钟节点就是一个主时钟节点(最优时钟)。
(2)普通时钟节点只有一个PTP端口,用来同步上游时钟节点的时间。
(3)透明时钟,人如其名,具有多个PTP端口,收到什么时间,转发什么时间,不进行协议解析,内部不参与时间同步。PTP通过在主从设备之间交互同步报文,并记录下报文发送时间,从而计算网络传输延迟和主从设备间时钟的偏差。
PTP定义了四条同步报文:Sync、Follow_Up、Delay_Req、Delay_Resp,精确同步过程如下。
(1)PTP主端口向从端口发送Sync报文,同步记录下Sync发送的时间t1。从端口收到Sync报文后,记录下收到的时间t2。
(2)紧接着主端口将t1时间放到Follow_Up报文发送给从端口,从端口收到此报文后就可以解析出t1,并由此得到第一个方程式:t1+网络延时+时钟偏差=t2。
(3)从端口向主端口发送Delay_Req报文,同步记录下Delay_Req发送的时间t3。主端口收到报文后,记录下收到的时间t4。
(4)紧接着主端口将t4时间放到Delay_Resp报文发送给从端口,从端口收到此报文后就可以解析出t4,并由此得到第一个方程式:t3+网络延时-时钟偏差=t4。两个未知数,两个方程组,应用初中数学知识可以解出:网络延时=[(t2-t1)+(t4-t1)]/2,时钟偏差=[(t2-t1)-(t4-t3)]/2。
(3)gPTP
gPTP(generalized Precision Time Protocol,广义精确时间同步协议),基于PTP(IEEE 1588v2)协议进行了一系列优化,形成了更具有针对性的时间同步机制,可以实现μs级的同步精度。gPTP定义有两种设备类型,Time-aware-end Station和Time-aware Bridge。每种设备都具有本地时钟,本地时钟都是通过晶振的振荡周期进行度量的,设备内部硬件计数器负责对振荡周期进行计数。设备中用来发布时间同步报文的网络端口称为主端口,用来接收时间同步报文的端口称为从端口。
(1)Time-aware-end Station,既可以作为主时钟,也可以作为从时钟。
(2)Time-aware Bridge,既可以作为主时钟,也可以作为桥接设备,类似交换机。桥接类设备在收到gPTP报文后,会请报文搓个澡,然后再送出去。而报文在桥接设备内搓澡消耗的时间,称为驻留时间。gPTP要求桥接设备必须具有测量驻留时间的能力。
下图展示了一个简单的gPTP系统,包含一个时钟源、1个主时钟,2个桥接设备,4个从时钟。主时钟是系统内的时间基准,一般具有更高精度的本地时钟,同时需要能够被高精度准时钟源(如卫星系统、原子钟等)授时。主时钟在系统内可以动态分配,也可以预先分配(对于车载固定拓扑应用场景,多采用预先分配的原则)。
gPTP中规定的主时钟动态分配机制为BMCA(Best Master Clock Algorithm,最佳主时钟选择算法)。系统上电唤醒之后,系统所有设备都可以通过发送一条报文来参与主时钟竞选,报文中含有各自设备的时钟信息。每一个参选设备都会比较自己的时钟信息和其它设备的时钟信息,并判断是否具有优势,如果不具有,则退出竞选,直到综合能力最强的武林盟主诞生。
二、同步过程
gPTP定义有两类报文,事件类型报文(包括Sync、Pdelay_Req、Pdelay_Resp三条)和一般类型报文(包括Follow_UP、Pdelay_Resp_Follow_UP二条)。gPTP定义设备工作在网络七层模型中的第二层数据链路层的MAC(Media Acess Control,媒介访问控制)子层。当设备MAC层接收或发送事件类型报文时,会触发对硬件计数器进行采样,从而获得时钟振荡周期计数值,结合时钟振荡频率及基准时间,可获得此时的时间戳。而一般类型报文仅用来携带信息,不会触发内部硬件计数器的采样操作。(1)时钟偏差测量gPTP定义的五条报文中,Sync和Follow_UP为一组报文,周期发送,主要用来测量时钟偏差。Sync由主端口发送,在报文离开主端口MAC层时,触发主端口记录此时的时间戳t1。从端口MAC层收到Sync报文后会记录此时的时间戳t2。随后,主端口将t1值附到Follow_UP报文里发送给从端口。
如果没有网络传输延迟或延迟、可以忽略,则从端口将本地时钟值加上时钟偏差(t1-t2的值)就完成时间同步,也就没有后面的碎碎念了。但是对于μs级时间同步精度的gPTP来说,传输延迟显然无法视若不见。
(2)传输延迟测量
gPTP采用P2P(Peer to Peer)的方法来测量传输延迟。在P2P方法中,测量的是相邻设备间的传输延迟,报文不允许跨设备传输,这也就要求gPTP网络内的所有设备都需要支持gPTP功能。同时定义一组独立的报文专门负责传输延迟测量,分别为周期发送的Pdelay_Req、Pdelay_Resp和Pdelay_Resp_Follow_UP。
从端口首先发送Pdelay_Req报文,标志传输延迟测量的开始,在报文离开从端口MAC层时,触发从端口记录此时的时间戳t3。主端口MAC层收到Pdelay_Req报文后会记录此时的时间戳t4,随后,主端口通过Pdelay_Resp报文将值t4发送给从端口,同时在Pdelay_Resp报文离开主端口的MAC层时,触发主端口记录此时的时间戳t5,从端口MAC层收到Pdelay_Resp报文后记录此时的时间戳t6。随后,相同的套路,主端口通过Pdelay_Resp_Follow_Up报文将值t5发送给从端口。至此,一次传输延迟测量过程已经结束。在假设路径传输延迟是对称的前提下,可由如下公式计算相邻设备间的传输延迟。
(3)频率同步
上文的传输延迟测量是基于从端口与主端口的时钟振荡频率一致的前提下得到的。现在我们考虑一下如果主从端口时钟振荡频率不一致的时候,会导致什么灵异事件发生。假设从端口的时钟振荡频率是25MHz,则一个时钟振荡周期是40ns。主端口的时钟振荡频率是100MHz,则一个时钟时钟振荡周期是10ns。
假设在一次传输延迟测量过程中,从端口在t6和t3时刻记录的振荡周期差值若为200个振荡周期。由于主端口的时钟频率是从端口的4倍,因此从端口收到t5和t4时刻的振荡周期差值大概800个。以从端口的40ns一个时钟振荡周期为基准进行计算的话,传输延迟则为-24μs([200x40-800x40]/2)。传输不仅没有延迟,反而提前知道了,从端口大仙无疑了。
除了主从端口时钟振荡频率的先天不一致,温度、老化等原因也会导致晶振振荡频率的不稳定。为了解决频率不同步的问题,gPTP通过频率同步来实现从端口对主端口的时钟振荡频率同步。
频率同步复用传输延迟测量过程的Pdelay_Resp和Pdelay_Resp_Follow_UP报文。通过采用两组答复,最终可以获得t5,t6,t9,t10的值,由下面公式可得主从端口的频率比。
主从端口频率同步的情况下,频率比等于1。如果大于1,说明主端口走得快,如果小于1,说明主端口走的慢。从端口根据频率比的值,调整自己的时基,从而获得正确的时间戳。
算法原理
目前大家经常谈论的激光雷达(Lidar),其实是“光学雷达”,从其英文“LightDetectionandRanging”缩写而来,是一种光学遥感技术,通过向目标照射一束光,通常是一束脉冲激光,来测量目标的距离等参数。
Radar的全称是RadioDetectionandRanging,无线电的探测和测量。其实这两者工作原理相似,区别在于发射信号不同,Lidar采用的是脉冲激光,而Radar采用的是无线电波,这在自动驾驶行业讨论很多。
现有技术中,配备在自动驾驶车上的主流传感器是视频摄像头、毫米波雷达和激光雷达(Lidar),以进行事件感知与物体检测。总的来说,Lidar比Radar更有优势,但也各有适用场景。Lidar具有优异的方位分辨率,能够精确地检测到与周围障碍物的距离和位置关系,并能实时检测到具有低无线电波反射率的物体 (标志,树木等);Radar的无线电波比Lidar的激光波长,其返回的物体图像不如Lidar精确,但它覆盖远距离、具有强穿透性,可在雨,雪,尘土等恶劣环境中返回信息,在夜间和阴天比Lidar更准确。
发展历程
激光雷达起源于1960年代初,在激光技术发明后不久,人们发现,激光器发射出的脉冲激光,打到物体上引起散射,一部分光波会反射到激光雷达的接收器上,根据激光测距原理计算,就得到从激光雷达到目标点的距离,进而获取物体空间信息。
它的早期应用来自气象学,美国国家大气研究中心(NCAR)用它来测量云;1968年,美国 Syracuse 大学的 Hickman 和 Hogg 建造了世界上第一个激光海水深度测量系统;1971年阿波罗15号任务期间,当太空人使用激光高度计绘制月球表面时,人们意识到激光雷达的准确性和实用性,从此便一发不可收拾。
为了适应不同场景的应用需求,人们研发了搭载于不同平台的激光雷达, 依据平台类型,可分为星载激光雷达(Spaceborne Lidar)、机载激光雷达(Airborne Laser Scanner, ALS)、无人机激光雷达(Drone Laser Scanner, DLS)、车载激光雷达(Vehicle-mounted Laser Scanner, VLS)和地基激光雷达 (Terrestrial Laser Scanner, TLS);
在消费电子、无人驾驶、机器人、车联网等移动领域,激光雷达通常以硬件技术与实现原理分类,可分为机械式激光雷达、纯固态式激光雷达、半固态激光雷达。其中,半固态雷达以转镜式、旋镜式、振镜式三类为代表;固态激光雷达主要有MEMS、光学相控阵OPA、Flash三大技术方向。今天,Lidar已经成为一种集激光、全球定位系统(GNSS)和惯性导航系统(INS)三种技术于一身的系统,通过这三种技术的结合,不仅可以主动、实时感知环境,物体动态空间位置关系;也可在一致绝对测量点位的情况下,生成精确的三维空间模型,应用于地表遥感,例如地面高程和地貌、林业调查等数据获取,以及自动驾驶和高精度地图制作。
国内外厂商
1. Quanergy(美国)
在全固态LiDAR领域最吸睛的公司则是Quanergy。Quanergy成立于,总部位于硅谷中心的加州桑尼维尔,其领先的固态LiDAR传感器和软件可实时捕获和处理高清3D地图数据和进行对象侦测、跟踪和分类,应用领域包括运输、安防、地图和工业自动化等。Quanergy的LiDAR传感器在六大关键商业化指标(成本、性能、可靠性、尺寸、重量和功率效率)上均处于领先地位,同时满足利用固态技术进行大规模部署所要求的耐久性和可靠性。
Quanergy采用光学相控阵技术,于推出的S3是全球首款、也是唯一一款汽车级固态LiDAR系统,在成本、性能和可靠性方面均处于行业领先地位。
2. LeddarTech(加拿大)
LeddarTech成立于,总部位于加拿大,专注于为自动驾驶汽车和驾驶辅助系统开发自己的LiDAR技术。其将在CES (1月9~12日在美国拉斯维加斯举办的国际消费电子展)重磅展出LeddarCore LCA2芯片——业界首款能够实现车用LiDAR大规模量产的3D固态LiDAR芯片,包括LCA2 芯片工程样品,以及基于LCA2的3D泛光(Flash)LiDAR模组。同时展出的还包括目前仍处于开发阶段的LiDAR系统分立方案LeddarCore LCA3,首款样品计划将于推出。
3. Oryx Vision(以色列)
以色列初创公司Oryx Vision创立于,目前,已经通过一轮融资募集了1700万美元,以为自动驾驶汽车开发固态深度视觉解决方案。该公司近期发布了一款新型LiDAR传感器,利用了长波红外激光器来追踪路面上的物体。Oryx的相干光LiDAR系统使用一种被称为“纳米天线”的技术,不像激光雷达那样通过光电传感器来侦测光线粒子,而是根据光的“波粒二象性”以波的形式使用纳米天线来感知反射回来的信号(光)。这款新型LiDAR传感器纳米天线可以接收波长为10微米的电磁波,这种波长能有效穿透烟雾,而且不会像激光雷达那样受强光影响。
4. XenomatiX(比利时)
XenomatiX成立于,总部位于比利时鲁汶。其LiDAR没有任何运动部件,尺寸小、功耗低,基于成熟的半导体元器件,创新的投影模式保证了出色的耐久性。通过数千束激光的同时照明,分辨率达到每秒百万次的测量,从而能识别汽车周围的任一细节事物。使用平行的低功率激光束,利用电荷积分飞行时间(ToF)法来测量距离,工作范围达200米。
5. Continental(德国)
德国大陆集团(Continental)创始于1871年,是具有百年历史的跨国性企业集团,世界领先的汽车配套产品供应商之一。大陆集团依靠强大的研发团队,设计生产的短距激光雷达SRL1成为一款可靠且高效的固态LiDAR,无需任何机械运动部件即可实现正面碰撞检测等应用。SRL1提供基于红外激光技术的紧急制动辅助功能,且已经在微型车上使用。Continental于去年买下美国的3D泛光(Flash)激光雷达公司Advanced Scientific Concepts,在今年的法兰克福车展上,大陆这一采用Flash技术方案的固态激光雷达也出现在展示区,设计探测距离达到200米。
6. TetraVue(美国)
TetraVue成立于,总部位于美国加州。其独创的“光切片(Light Slicer)”专利技术,集成了固态激光雷达发射单元,深度感知摄像头,以及标准的CMOS和CCD像素技术等一系列传感器和算法,能够通过时间维度和距离维度的量测,利用标准的CMOS传感器测算光学强度信息。
7. Blackmore(美国)
Blackmore总部位于美国蒙大拿洲博兹曼,是研发紧凑型调频连续波(FMCW)LiDAR的领导者,并提供配套的分析工具软件。产品可应用在关键任务、汽车、军事和工业环境,这些应用场景中,传统的光电/红外传感器和直接探测3D成像则受到成本和性能规格限制。
8. Strobe / GE(美国)
Strobe是从OEwaves独立出来的一家专注于自动驾驶汽车LiDAR开发的创业公司。OEwaves由Strobe公司主要创始人之一创办于2000年8月,核心技术包括光电振荡器(OEO)和“回音壁模式(whispering gallery mode)”光学谐振腔。Strobe于10月被通用(GE)收购。收购时Strobe仅有12名员工,该公司专注于为自动驾驶汽车开发100美元以下的全固态LiDAR。Strobe模仿线性调频雷达开发了一种线性频率调制(FM)激光,其线性脉冲的频率能够线性变化。探测器通过测量反射的线性调频脉冲激光的相位和频率,不仅能够获得物体的距离信息,还能测量其相对运动速度。
9. 光珀智能(中国)
光珀智能(Genius Pros)位于中国杭州,该公司推出了“光珀第一代ToF传感器芯片”,基于这样的芯片,构建了三个固态面阵式激光雷达技术平台,分别满足不同距离下(近、中、远),强阳光下(100Klux),大场景(70⁰),高精度(<1%),高空间分辨率(0.06⁰V)等三维感知需求。这三个技术平台可以服务于智能安防、机器人的导航与避障、无人驾驶的环境感知。特别是在无人驾驶领域,光珀的传感器满足了量产无人车对激光雷达低成本、高空间分辨率的两大需要。
10. 北醒光子(中国)
北醒光子(Benewake)于成立于北京,专注于固态激光雷达的研发和制造。北醒研发的CE30,是一款具有大视场角的全固态激光雷达。它可同时输出132°水平视场、9°垂直视场范围内的灰度与深度信息,且内部无任何机械旋转部件,以保证更高的可靠性与稳定性。
此外,德国激光雷达供应商Ibeo,国内镭神智能、速腾聚创等企业均已在全固态LiDAR领域布局。显然,抢占全固态LiDAR的先机,就抢食到未来自动驾驶的“香饽饽”,全固态LiDAR已成为兵家必争之地。
算法思想
测距
LiDAR
的首要工作就是测距,探测是在测距的基础上进行的。
时间测距
LiDAR
是利用发射和接收激光脉冲信号的时间差来实现对被测目标的距离测量,测距公式为:
其中R
是测量距离,c
是光速,t
是激光信号往返的时间差。
时间获取的方法主要脉冲法和相位法。
脉冲法(time of flight, TOF
)就是利用被测目标对激光脉冲的漫反射作用,通过接收和发射端的计时,来获取时间差。这种方法容易受到脉冲宽度和计数器时间分辨率的影响,测距很短的情况下,一个微小的时间偏差对于测距精度影响都很大,所以这种测距方法精度不是很高,但是工作方式简单,效率高,适合于精度要求不高的场景。
相位法(phase difference
),通过测量连续的调制波在待测距离上往返传播一次所产生的相位差,间接测定激光信号所传播的时间。相位法测距是根据波的周期性进行测距的,所以这里很重要的一点就是如何获取光波的整周期数,一般来说相位法测距精度可达到毫米级,优于脉冲法。
三角测距
LiDAR
中另外一种常见的测距方式为三角测量法(triangulation principle
)。这种测距方法的LiDAR
和时间测距法LiDAR
在结构上有一些差别,这种LiDAR
内部包含CMOS
元件,根据上下两个三角形相似原理计算距离:
探测
探测即探测物体在特定坐标系的坐标值。根据LiDAR
测量的距离S
、激光脉冲的竖直扫描角φ
、 水平扫描角Φ
,使用极坐标法可以得到物体的坐标:
点云
点云是某个坐标系下的点的数据集。点包含了丰富的信息,包括三维坐标X
,Y
,Z
、颜色、分类值、强度值、时间等等。主要是通过三维激光扫描仪进行数据采集获取点云数据,其次通过二维影像进行三维重建,在重建过程中获取点云数据,另外还有一些,通过三维模型来计算获取点
LiDAR
点云数据的定向,要通过多个坐标系间的几何关系来确定,包括激光扫描仪的参考坐标系、瞬时激光束坐标系、空中平台坐标系、目标所在水平参考坐标系与垂直坐标系和惯性导航仪的参考坐标系与WGS-84
坐标系。
激光雷达测距方法
按照全固态LiDAR发射端照明方式可以分为激光多束发射、可操纵或相控阵列、泛光面阵发射三种模式。
按照全固态LiDAR探测端的接收技术,可以分为相干接收技术和直接接收技术。直接接收技术是接收光子能量的直接形式,优点是技术简单和成熟。相干接收技术的接收灵敏度,速度分辨率高,但需要接收机的频带特别宽,对激光发射的频率稳定度的要求也高,对光学天线系统和机内光路的校准的要求更严格,信息处理单元更复杂。
光学相控阵LiDAR
在光学相控阵(OPA,Optical Phased Array)LiDAR中,相控阵发射器由若干发射接收单元组成阵列,通过改变加载在不同单元的电压,进而改变不同单元发射光波特性(如光强、相位),实现对每个单元光波的独立控制,通过调节从每个相控单元辐射出的光波之间的相位关系,在设定方向上产生互相加强的干涉从而实现高强度光束,而其它方向上从各个单元射出的光波彼此相消,因此,辐射强度接近于零。组成相控阵的各相控单元在程序的控制下,可使一束或多束高强度光束的指向按设计的程序实现随机空域扫描(对此原理不理解的“筒子”,可以复习下光栅衍射的物理现象)。
光学相控阵LiDAR具有扫描速度快(一般都可以达到MHz量级以上)、扫描精度或指向精度高(千分之一度量级以上)、可控性好(除对目标区域进行高密度的扫描外,在其它区域也能进行稀疏扫描)等优点。
但光学相控阵的制造工艺难度较大,这是因为要求阵列单元尺寸必须不大于半个波长,一般目前激光雷达的工作波长均在1微米左右,这就意味着阵列单元的尺寸必须不大于500纳米。而且阵列数越多,阵列单元的尺寸越小,能量越往主瓣集中,这就对加工精度要求更高。此外,材料的研究和选择也是非常关键的因素,到目前为止,铌酸锂晶体、PLZT压电陶瓷、液晶和AlGaAs基波导光学相控已得到开发。未来,器件方面,进一步减小相控阵单元尺寸,提高衍射效率,减小器件尺寸;更为根本的材料研究方面,开发工作在中波红外、长波红外、紫外波段的液晶材料,以及继续寻求具有大双折射、响应速度快、热稳定性高、耐强激光的高性能电光材料,同时发展对中长波和紫外波段具有较好透过率的电光材料,以扩展光学相控阵器件的应用领域。
调频连续波LiDAR
调频连续波(FMCW)LiDAR采用线性调频信号,信号发生器产生线性调频锯齿脉冲射频信号对连续波半导体激光器输出的激光进行线性调频强度调制。调制后激光经过准直和扩束后发射出去。激光探测到目标后,一部分激光反射到光电探测器上,转化为电信号,从而提取中频信号获得目标的距离信息。调频连续波LiDAR概念并不新颖,但是面对的技术挑战不少,例如发射激光的线宽限制、线性调频脉冲的频率范围、线性脉冲频率变化的线性度,以及单个线性调频脉冲的可复制性等。Strobe采用光电振荡器(OEO)和“回音壁模式(Whispering Gallery Mode)”光学谐振腔来解决以上问题,其激光光源可以提供具有15 GHz或以上带宽的线性调频脉冲激光,使LiDAR系统的距离分辨能力可以下探至厘米级以下。
纳米天线阵列LiDAR
Oryx Vision凭借纳米天线阵列LiDAR,找到了困扰自动驾驶汽车商业化的主要问题:如何平衡探测距离、精度和成本三者的关系。Oryx Vision深度传感器可以检测到150米远的微小物体,它既可以在暗夜里工作,也不会受直射的阳光影响,而即使在雨雾等极端天气条件下也可以稳定工作。Oryx Vision传感器可以无缝集成到车辆的四周,一组这样的传感器不但可以提供360°范围的高性能的景深探测覆盖,而且价格低廉。
Oryx Vision使用的是长波太赫兹红外激光的激光器,因为这种红外光人眼不可见,功率更高。而这种红外光还很难被水吸收,不会被云雾、强烈的阳光直射所干扰。当发射出的激光反射回传感器时,光学器件将反射回的入射光引导到大量极小的整流纳米天线上。入射光在被整流的天线中产生AC响应,换句话说,被转换成DC信号。该系统的灵敏度是传统LiDAR的上百倍。因为天线将入射光处理为波,所以它们还可以检测到多普勒效应(由于其反弹的相对运动而引起的频率变化),并且由此还可以确定在道路中或附近的其它物体的速度。
Oryx Vision采用的纳米天线只有25平方微米,使用薄膜芯片制造工艺直接在集成电路上制造
每个纳米天线只有5 x 5平方微米,使用薄膜芯片制造工艺在硅晶圆上形成阵列,成本相当低廉。而且这将使得信号被馈送到机器学习系统相当简单,而这个机器学习系统可以对场景中的对象进行分类,从而使得对场景的感知更加智能化。
泛光(Flash)面阵式LiDAR
泛光面阵式是全固态LiDAR中最主流的技术之一。
泛光面阵式LiDAR的激光光源主要有两种方式:脉冲和连续波,分别对应脉冲飞行时间(pToF,PluseToF)LiDAR和连续波飞行时间(cwToF,Continuous Wave ToF)LiDAR。pToF LiDAR采用脉冲,可以实现远距离探测(如100米以上);而cwToF LiDAR采用连续波,主要进行近距离探测(如数十米)。泛光面阵式LiDAR属于非扫描式LiDAR,通过脉冲或连续波捕获整个场景,而非用激光束逐点扫描。由于探测电子返回脉冲和带宽较宽的弱点,泛光面阵式LiDAR易受噪声影响,而阈值触发可引起测量误差Δt。
由激光雷达的理论可知,在功率受限的情况下,要实现远的探测距离,则要求大的脉冲时宽,而要实现高的探测精度,则需要大的带宽,简单脉冲时宽带宽乘积接近于1,时宽与带宽相互关联,不能同时增大时宽与带宽。pToF LiDAR则通过增益调制式脉冲激光源,可以解决采用连续波激光器发射正弦波在对目标成距离像时限制了激光器的瞬时功率从而严重影响成像质量和测量范围的问题。
激光雷达(Lidar)工作原理,及雷达(Radar)、点云数据相关技术
激光雷达点云数据,非常直白,就是“点构成的云”。前面我们提到,激光雷达主动发射激光束,通过测量光线打到物体或表面再反射回来所需要的时间,来计算激光雷达到目标点的距离,这个行为快速重复过程中会获取数百万个数据点,仪器会构建出其正在测量的空间表面的复杂“地图”,称为“点云”。在经过联合解算、偏差校正等预处理、聚类、提取组织后,可构建人类视觉易于分辨的数字三维空间,类似于“聚沙成塔”的效果。
雷达激光获取空间数据原理图
通过三维预览软件浏览激光雷达点云数据 | 陈洪斌
虽然点云数据成果绚烂夺目,通过渲染可构建精准逼真的三维空间,就像我们说的“数字孪生”、“元宇宙”的效果,但相对栅格地图、实景影像等,它能够与机器快速计算交互(不是给你看的),例如高精度地图(HDmap)。
易图通高精度地图产品
点云
正是因为点云是仪器收到光束对物体的反馈数值,所以其每个点都包含了三维坐标数值,也是我们常说的x、y、z三个元素,有时还包含颜色信息、反射强度信息、回波次数信息等。“两点成线,三点成面,四点成体”,透过这些点,不仅可以精准定位到地表空间上某个点,还能计算其之间的长度、面积、体积、角度等信息,构成了测绘要素,且在大比例尺缩放情况下,空间中的每个点可保持准确的相对空间位置关系,所以,基于三维点云的建模与空间分析等可快速实现。
这些特性,构成了激光雷达“地表最强”的应用优势。
遥感影像+激光雷达
要掌握自然资源“山水林田湖草”变化情况,卫星遥感能够提供大范围的动态监测数据来源,通过各类地物元素的监测图斑,发现土地利用变化情况;激光雷达与遥感影像配合,应用于自然资源调查,可构建高精度、多维度的自然资源“数字孪生时空”,实现对自然资源“全方位、无死角”的动态监测,这来源于其穿透能力。
激光雷达能够穿透薄的云雾,获取目标信息,其激光脚点直径较小,且具有多次回波特性,能够穿透树木枝叶间的空隙,得到地面、树枝、树冠等多个高程数据;穿透水体,获得海河底层地形,精确探测真实地形地面的信息,可用于地形地貌调查、森林调查、河流河床高程、矿山研究、丘陵密度与海底研究(测深)等多个自然资源领域。
所以,激光雷达支持构建自然资源的基础空间框架。它是DEM、DSM的重要数据来源之一,三维点云数据经过去噪得到DSM数据,再经过滤波得到DEM数据,能满足生产1︰1000 比例尺产品的精度要求,处理自动化程度高,短时间和少量人工编辑就能完成。
在林业调查中,激光雷达可用于普查林木特征、监测森林生长,对森林内部信息实现精准掌握。基于森林资源基础底图,通过Lidar数据反演模型,融合遥感影像,DSM、DEM,可得到森林内部的生物量、蓄积量、冠层高度、冠层覆盖度、郁闭度/间隙率、林窗参数、树密度;甚至林区单木的种类、位置、高度;通过进一步处理,得到可视化森林微拓扑(RRIM,浮雕图像),获悉地形特征和潜在风险。大幅减少人工调查工作量,提升林业资源调查的效率和准确度,并解决人员难以到达林区的调查难题。
在河流和土壤调查中,利用激光雷达穿透水体能力,获得实际的水底层数据,对于研究河海湖泊生态健康有重要作用。通过测深激光雷达进行地理定位、水折射校正、过滤去除河上物体(桥梁、船只等),测量海底和河床标高,最高可探测深达50m的浅海领域。自动驾驶与自主移动机器人
在自动驾驶车端,它充当“眼睛”,观察路况与周围环境,并精准判断物体与自身之间的空间距离,再通过AI算法,例如基于三维点云的目标识别、目标跟踪与语义分割,去分类和学习、理解周围的环境和动态物体,同时也提供目标物空间位置。相当于长了“一点脑子”,告诉自动驾驶汽车周围是什么(这是人,这是其他车,或什么类型的环境),并作出预测输出(可做什么决策)。要让汽车逐步脱离人类自动驾驶(L3-L5级别),高精度地图也是少不了的,而构建高精度地图的主要“原料”,就是激光雷达点云数据。专业采集车会预载如激光雷达、摄像头、惯性测量单元(IMU)和定位设备等多种传感器,支持采集高达厘米级精度的空间数据,如高精度地图(HDmap),其基础成品质量很大程度也取决于配备的激光雷达产品的数据获取能力,一台专业高精度地图采集车常高达600-1000万级。
采集车获取到的原始点云数据,需要经过降噪预处理、点云数据分类(交通标志、路牙、路面对象等)、数据自动提取(道路标线、路沿、路牌、交通标志等道路元素识别)、数据融合叠加(不同传感器的采集数据进行配准集成)等专业处理和智能提取等过程,通过人工校对和验证,形成高精度地图服务的基础数据,分发同步给车端读取应用,相当于一个人具有最丰富与精确的道路空间与规则记忆,同时也能在行驶中精确定位其所在的位置,从而指导车辆采取明智的驾驶决策,例如提前换道为下匝道做准备,夜间阴天行车也能准确行驶。
那么,自主行动机器人与激光雷达又是怎么一回事呢?
这涉及到一个重要的深度学习概念——同步定位与建图(SLAM)。就拿波士顿动力狗来说,它能代替人类去切尔诺贝利监测核辐射量,下到最深的矿井采集数据,在崎岖高低的工程现场扫描建模工程进度,当它们在探索行进时,可以通过摄像头和专业空间感知手段,例如雷达激光,一边移动,一边构建一幅相应的数字空间地图,这种如同人类的在陌生环境中的记忆行为模式,就是SLAM,通过这种模式,机器人可自主行动并运用激光雷达扫描获取详细的空间数据。
波士顿动力狗利用雷达激光扫描,在工程建筑建模方面的应用 | Boston Dynamic
可以看到,在这个领域,激光雷达技术同时充当了自动驾驶车辆和机器人感知世界的“眼睛”,获取的点云数据又成为其认知世界的“记忆”,通过不断输入与输出的循环上升,形成了机器自动行动的决策依据与智能学习闭环,但同时,它们也在参与构建更为广阔数字空间的任务——数字孪生城市。
测绘地图与“数字孪生”城市
激光雷达与遥感影像、GIS、BIM一同,为构建数字孪生城市提供真实空间框架与基础。前面我们提到,激光雷达可探测绘制多层次的地理空间高低起伏(DSM、DEM),它也是基础地理信息产品DOM(数字正射影像图)、DRG(数字栅格地图)、DLG(数字线划地图)的重要数据来源,可快速生产大比例尺(1∶500至1∶2000)DLG产品。
在构建大规模3D场景中,如行业级、城市级的物理空间数字映射,与其他空间数据获取技术相比,激光雷达点云数据精度高、支持机器分析交互、更新快,通过和多类型数据获取手段联合航测,如航测、倾斜摄影;以及多源二三维空间数据配准、融合,如BIM、GIS等,可渲染构建高仿真、可交互、可分析的“数字孪生”真三维空间,支持建设虚实映射、智能交互的智慧行业、智慧城市管理应用平台,例如智慧高速、智慧交通管理。
应用案例
KITT激光雷达点云数据处理
数据描述
KITTI
提供了Velodyne
激光雷达的点云数据用来进行3D
目标检测,点云数据被保存为二进制bin
文件,每个点包含3
个坐标和反射率信息,即(x,y,z,r)
,坐标点存储在笛卡尔坐标系。
数据可视化
KITTI
官方提供了C++ SDK
进行点云数据的处理和开发,python
环境下可以使用numpy
进行数据的读取。在python
下可以选择的点云可视化工具基本只有mayavi
、python-pcl
或者open3d-python
这三个选项。其中前两者的安装较为复杂,这里使用open3d-python进行可视化操作。
pip3 install open3d# orpip install --user open3d# orpython3 -m pip install --user open3d# orconda install -c open3d-admin -c conda-forge open3d
可视化代码如下,可以使用默认、距离或者反射强度来标定颜色。默认情况下以线数为标准分配颜色。
import numpy as npimport open3dfrom matplotlib import cmdef cmap2rgb(cmap, step):return np.asarray(getattr(cm, cmap)(step, bytes=True)[:3]) / 255def vis_open3d(pointcloud, c_type='dist'):# create pointpoints = pointcloud[:, 0: 3] # x,y,z position of pointr = pointcloud[:, 3] # reflectance value of pointcol = Noneif c_type == 'dist':x = pointcloud[:, 0]y = pointcloud[:, 1]col = np.sqrt(x ** 2 + y ** 2) # Map Distance from sensorelif c_type == 'reflect':col = rpoint_cloud = open3d.open3d.geometry.PointCloud()point_cloud.points = open3d.open3d.utility.Vector3dVector(points)if c_type != 'default':col = ((col - np.min(col)) / (np.max(col) - np.min(col)) * 255).astype(np.int)color = [cmap2rgb('viridis', col[i]) for i in range(col.shape[0])]point_cloud.colors = open3d.utility.Vector3dVector(color)# create Visualizervis = open3d.open3d.visualization.Visualizer()vis.create_window(window_name="kitti")vis.get_render_option().point_size = 1opt = vis.get_render_option()opt.background_color = np.asarray([0, 0, 0])# show# open3d.open3d.visualization.draw_geometries([point_cloud])vis.add_geometry(point_cloud)while True:vis.update_geometry(point_cloud)vis.poll_events()vis.update_renderer()if __name__ == '__main__':path = 'E:\\BaiduNetdiskDownload\\LiDAR\\data_object_velodyne\\training\\velodyne\\000000.bin'pointcloud = np.fromfile(path, dtype=np.float32, count=-1).reshape([-1,4])print(pointcloud.shape)# vis(pointcloud)vis_open3d(pointcloud, 'default')
颜色越深距离越近。
颜色越深反射越小。
优缺点
激光雷达(LiDAR)类似于微波雷达(Radar),但是分辨率更高,因为光的波长大约比无线电的波长小10万倍。它可以区分真实移动中的行人和人物海报、在3D立体的空间中建模、检测静态物体、精确测距。
LiDAR是通过发射激光束来探测目标位置、速度等特征量的雷达系统,具有测量精度高、方向性好等优点,具体如下:
1.具有极高的分辨率
激光雷达工作于光学波段,频率比微波高2~3个数量级以上,因此,与微波雷达相比,激光雷达具有极高的距离分辨率、角分辨率和速度分辨率;
2. 抗干扰能力强
激光波长短,可发射发散角非常小的激光束,多路径效应小,可探测低空/超低空目标;
3. 获取的信息量丰富
激光雷达可直接获取目标的距离、角度、反射强度、速度等信息,生成目标多维度图像,易于理解;
4. 可全天时工作
激光雷达采用主动探测方式,不依赖于外界光照条件或目标本身的辐射特性。它只需发射自己的激光束,通过探测发射激光束的回波信号来获取目标信息。但是激光雷达最大的缺点是容易受到大气条件以及工作环境的烟尘的影响,要实现全天候的工作环境是非常困难的事情。
应用场景
激光雷达数据处理关键技术与发展趋势
虽然在行业应用中,激光雷达和点云展现了足够的优势,但在数据的共性应用软件方面,如数据管理、共享、分析与应用中,还有诸多困难需要克服,综合主流技术观点,激光雷达数据处理需要解决的关键问题有:
1. 数据处理平台的多源、时空数据融合能力。从以上应用场景来看,激光雷达虽然单点能力很强,但静态、单数据源能力依然有限,需要融合多源(遥感、GIS等)、多时相地理空间数据综合管理应用,才能更好实现信息提取、目标识别和变化检测等功能,同时高效构建场景级、行业级与城市级的数字孪生综合管理应用。
2. 分布式、高性能数据处理引擎。激光雷达数据体量大,文件多达数G,在高精度地图中,甚至高达TB-PB级数据量,在处理时需要充分发挥GPU、集群等硬件性能,以及好的数据组织、优化算法等;更重要的是,在自动驾驶和数字孪生时代下,雷达激光数据需要完善基于云的分布式存储,实时更新分发机制,这样才能保证数据处理与共享的快速、高效,充分发挥LiDAR技术高精度空间构建能力的优势。
3. 数据标准与数据产品自动化生产能力。Lidar数据是基础测绘地信产品的重要“素材”,也是新型地理信息产品,如高精度地图的重要“原料”。因此,研制好算法,提供自动化、少人工干预的交互工具、质量检查方法,在行业内形成统一的数据生产标准等,是完善LiDAR数据技术的重要趋势。
4. 多维度空间分析应用。LiDAR数据已经能够生产所有的基础测绘产品,同时支持三维内容场景的构建,但还未充分发挥其空间分析交互特性与业务数字化深入结合的能力,这也是重大挑战,不仅需要在理论和算法上创新,更需要深入行业,掌握行业应用的需求和规律,实现雷达激光技术发展驱动与政企业务数字化转型需求结合的创新,例如自然灾害风险评估、数字城市虚实映射空间桥接等。
可预见的是,激光雷达实时感知世界、构建数字世界,和其高精度、可机器交互的特性,将在未来数字孪生城市、元宇宙中发挥越来越关键的作用。但要成为真正的“地表最强”,激光雷达点云还需要融入多源时空数据汇聚的海洋,在数据协作与融合中突破自身局限,并获得底层基础支撑、算法、AI智能应用的“加持”,不断深入行业和组织业务数字化、智能化转型。
所以,激光雷达感知层与底层基础设施,高性能、高可用的综合数据平台,交互工具与算法AI,直到客户端业务应用需求,形成快速协作与贯通性,将成为雷达激光产业发展的主要趋势和目标,以及核心场景构建的发展牵引。