一、多傳感器融合的先決條件

當(dāng)多種傳感器裝在同一輛車上時，使用同一個系統(tǒng)來采集并處理數(shù)據(jù)。為了確保這些傳感器采集的數(shù)據(jù)能有效精準(zhǔn)識別同一個物體，需要對這些傳感器進(jìn)行統(tǒng)一時鐘和坐標(biāo)系，即最終實(shí)現(xiàn)：同一個目標(biāo)在同一個時刻出現(xiàn)在不同類別的傳感器的同一個世界坐標(biāo)處。

1、統(tǒng)一時鐘

確保所有傳感器數(shù)據(jù)在時間上的一致性，為后續(xù)處理提供同步基準(zhǔn)。關(guān)于時間同步的詳細(xì)內(nèi)容可見往期內(nèi)容“《自動駕駛：揭秘高精度時間同步技術(shù)（一）和（二）》”。

2、統(tǒng)一坐標(biāo)系

統(tǒng)一坐標(biāo)系包含兩步，一是運(yùn)動補(bǔ)償，二是傳感器標(biāo)定。

① 運(yùn)動補(bǔ)償：確保數(shù)據(jù)時效性

運(yùn)動補(bǔ)償是針對周期性采集數(shù)據(jù)的傳感器，如激光雷達(dá)（LiDAR），其數(shù)據(jù)采集周期可能長達(dá)100毫秒。由于車輛在運(yùn)動，采集周期的開始和結(jié)束時刻，車輛的位置已經(jīng)發(fā)生了變化。這就需要對采集的數(shù)據(jù)進(jìn)行運(yùn)動補(bǔ)償，以確保數(shù)據(jù)反映的是車輛在某一固定時刻的環(huán)境狀態(tài)。

② 傳感器標(biāo)定：確立坐標(biāo)轉(zhuǎn)換

傳感器標(biāo)定是確保每個傳感器的數(shù)據(jù)都能準(zhǔn)確映射到世界坐標(biāo)系中的過程。它包括內(nèi)參標(biāo)定和外參標(biāo)定兩個部分。

二、多傳感器融合方法

在多傳感器采集系統(tǒng)中做好統(tǒng)一時鐘和統(tǒng)一坐標(biāo)系后，就可以將這些數(shù)據(jù)進(jìn)行融合了。關(guān)于具體做法，這里舉一個簡單的例子：

1、相機(jī)與LiDAR融合

在實(shí)現(xiàn)激光雷達(dá)與相機(jī)標(biāo)定、運(yùn)動補(bǔ)償和時間同步后，通過多傳感器深度融合，執(zhí)行幾何變換將三維點(diǎn)云數(shù)據(jù)投影至二維圖像平面，實(shí)現(xiàn)物理空間到視覺空間的映射。最后，整合深度信息與圖像像素?cái)?shù)據(jù)，形成深度標(biāo)簽圖像，從而為自動駕駛車輛的環(huán)境感知系統(tǒng)提供更為豐富和精確的數(shù)據(jù)支持。

2、融合方式

根據(jù)數(shù)據(jù)在整個流程中融合的不同位置，常見的融合方式可分為前融合、深度融合和后融合。

3、應(yīng)用場景

在多傳感器融合中，前融合、深度融合和后融合各有優(yōu)勢和適用場景。