本發(fā)明涉及低空飛行器控制，特別涉及一種基于多模態(tài)數(shù)據(jù)融合與時(shí)空對(duì)齊算法的低空飛行器環(huán)境感知系統(tǒng)及其方法。

背景技術(shù)：

1、由于城市樓宇密集區(qū)需要無人機(jī)具備亞米級(jí)定位與動(dòng)態(tài)避障能力，傳統(tǒng)的bds信號(hào)容易受到遮擋，導(dǎo)致導(dǎo)航失效。橋梁、輸電線路等場景需高精度三維建模與隱蔽缺陷檢測，單一傳感器（如難以兼顧幾何精度與材質(zhì)穿透能力。廢墟環(huán)境中衛(wèi)星信號(hào)丟失，依賴視覺或慣性導(dǎo)航易因誤差累積導(dǎo)致定位漂移，且多模態(tài)數(shù)據(jù)融合效率低下。

2、因此，融合多傳感器，兼顧多種應(yīng)用能力，增強(qiáng)bds信號(hào)的強(qiáng)度或減少對(duì)bds信號(hào)的依賴，避免因衛(wèi)星信號(hào)丟失而導(dǎo)致定位偏移，成了目前有待解決的問題。

3、專利202210559839?.3提出了一種“基于拍攝設(shè)備的雷達(dá)外參標(biāo)定方法、裝置及計(jì)算機(jī)設(shè)備”，該設(shè)備通過引入拍攝設(shè)備為中介，利用其與待標(biāo)定雷達(dá)的視場重疊區(qū)域，結(jié)合目標(biāo)檢測技術(shù)和坐標(biāo)變換關(guān)系實(shí)現(xiàn)標(biāo)定；首先獲取拍攝設(shè)備的采集圖像及雷達(dá)的點(diǎn)云數(shù)據(jù)，分別對(duì)第一雷達(dá)和第二雷達(dá)的點(diǎn)云進(jìn)行目標(biāo)檢測，提取目標(biāo)對(duì)象點(diǎn)云；基于拍攝圖像確定目標(biāo)對(duì)象的位置后，通過投影匹配和迭代優(yōu)化，計(jì)算雷達(dá)與拍攝設(shè)備之間的外參變換關(guān)系，并最終推導(dǎo)出雷達(dá)間的外參標(biāo)定結(jié)果。相比于傳統(tǒng)的設(shè)備，該設(shè)備提升了標(biāo)定精度和通用性，但其依賴相機(jī)與雷達(dá)的投影迭代優(yōu)化方法，可能導(dǎo)致設(shè)備在動(dòng)態(tài)場景因時(shí)空對(duì)齊機(jī)制缺乏動(dòng)態(tài)適應(yīng)性而標(biāo)定精度低等問題。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的主要目的在于提供一種低空飛行器環(huán)境感知系統(tǒng)及其方法，可以有效解決背景技術(shù)中提到的問題。

2、為實(shí)現(xiàn)上述目的，本發(fā)明采取的技術(shù)方案為：

3、一種低空飛行器環(huán)境感知系統(tǒng)，包括依次執(zhí)行的四大核心模塊：多模態(tài)數(shù)據(jù)采集、時(shí)空對(duì)齊算法、多模態(tài)數(shù)據(jù)融合、無源增強(qiáng)定位，具體為：

4、多模態(tài)數(shù)據(jù)采集模塊：集成多類型傳感器采集多環(huán)境原始數(shù)據(jù)并預(yù)處理；

5、時(shí)空對(duì)齊算法模塊：消除多傳感器數(shù)據(jù)的時(shí)空不一致性，實(shí)現(xiàn)時(shí)間基準(zhǔn)統(tǒng)一與空間坐標(biāo)系映射；

6、多模態(tài)數(shù)據(jù)融合模塊：提取跨模態(tài)互補(bǔ)特征，建模模態(tài)間依賴關(guān)系；

7、無源增強(qiáng)定位模塊：基于無線信號(hào)實(shí)現(xiàn)高精度定位，彌補(bǔ)衛(wèi)星信號(hào)受限缺陷。

8、一種上述低空飛行器環(huán)境感知系統(tǒng)的感知方法，包括以下步驟：

9、s01、多模態(tài)數(shù)據(jù)采集：通過集成多傳感器陣列采集多環(huán)境原始數(shù)據(jù)，包括毫米波雷達(dá)、lidar、超聲波傳感器、紅外攝像頭、電磁渦流傳感器、多光譜攝像頭、微波生命探測雷達(dá)、氣體傳感器；

10、s02、時(shí)空對(duì)齊算法：利用硬件同步與軟件補(bǔ)償結(jié)合的時(shí)空對(duì)齊算法，統(tǒng)一時(shí)間基準(zhǔn)并映射至全局坐標(biāo)系；利用華大北斗hd9300模塊統(tǒng)一所有傳感器的時(shí)間基準(zhǔn)，確保數(shù)據(jù)采集時(shí)刻對(duì)齊，卡爾曼濾波動(dòng)態(tài)插值動(dòng)態(tài)補(bǔ)償微小時(shí)間偏差，以確保時(shí)間同步，將所有的傳感器數(shù)據(jù)映射到同一全局坐標(biāo)系中，imu動(dòng)態(tài)修正，通過slam同步定位與建圖以確保空間對(duì)齊；

11、s03、多模態(tài)數(shù)據(jù)融合：基于特征級(jí)融合與多頭自注意力機(jī)制，實(shí)現(xiàn)跨模態(tài)數(shù)據(jù)的語義關(guān)聯(lián)與權(quán)重動(dòng)態(tài)分配；使用統(tǒng)一的神經(jīng)網(wǎng)絡(luò)vit生成高維特征向量，將不同模態(tài)地特征向量映射到同一語義空間中消除尺度與維度差異，各模態(tài)獨(dú)立生成獨(dú)立檢測概率并將不同模態(tài)地語義標(biāo)簽進(jìn)行邏輯關(guān)聯(lián)，多頭自注意力機(jī)制和跨模態(tài)注意力機(jī)制動(dòng)態(tài)加權(quán)建立依賴；

12、s04、無源增強(qiáng)定位：利用環(huán)境中已有的無線信號(hào)，融合tdoa算法與信號(hào)指紋匹配技術(shù)，在衛(wèi)星拒止環(huán)境中實(shí)現(xiàn)亞米級(jí)定位。

13、優(yōu)選的，所述s01中多傳感器陣列的采集原理如下：

14、毫米波雷達(dá)通過發(fā)射頻率為24ghz至77ghz的電磁波，接受目標(biāo)反射的回波信號(hào)，利用時(shí)間差和多普勒效應(yīng)計(jì)算目標(biāo)的距離、速度，其公式計(jì)算公式為：

15、；

16、其中r為目標(biāo)距離，c為光速，為發(fā)射和接收時(shí)間差，v為目標(biāo)速度，為多普勒頻移，為波長；

17、lidar通過發(fā)射激光脈沖并測量其反射時(shí)間，根據(jù)反射時(shí)間計(jì)算目標(biāo)距離；通過機(jī)械旋轉(zhuǎn)覆蓋視場角，生成三維點(diǎn)云數(shù)據(jù)，其點(diǎn)云分辨率公式為：

18、；

19、其中r為探測距離，激光發(fā)散角通常為0.1°至0.5°，探測距離可達(dá)300米；

20、超聲波傳感器發(fā)射頻率為20khz至50khz的超聲波脈沖，接收障礙物反射的回波，通過回波時(shí)間計(jì)算距離，其公式為：

21、；

22、紅外攝像頭捕獲目標(biāo)發(fā)射的紅外輻射轉(zhuǎn)換為電信號(hào)，通過熱敏元件生成熱圖像，顯示溫度分布；

23、電磁渦流傳感器中的傳感器線圈通高頻交流電，產(chǎn)生交變磁場，當(dāng)靠近金屬表面時(shí)，磁場在金屬中感應(yīng)渦流，渦流產(chǎn)生反向磁場，通過檢測線圈阻抗變化進(jìn)行判斷；

24、微波生命探測雷達(dá)發(fā)射頻率1ghz至10ghz的微波信號(hào)，穿透障礙物，接收反射信號(hào)中的微多普勒頻移，分析生命體征；

25、氣體傳感器將氣體分子吸附到傳感器表面，與半導(dǎo)體材料發(fā)生化學(xué)反應(yīng)，改變半導(dǎo)體電阻值，輸出與氣體濃度成正比的電信號(hào)。

26、優(yōu)選的，所述s02中時(shí)空對(duì)齊算法包括：

27、時(shí)間同步：利用華大北斗hd9300模塊輸出的pps信號(hào)作為全局時(shí)間基準(zhǔn)，觸發(fā)所有傳感器同步采集數(shù)據(jù)，再結(jié)合卡爾曼濾波動(dòng)態(tài)插值消除時(shí)間偏差，預(yù)測時(shí)間偏差的動(dòng)態(tài)變化的狀態(tài)方程為：

28、；

29、a為狀態(tài)轉(zhuǎn)移矩陣，為過程噪聲；

30、利用bds或其他參考時(shí)間源校準(zhǔn)偏差的觀測方程為：

31、；

32、h為觀測矩陣，為觀測噪聲；

33、結(jié)合預(yù)測和觀測值修正時(shí)間偏差，其公式為：

34、；

35、k為卡爾曼增益，為預(yù)測偏差；

36、空間對(duì)齊：在空間上將不同傳感器的數(shù)據(jù)映射到統(tǒng)一的全局坐標(biāo)系，消除因安裝位置或視角差異導(dǎo)致的空間偏移，先通過已知尺寸的標(biāo)定板計(jì)算傳感器間的相對(duì)位姿，其公式為：

37、；

38、r為旋轉(zhuǎn)矩陣，t為平移向量；

39、然后在有bds時(shí)將輸出的cgcs2000坐標(biāo)系轉(zhuǎn)換成wgs-84地理坐標(biāo)系，

40、；

41、無bds時(shí)通過slam構(gòu)建局部地圖并與無線信號(hào)指紋庫對(duì)齊；再利用imu慣性測量單元實(shí)時(shí)估計(jì)無人飛行器位置變換，以修正傳感器數(shù)據(jù)的空間偏移，其公式為：

42、。

43、優(yōu)選的，所述s03中多模態(tài)融合整合來自不同傳感器的異構(gòu)數(shù)據(jù)，提取互補(bǔ)特征和建?？缒B(tài)依賴關(guān)系；包括：

44、特征級(jí)融合：基于?vit?神經(jīng)網(wǎng)絡(luò)對(duì)多模態(tài)數(shù)據(jù)統(tǒng)一編碼，生成高維特征向量并映射至同一語義空間；

45、跨模態(tài)依賴建模：利用多頭自注意力機(jī)制動(dòng)態(tài)分配模態(tài)權(quán)重，公式為

46、；

47、結(jié)合跨模態(tài)注意力機(jī)制消除語義歧義。

48、優(yōu)選的，所述s04中無源增強(qiáng)定位在bds拒止或信號(hào)受限環(huán)境中，通過環(huán)境無線信號(hào)實(shí)現(xiàn)高精度定位用以彌補(bǔ)傳統(tǒng)衛(wèi)星定位的不足，包括：

49、tdoa定位：tdoa定位技術(shù)測量信號(hào)從目標(biāo)設(shè)備到多個(gè)基站的傳播時(shí)間差，計(jì)算目標(biāo)位置，其公式為：

50、；

51、其中x為目標(biāo)位置，為基站坐標(biāo)，c為光速；

52、信號(hào)指紋匹配：依據(jù)信號(hào)指紋匹配確定目標(biāo)位置，在定位區(qū)域內(nèi)采集各點(diǎn)的信號(hào)特征，通過k近鄰算法與預(yù)存的指紋庫匹配，其公式為：

53、。

54、與現(xiàn)有技術(shù)相比，本發(fā)明具有如下有益效果：

55、本發(fā)明通過集成毫米波雷達(dá)、lidar等八類異構(gòu)傳感器實(shí)現(xiàn)多環(huán)境數(shù)據(jù)協(xié)同采集，采用北斗pps硬件同步與卡爾曼濾波動(dòng)態(tài)校準(zhǔn)實(shí)現(xiàn)高精度時(shí)空對(duì)齊，結(jié)合vit神經(jīng)網(wǎng)絡(luò)統(tǒng)一編碼與多頭自注意力機(jī)制動(dòng)態(tài)融合跨模態(tài)特征，并創(chuàng)新性融合tdoa定位和信號(hào)指紋匹配技術(shù)，在衛(wèi)星拒止環(huán)境下實(shí)現(xiàn)亞米級(jí)無源定位，顯著提升城市密集區(qū)域無人機(jī)的實(shí)時(shí)避障精度與復(fù)雜場景適應(yīng)性。