本發明屬于無人機視覺監控與目標跟蹤,具體涉及一種在高動態飛行條件下對地面運動小目標進行穩定捕捉與跟蹤的方法。
背景技術:
1、無人機在執行視覺跟蹤地面動態目標任務時,其自身飛行運動(包括平移、旋轉、高頻振動及風擾)會導致機載相機圖像產生強烈擾動,使目標在圖像平面內出現非預期、復雜的表觀運動。該擾動與目標真實運動混雜,嚴重影響目標真實運動矢量的提取與穩定跟蹤。
2、現有技術主要存在以下路徑及其局限:
3、第一類純視覺跟蹤算法直接在抖動圖像序列上進行目標檢測與跟蹤,未對平臺自運動進行建模補償。在無人機機動或風擾場景下,背景與目標表觀運動混雜,導致跟蹤漂移或丟失,尤其對圖像占比小的目標。
4、第二類機械云臺穩定方案通過物理隔離姿態變化提供穩定視場,但存在響應延遲、增加重量功耗、機械磨損、高頻振動下失效等問題。
5、第三類電子圖像穩定或全局運動估計方法計算圖像間全局變換穩定背景,但未能有效分離獨立運動目標,易導致目標真實運動信息被“矯正”失真。
6、第四類部分融合位姿信息的視覺方法雖引入姿態數據,但多采用耦合處理或僅粗略補償低頻姿態,未在像素層面建立平臺六自由度運動與目標運動的
7、顯式、精確解耦模型。
8、現有技術的共性缺陷在于:未能實現平臺自運動與目標真實運動在圖像觀測層面的像素級有效解耦,導致在高速、高機動動態場景下,無法準確獲取目標相對于地面的三維運動狀態,跟蹤精度低、魯棒性差。
技術實現思路
1、本發明的目的在于提供一種基于運動位姿解耦的無人機動態目標穩定捕捉方法,
2、以算法方式實現平臺自運動與目標運動的像素級解耦,無需機械云臺,在高動態環境下顯著提升對地面運動目標的跟蹤穩定性和精度。
3、為實現上述目的,本發明的技術方案如下:
4、一種基于運動位姿解耦的無人機動態目標穩定捕捉方法,包括:
5、獲取無人機機載相機拍攝的連續幀圖像,并同步獲取所述無人機的位姿變化信息;
6、根據所述位姿變化信息及相機參數,計算由無人機平臺自運動引起的圖像平面光流場;具體采用投影模型計算每個像素點p的理論位移:
7、;
8、其中為相機內參矩陣,和為無人機位姿變化,為像素深度,為投影函數;
9、從觀測光流中減去所述自運動引起的圖像平面光流場,得到表征目標相對于地面運動的殘余光流場;
10、基于所述殘余光流場,提取目標在圖像平面內的運動信息;
11、將所述圖像平面內的運動信息結合目標深度信息,反投影至世界坐標系,得到目標的三維運動狀態,并通過狀態估計器進行持續跟蹤。
12、進一步地,所述計算由無人機平臺自運動引起的圖像平面光流場采用投影模型。
13、進一步地,所述目標深度信息通過深度估計或深度測量方式獲取。
14、進一步地,所述位姿變化信息通過位姿測量單元或其融合系統獲取。
15、進一步地,所述提取目標在圖像平面內的運動信息包括對殘余光流場進行目標區域定位和運動統計處理。
16、進一步地,所述狀態估計器采用濾波算法。
17、進一步地,所述方法不依賴機械云臺裝置,通過算法補償抑制平臺運動干擾。
18、本發明相對于現有技術的有益效果在于:
19、1、通過顯式位姿解耦模型在像素層面實時分離平臺自運動光流與目標運動光流,從源頭消除高頻微動干擾,提高目標運動矢量提取的信噪比。
20、2、在世界坐標系下進行三維運動跟蹤,消除圖像平面透視畸變影響,顯著提升對小目標(圖像占比<0.5%)的跟蹤成功率與定位精度。
21、3、完全算法實現,無需機械云臺,降低系統重量、功耗與成本,經優化可在嵌入式平臺實現實時處理(≥30fps)。
22、4、對無人機劇烈機動、高速轉彎及外部風擾具有強適應性,跟蹤丟失率顯著低于現有方法。
1.一種基于運動位姿解耦的無人機動態目標穩定捕捉方法,其特征在于,包括:
2.根據權利要求1所述的方法,其特征在于,所述位姿測量單元包括慣性測量單元(imu)與視覺里程計(vo),其數據通過濾波融合方式輸出高頻率位姿變化信息。
3.根據權利要求1所述的方法,其特征在于,所述計算由無人機平臺自運動引起的圖像平面光流場,具體采用以下投影公式進行逐像素或特征點計算:
4.根據權利要求1所述的方法,其特征在于,所述目標深度信息通過以下任一方式獲取:基于單目相機的深度估計神經網絡,或基于雙目相機的立體匹配算法。
5.根據權利要求1所述的方法,其特征在于,所述提取目標在圖像平面內的運動矢量,包括:在所述殘余光流場上運行目標檢測器定位目標區域,并對區域內所有光流矢量進行統計分析,得到該目標的圖像運動矢量。
6.根據權利要求1所述的方法,其特征在于,所述狀態估計器采用擴展卡爾曼濾波器(ekf)、無跡卡爾曼濾波器(ukf)或粒子濾波器(pf)。
7.根據權利要求1所述的方法,其特征在于,所述方法不依賴機械云臺裝置,完全通過算法實現平臺運動干擾的抑制與目標運動解耦。
8.一種無人機動態目標捕捉設備,其特征在于,包括處理器和存儲器,所述存儲器存儲有計算機程序,所述處理器執行所述計算機程序時實現如權利要求1至7中任一項所述的方法。
9.一種計算機可讀存儲介質,其上存儲有計算機程序,其特征在于,該計算機程序被處理器執行時實現如權利要求1至7中任一項所述的方法。
10.一種無人機,其特征在于,包括機體、機載相機、位姿測量單元、深度感知系統以及如權利要求8所述的無人機動態目標捕捉設備。