本發明涉及農產品檢測領域,具體是一種基于動態視頻流的糧食作物品質檢測方法及裝置。
背景技術:
1、當前,在大米外觀質量檢測領域,基于機器視覺的常用技術為“靜態單幀rgb圖像分析法”,其實現方案為:使大米在背景板上靜止,利用一個rgb工業相機或者平板掃描儀從正上方采集單張圖像;隨后,使用圖像處理算法(如基于顏色的閾值分割、邊緣檢測、形態學操作等)來識別米粒,并計算整精米率、加工精度、黃粒米率等大米外觀質量指標。該方法本質上將實際三維、動態的米粒檢測任務簡化為二維、靜態的圖像分析,雖在一定程度上實現了自動化檢測,但仍存在若干明顯局限:
2、1.三維形態信息缺失:僅依靠單幅二維圖像無法完整獲取米粒的三維形貌特征,導致背溝深度、側面堊白等關鍵質量指標在米粒側面或遮擋部位易被漏檢,影響檢測結果的全面性與準確性。
3、2.重疊與粘連米粒分割困難:在靜態圖像中,米粒若出現堆疊或接觸粘連,傳統圖像分割算法難以實現精確分離,易造成計數錯誤與特征誤提取,從而影響大米外觀質量指標的統計可靠性。
4、3.光照與姿態敏感性高:該方法依賴顏色與紋理特征,容易受到環境光照不均、米粒表面反光及姿態差異的影響。同一米粒在不同擺放角度或光照條件下可能呈現顯著差異,導致特征不穩定,增加誤判風險。
5、4.缺乏動態過程追溯能力:由于僅分析單幀靜態圖像,無法對大米在流動或振動狀態下的運動軌跡進行跟蹤,因而不能實現基于時間序列的個體米粒行為分析,限制了檢測系統在過程監控與復雜品質評估中的應用潛力。
技術實現思路
1、為了提高檢測精度,本申請提供了一種基于動態視頻流的糧食作物品質檢測方法及裝置。
2、本發明解決上述問題所采用的技術方案是:
3、基于動態視頻流的糧食作物品質檢測方法,包括:
4、步驟1、使糧食作物形成單層、稀疏分布的連續流動狀態,并采集多幀糧食作物圖像;
5、步驟2、基于采集的多幀糧食作物圖像進行糧食作物檢測與目標追蹤,為每一粒糧食作物分配唯一的id并提取其時序特征,所述時序特征包括從多幀圖像中提取的外觀特征、基于多幀圖像重建的三維形態特征以及基于多幀圖像提取的運動特征;
6、步驟3、以時序特征為輸入,糧食作物品質為輸出,構建并訓練品質檢測模型;
7、步驟4、將獲取的時序特征輸入訓練后的品質檢測模型以獲取糧食作物的品質。
8、進一步地,步驟2具體包括:
9、步驟21、糧食作物檢測:獲取糧食作物前景輪廓;對獲取的糧食作物前景輪廓進行形態學操作、輪廓查找與篩選以確定候選糧食作物區域;
10、步驟22、軌跡關聯與id分配:基于步驟21提取的候選糧食作物區域利用卡爾曼濾波預測已有糧食作物軌跡在下一幀中的位置,并通過匈牙利算法將當前幀檢測到的糧食作物區域與預測位置進行最優匹配;根據匹配結果,對成功關聯的糧食作物保持其原有id并更新運動軌跡,為新出現的糧食作物分配唯一id,同時移除持續未能匹配的舊軌跡;最終輸出每個糧食作物的時序圖像序列及其在每幀中的位置;
11、步驟23、時序特征提取:對于每個被穩定追蹤的糧食作物id,從其對應的多幀圖像序列中提取外觀特征、基于多幀圖像重建三維形態特征及從運動軌跡中提取運動特征以形成該糧食作物的時序特征。
12、進一步地,采用單目視覺系統或雙目視覺系統采集圖像。
13、進一步地,若采用單目視覺系統采集圖像,則步驟21采用背景減除法或幀間差分法獲取糧食作物前景輪廓;
14、步驟23利用運動恢復結構算法根據糧食作物在不同幀中的外觀輪廓變化和運動視差,擬合其三維點云或橢球體模型以獲取三維形態特征。
15、進一步地,若采用雙目視覺系統采集圖像,則采用立體匹配生成三維點云以獲取糧食作物前景輪廓及三維形態特征。
16、進一步地,還包括步驟5、根據糧食作物的軌跡預測糧食作物到達分揀口的時間以進行分揀控制。
17、進一步地,還包括步驟6、實時監控分揀效果,當誤揀率高于閾值時,優化品質檢測模型和/或分揀參數。
18、進一步地,外觀特征包括顏色及紋理特征;三維形態特征包括體積、表面積及長寬比;運動特征包括滾動角速度和翻轉頻率。
19、基于動態視頻流的糧食作物品質檢測裝置,包括:勻料機構、輸料機構、光源相機單元及數據處理與控制單元,糧食作物通過勻料機構后在輸料機構上形成單層、稀疏分布的連續流動,光源相機單元采集輸料機構上的多幀糧食作物圖像;數據處理與控制單元基于光源相機單元采集的多幀糧食作物圖像采用基于動態視頻流的糧食作物品質檢測方法進行品質檢測。
20、進一步地,還包括分揀執行機構,所述分揀執行機構根據品質檢測結果完成糧食作物分揀。
21、本發明相比于現有技術具有的有益效果是:通過勻料機構使糧食作物在輸料機構上形成單層且稀疏分布的流動態,有效避免了糧食作物堆疊或接觸粘連;在糧食作物運動過程中采集多幀圖像,結合多幀圖像序列進行糧食作物品質分析,基于多幀圖像序列能夠從多角度獲取糧食作物的完整外觀信息,有效解決了靜態圖像中因遮擋、反光等問題導致的漏檢和誤檢;結合分揀執行機構可實現糧食作物檢測及分揀的全自動化流程,大幅提高了處理效率;通過對分揀結果的監測,可以反饋調節品質檢測模型和/或分揀參數,從而提高分揀效果。
1.基于動態視頻流的糧食作物品質檢測方法,其特征在于,包括:
2.根據權利要求1所述的基于動態視頻流的糧食作物品質檢測方法,其特征在于,步驟2具體包括:
3.根據權利要求2所述的基于動態視頻流的糧食作物品質檢測方法,其特征在于,采用單目視覺系統或雙目視覺系統采集圖像。
4.根據權利要求3所述的基于動態視頻流的糧食作物品質檢測方法,其特征在于,若采用單目視覺系統采集圖像,則步驟21采用背景減除法或幀間差分法獲取糧食作物前景輪廓;
5.根據權利要求3所述的基于動態視頻流的糧食作物品質檢測方法,其特征在于,若采用雙目視覺系統采集圖像,則采用立體匹配生成三維點云以獲取糧食作物前景輪廓及三維形態特征。
6.根據權利要求2所述的基于動態視頻流的糧食作物品質檢測方法,其特征在于,還包括步驟5、根據糧食作物的軌跡預測糧食作物到達分揀口的時間以進行分揀控制。
7.根據權利要求6所述的基于動態視頻流的糧食作物品質檢測方法,其特征在于,還包括步驟6、實時監控分揀效果,當誤揀率高于閾值時,優化品質檢測模型和/或分揀參數。
8.根據權利要求1所述的基于動態視頻流的糧食作物品質檢測方法,其特征在于,外觀特征包括顏色及紋理特征;三維形態特征包括體積、表面積及長寬比;運動特征包括滾動角速度和翻轉頻率。
9.基于動態視頻流的糧食作物品質檢測裝置,其特征在于,包括:勻料機構、輸料機構、光源相機單元及數據處理與控制單元,糧食作物通過勻料機構后在輸料機構上形成單層、稀疏分布的連續流動,光源相機單元采集輸料機構上的多幀糧食作物圖像;數據處理與控制單元基于光源相機單元采集的多幀糧食作物圖像采用權利要求1-8任意一項所述的基于動態視頻流的糧食作物品質檢測方法進行品質檢測。
10.根據權利要求9所述的基于動態視頻流的糧食作物品質檢測裝置,其特征在于,還包括分揀執行機構,所述分揀執行機構根據品質檢測結果完成糧食作物分揀。