本發(fā)明屬于倉(cāng)庫(kù)物料監(jiān)管，具體涉及倉(cāng)庫(kù)物料流動(dòng)異常處理方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)。
背景技術(shù)：
1、當(dāng)前倉(cāng)庫(kù)物流系統(tǒng)中，物料流動(dòng)涉及叉車、agv、人員與環(huán)境的復(fù)雜交互。傳統(tǒng)監(jiān)測(cè)手段存在三方面技術(shù)瓶頸：（1）感知維度單一，如僅依賴溫度或振動(dòng)傳感器，無(wú)法捕捉超速、路徑偏移等空間行為異常，導(dǎo)致異常檢測(cè)準(zhǔn)確率低；（2）多源數(shù)據(jù)割裂，視頻、iot信號(hào)與wms指令缺乏語(yǔ)義關(guān)聯(lián)，難以構(gòu)建因果推理鏈，造成數(shù)據(jù)孤島問(wèn)題；（3）響應(yīng)機(jī)制滯后，異常檢測(cè)與干預(yù)之間延遲嚴(yán)重，難以滿足高動(dòng)態(tài)倉(cāng)庫(kù)的安全需求。
2、現(xiàn)有視頻理解框架雖引入時(shí)空標(biāo)注（如時(shí)間戳+邊界框），但在倉(cāng)庫(kù)場(chǎng)景下面臨坐標(biāo)表示與時(shí)間推理脫節(jié)問(wèn)題，導(dǎo)致檢測(cè)延遲較大、假陽(yáng)性率較高、token長(zhǎng)度冗余嚴(yán)重等。例如，現(xiàn)有技術(shù)（如cn116229272a）采用固定格網(wǎng)和單一ppo優(yōu)化，無(wú)法處理動(dòng)態(tài)場(chǎng)景下的時(shí)空崩潰與過(guò)長(zhǎng)推理鏈。因此，亟須一種能將時(shí)空信息統(tǒng)一編碼為結(jié)構(gòu)化點(diǎn)序列、支持實(shí)時(shí)推理與閉環(huán)干預(yù)的技術(shù)方案。
技術(shù)實(shí)現(xiàn)思路
1、針對(duì)現(xiàn)有技術(shù)的不足，本發(fā)明的目的在于提供一種倉(cāng)庫(kù)物料流動(dòng)異常處理方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)。
2、根據(jù)本技術(shù)的一個(gè)方面，公開(kāi)了一種倉(cāng)庫(kù)物料流動(dòng)異常處理方法，所述方法包括：
3、獲取目標(biāo)物料的倉(cāng)庫(kù)監(jiān)控視頻流、物聯(lián)網(wǎng)傳感器數(shù)據(jù)以及倉(cāng)庫(kù)管理系統(tǒng)對(duì)所述目標(biāo)物料的文本數(shù)據(jù)；
4、基于所述倉(cāng)庫(kù)監(jiān)控視頻流以及所述物聯(lián)網(wǎng)傳感器數(shù)據(jù)，確定表征所述目標(biāo)物料搬運(yùn)軌跡的結(jié)構(gòu)化時(shí)空點(diǎn)序列，其中，所述結(jié)構(gòu)化時(shí)空點(diǎn)序列的格式為包含對(duì)象標(biāo)識(shí)符、預(yù)定范圍內(nèi)的整數(shù)量化坐標(biāo)點(diǎn)集及時(shí)間戳的純文本；
5、基于所述結(jié)構(gòu)化時(shí)空點(diǎn)序列，結(jié)合所述文本數(shù)據(jù)，確定所述目標(biāo)物料當(dāng)前搬運(yùn)狀態(tài)的異常風(fēng)險(xiǎn)概率；
6、當(dāng)所述異常風(fēng)險(xiǎn)概率超過(guò)預(yù)設(shè)閾值時(shí)，向所述目標(biāo)物料對(duì)應(yīng)的物料搬運(yùn)設(shè)備發(fā)送干預(yù)指令，以使得所述物料搬運(yùn)設(shè)備響應(yīng)于所述干預(yù)指令執(zhí)行干預(yù)動(dòng)作，所述干預(yù)動(dòng)作基于所述干預(yù)指令確定。
7、在一些實(shí)施例中，所述基于所述倉(cāng)庫(kù)監(jiān)控視頻流以及所述物聯(lián)網(wǎng)傳感器數(shù)據(jù)，確定表征所述目標(biāo)物料搬運(yùn)軌跡的結(jié)構(gòu)化時(shí)空點(diǎn)序列包括：
8、將所述倉(cāng)庫(kù)監(jiān)控視頻流的每幀圖像劃分成多個(gè)目標(biāo)網(wǎng)格；其中，所述目標(biāo)網(wǎng)格的密度參數(shù)依據(jù)目標(biāo)物流的像素在對(duì)應(yīng)圖像幀的占比自適應(yīng)調(diào)整；
9、確定每個(gè)所述目標(biāo)網(wǎng)格的視頻空間概率分布，所述視頻空間概率分布為一張熱力圖，其中每個(gè)位置的概率值表征該位置存在物料關(guān)鍵點(diǎn)的視覺(jué)置信度；
10、基于所述物聯(lián)網(wǎng)傳感器數(shù)據(jù)，對(duì)視覺(jué)置信度滿足預(yù)設(shè)置信度閾值的物料關(guān)鍵點(diǎn)進(jìn)行加權(quán)融合處理，以得到融合后的融合關(guān)鍵點(diǎn)；
11、基于量化公式將所述融合關(guān)鍵點(diǎn)的像素坐標(biāo)量化為預(yù)定范圍內(nèi)的整數(shù)量化坐標(biāo)，并按照時(shí)間順序?qū)⑺稣麛?shù)量化坐標(biāo)進(jìn)行排序，得到所述結(jié)構(gòu)化時(shí)空點(diǎn)序列；
12、其中，量化公式為：
13、；
14、式中，為量化后的整數(shù)量化坐標(biāo)，為融合關(guān)鍵點(diǎn)的原始像素坐標(biāo)，為幀圖像的寬度，以像素為單位。
15、在一些實(shí)施例中，所述基于所述倉(cāng)庫(kù)監(jiān)控視頻流以及所述物聯(lián)網(wǎng)傳感器數(shù)據(jù)，確定表征所述目標(biāo)物料搬運(yùn)軌跡的結(jié)構(gòu)化時(shí)空點(diǎn)序列包括：
16、確定初始模型；
17、獲取倉(cāng)庫(kù)軌跡訓(xùn)練集，所述倉(cāng)庫(kù)軌跡訓(xùn)練集包括真實(shí)軌跡標(biāo)注樣本和軌跡擴(kuò)充樣本；
18、從所述倉(cāng)庫(kù)軌跡訓(xùn)練集中抽取批量樣本，輸入所述初始模型進(jìn)行前向傳播，得到時(shí)空點(diǎn)預(yù)測(cè)序列；
19、確定所述時(shí)空點(diǎn)預(yù)測(cè)序列與樣本中標(biāo)注的時(shí)空點(diǎn)真實(shí)序列之間的時(shí)空距離損失值；
20、基于所述時(shí)空距離損失值，通過(guò)反向傳播算法確定初始模型的參數(shù)梯度，并利用梯度下降優(yōu)化算法更新優(yōu)化?所述初始模型的參數(shù)，以最小化所述時(shí)空距離損失；
21、重復(fù)迭代反向傳播步驟以及更新優(yōu)化步驟，直至達(dá)到預(yù)設(shè)訓(xùn)練輪次，獲得監(jiān)督微調(diào)后的監(jiān)督微調(diào)模型。
22、采用融合grpo與gspo策略的強(qiáng)化學(xué)習(xí)算法，并基于復(fù)合獎(jiǎng)勵(lì)函數(shù)對(duì)所述監(jiān)督微調(diào)模型進(jìn)行優(yōu)化，得到優(yōu)化后的時(shí)空點(diǎn)序列預(yù)測(cè)模型，所述復(fù)合獎(jiǎng)勵(lì)函數(shù)至少包括準(zhǔn)確率獎(jiǎng)勵(lì)項(xiàng)、序列長(zhǎng)度懲罰項(xiàng)和時(shí)序一致性獎(jiǎng)勵(lì)項(xiàng)；
23、將所述倉(cāng)庫(kù)監(jiān)控視頻流輸入至所述時(shí)空點(diǎn)序列預(yù)測(cè)模型，以得到所述時(shí)空點(diǎn)序列預(yù)測(cè)模型輸出的結(jié)構(gòu)化初始時(shí)空點(diǎn)序列；
24、基于所述物聯(lián)網(wǎng)傳感器數(shù)據(jù)，對(duì)所述結(jié)構(gòu)化初始時(shí)空點(diǎn)序列進(jìn)行修正，得到所述結(jié)構(gòu)化時(shí)空點(diǎn)序列。
25、在一些實(shí)施例中，所述復(fù)合獎(jiǎng)勵(lì)函數(shù)為：
26、；
27、；
28、式中，為準(zhǔn)確率獎(jiǎng)勵(lì)項(xiàng)，基于預(yù)測(cè)序列與真實(shí)序列之間的rouge分?jǐn)?shù)、視覺(jué)交并比或時(shí)序交并比計(jì)算；
29、為序列長(zhǎng)度懲罰項(xiàng)，基于余弦函數(shù)對(duì)過(guò)長(zhǎng)的預(yù)測(cè)軌跡序列進(jìn)行懲罰；
30、為適應(yīng)性時(shí)序獎(jiǎng)勵(lì)項(xiàng)，其評(píng)估時(shí)間窗口σ隨訓(xùn)練輪次增加而逐步減小；
31、為時(shí)間門控交并比獎(jiǎng)勵(lì)項(xiàng)，其僅在預(yù)測(cè)時(shí)間戳t與真實(shí)時(shí)間戳之差的絕對(duì)值小于所述時(shí)間窗口σ時(shí)被激活計(jì)算，即滿足時(shí)生效；
32、λ1,λ2,λ3為各獎(jiǎng)勵(lì)項(xiàng)對(duì)應(yīng)的權(quán)重系數(shù)。
33、在一些實(shí)施例中，所述基于所述結(jié)構(gòu)化時(shí)空點(diǎn)序列，結(jié)合所述文本數(shù)據(jù)，確定所述目標(biāo)物料當(dāng)前搬運(yùn)狀態(tài)的異常風(fēng)險(xiǎn)概率包括：
34、從所述結(jié)構(gòu)化時(shí)空點(diǎn)序列中，解析出至少一個(gè)運(yùn)動(dòng)學(xué)特征參數(shù)，所述運(yùn)動(dòng)學(xué)特征參數(shù)包括瞬時(shí)速度、平均速度、運(yùn)動(dòng)加速度、運(yùn)動(dòng)方向角或路徑曲率半徑；
35、從所述文本數(shù)據(jù)中，提取與當(dāng)前任務(wù)相關(guān)的至少一條業(yè)務(wù)規(guī)則，所述業(yè)務(wù)規(guī)則包括區(qū)域限速值、預(yù)設(shè)路徑坐標(biāo)、禁入?yún)^(qū)域邊界或物料屬性標(biāo)識(shí)；
36、將解析出的所述運(yùn)動(dòng)學(xué)特征參數(shù)與對(duì)應(yīng)的所述業(yè)務(wù)規(guī)則進(jìn)行匹配與比較，計(jì)算至少一項(xiàng)合規(guī)性偏差值；
37、基于所述文本數(shù)據(jù)中的物料屬性與任務(wù)優(yōu)先級(jí)，為所述合規(guī)性偏差值分配動(dòng)態(tài)權(quán)重；
38、將加權(quán)后的各項(xiàng)合規(guī)性偏差值輸入至預(yù)設(shè)的風(fēng)險(xiǎn)評(píng)估模型，以得到所述風(fēng)險(xiǎn)評(píng)估模型輸出的異常風(fēng)險(xiǎn)概率值，其中，所述風(fēng)險(xiǎn)評(píng)估模型為貝葉斯網(wǎng)絡(luò)模型或基于歷史異常數(shù)據(jù)訓(xùn)練的機(jī)器學(xué)習(xí)模型。
39、在一些實(shí)施例中，所述基于所述物聯(lián)網(wǎng)傳感器數(shù)據(jù)，對(duì)視覺(jué)置信度滿足預(yù)設(shè)置信度閾值的物料關(guān)鍵點(diǎn)進(jìn)行加權(quán)融合處理，以得到融合后的融合關(guān)鍵點(diǎn)；
40、根據(jù)所述物聯(lián)網(wǎng)傳感器數(shù)據(jù)中的振動(dòng)頻率確定門控閾值；
41、結(jié)合融合公式，基于所述物料關(guān)鍵點(diǎn)得到的視頻模態(tài)概率分布以及所述物聯(lián)網(wǎng)傳感器數(shù)據(jù)得到的物聯(lián)網(wǎng)模態(tài)概率分布，確定所述融合概率分布；
42、基于所述融合概率分布確定所述融合關(guān)鍵點(diǎn)；
43、其中，所述融合公式為：
44、；
45、式中，為融合概率分布，為所述物料關(guān)鍵點(diǎn)得到的視頻模態(tài)概率分布，為物聯(lián)網(wǎng)傳感器數(shù)據(jù)得到的物聯(lián)網(wǎng)模態(tài)概率分布，為預(yù)設(shè)門控權(quán)重。
46、在一些實(shí)施例中，所述基于所述物料關(guān)鍵點(diǎn)得到的視頻模態(tài)概率分布包括：
47、將包含所述物料關(guān)鍵點(diǎn)的視頻幀輸入至一預(yù)訓(xùn)練的目標(biāo)檢測(cè)神經(jīng)網(wǎng)絡(luò)，以得到所述目標(biāo)檢測(cè)神經(jīng)網(wǎng)絡(luò)輸出的視頻空間熱力圖，所述視頻空間熱力圖表征所述視頻幀中各空間位置存在目標(biāo)物料的視覺(jué)置信度，并將所述視覺(jué)置信度定義為所述視頻模態(tài)概率分布；
48、基于所述物聯(lián)網(wǎng)傳感器數(shù)據(jù)得到的物聯(lián)網(wǎng)模態(tài)概率分布，確定所述融合概率分布包括：
49、將物聯(lián)網(wǎng)傳感器數(shù)據(jù)輸入至一預(yù)訓(xùn)練的時(shí)空映射模型，以得到所述由所述模型輸出一物聯(lián)網(wǎng)空間概率圖，所述物聯(lián)網(wǎng)空間概率圖表征基于設(shè)備物理狀態(tài)推理出的目標(biāo)物料在所述視頻幀坐標(biāo)系中的空間位置概率，并將所述空間位置概率定義為所述物聯(lián)網(wǎng)模態(tài)概率分布。
50、根據(jù)本技術(shù)的另一個(gè)方面，還公開(kāi)了一種倉(cāng)庫(kù)物料流動(dòng)異常處理裝置，所述裝置包括：
51、數(shù)據(jù)獲取模塊，用于獲取目標(biāo)物料的倉(cāng)庫(kù)監(jiān)控視頻流、物聯(lián)網(wǎng)傳感器數(shù)據(jù)以及倉(cāng)庫(kù)管理系統(tǒng)對(duì)所述目標(biāo)物料的文本數(shù)據(jù)；
52、結(jié)構(gòu)化時(shí)空點(diǎn)序列確地模塊，基于所述倉(cāng)庫(kù)監(jiān)控視頻流以及所述物聯(lián)網(wǎng)傳感器數(shù)據(jù)，確定表征所述目標(biāo)物料搬運(yùn)軌跡的結(jié)構(gòu)化時(shí)空點(diǎn)序列，其中，所述結(jié)構(gòu)化時(shí)空點(diǎn)序列的格式為包含對(duì)象標(biāo)識(shí)符、預(yù)定范圍內(nèi)的整數(shù)量化坐標(biāo)點(diǎn)集及時(shí)間戳的純文本；
53、異常風(fēng)險(xiǎn)概率確定模塊，用于基于所述結(jié)構(gòu)化時(shí)空點(diǎn)序列，結(jié)合所述文本數(shù)據(jù)，確定所述目標(biāo)物料當(dāng)前搬運(yùn)狀態(tài)的異常風(fēng)險(xiǎn)概率；
54、干預(yù)指令發(fā)送模塊，用于當(dāng)所述異常風(fēng)險(xiǎn)概率超過(guò)預(yù)設(shè)閾值時(shí)，向所述目標(biāo)物料對(duì)應(yīng)的物料搬運(yùn)設(shè)備發(fā)送干預(yù)指令，以使得所述物料搬運(yùn)設(shè)備響應(yīng)于所述干預(yù)指令執(zhí)行干預(yù)動(dòng)作，所述干預(yù)動(dòng)作基于所述干預(yù)指令確定。
55、根據(jù)本技術(shù)的另一個(gè)方面，還公開(kāi)了一種電子設(shè)備，所述電子設(shè)備包括存儲(chǔ)器和至少一個(gè)處理器，所述存儲(chǔ)器中存儲(chǔ)有指令；所述至少一個(gè)處理器調(diào)用所述存儲(chǔ)器中的所述指令，以使得所述電子設(shè)備執(zhí)行如上任一項(xiàng)所述的倉(cāng)庫(kù)物料流動(dòng)異常處理方法的各個(gè)步驟。
56、根據(jù)本技術(shù)的另一個(gè)方面，還公開(kāi)了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)上存儲(chǔ)有指令，所述指令被處理器執(zhí)行時(shí)實(shí)現(xiàn)如上任一項(xiàng)所述的倉(cāng)庫(kù)物料流動(dòng)異常處理方法的各個(gè)步驟。
57、本發(fā)明包括但不限于如下有益效果：（1）本方案通過(guò)網(wǎng)格劃分、關(guān)鍵點(diǎn)采樣、特別是基于門控機(jī)制的跨模態(tài)融合，將異構(gòu)數(shù)據(jù)統(tǒng)一編碼為簡(jiǎn)潔的結(jié)構(gòu)化時(shí)空點(diǎn)序列，這種序列為高度壓縮的數(shù)據(jù)格式，實(shí)現(xiàn)了低延遲處理；（2）本方案通過(guò)動(dòng)態(tài)網(wǎng)格劃分與視頻空間熱力圖?生成，系統(tǒng)能根據(jù)目標(biāo)大小自適應(yīng)調(diào)整分析粒度，并量化視覺(jué)置信度，從而在目標(biāo)尺度多變、光線條件復(fù)雜的倉(cāng)庫(kù)環(huán)境中，實(shí)現(xiàn)更精細(xì)、更魯棒的關(guān)鍵點(diǎn)定位，從源頭上提高了軌跡感知的準(zhǔn)確性；（3）本方案不是簡(jiǎn)單依賴視覺(jué)，而是利用物聯(lián)網(wǎng)傳感器數(shù)據(jù)作為獨(dú)立信源，對(duì)高置信度的視覺(jué)關(guān)鍵點(diǎn)進(jìn)行交叉驗(yàn)證與修正，使得在視覺(jué)受遮擋、模糊或干擾時(shí)，系統(tǒng)依然能輸出可靠的軌跡判斷，極大地增強(qiáng)了整個(gè)系統(tǒng)的抗干擾能力和可靠性；（4）本方案融合grpo與gspo策略，在強(qiáng)化學(xué)習(xí)過(guò)程中平衡了快速探索與穩(wěn)定優(yōu)化，避免了模型在追求高獎(jiǎng)勵(lì)時(shí)陷入局部最優(yōu)或產(chǎn)生劇烈波動(dòng)，確保了訓(xùn)練過(guò)程的穩(wěn)健性和最終模型性能的可靠性；（5）本方案創(chuàng)新性地引入了基于物料屬性與任務(wù)優(yōu)先級(jí)分配動(dòng)態(tài)權(quán)重的機(jī)制，這使得系統(tǒng)能夠理解同樣程度的超速，運(yùn)輸危險(xiǎn)化學(xué)品比運(yùn)輸空托盤風(fēng)險(xiǎn)更高或緊急訂單的輕微路徑偏離可接受度更高等復(fù)雜業(yè)務(wù)邏輯，風(fēng)險(xiǎn)計(jì)算不再是簡(jiǎn)單的規(guī)則匹配，而是具備了業(yè)務(wù)上下文感知能力的智能決策，大幅提升了報(bào)警的合理性與可操作性，減少了因規(guī)則僵化導(dǎo)致的無(wú)效報(bào)警。