本發明涉及計算機視覺與視頻圖像處理，具體為一種基于深度學習的影視畫面智能補幀方法及系統。
背景技術：
1、視頻插幀（video?frame?interpolation,?vfi）旨在通過分析原始視頻序列中相鄰幀的時空關系，合成出不存在的中間幀，從而提高視頻幀率，增強畫面的流暢度與清晰度。該技術廣泛應用于慢動作視頻生成、老舊影視修復、幀率上變換（frame?rate?up-conversion）以及超高清顯示設備的視頻增強等場景。
2、隨著深度學習技術的發展，基于卷積神經網絡（cnn）的插幀方法已逐漸取代傳統的塊匹配方法成為主流。現有的深度學習插幀方案通常主要依賴光流法（optical?flow），即先利用神經網絡預測相鄰幀之間的像素運動向量場，再利用光流對原圖像進行像素重采樣（warping）以合成中間幀。盡管現有的基于光流的插幀算法在處理小位移和簡單紋理場景時取得了較好的效果，但在面對影視畫面中常見的大位移剛體運動及復雜遮擋場景時，仍存在顯著的技術局限。
3、目前的端到端光流預測網絡大多基于局部卷積特征進行像素級的運動回歸。這種基于局部感受野的預測機制忽略了場景中剛體對象（如車輛、建筑物）固有的整體幾何約束。在處理剛體快速運動或大位移場景時，網絡往往難以保證剛體內部所有像素運動的一致性，導致合成畫面中的直線結構出現彎曲、扭曲或斷裂，產生非物理的形變偽影。此外，為了保證光流場的平滑性，現有技術通常會在損失函數中引入平滑項，這雖然降低了噪聲，但也容易導致運動邊界的過度平滑。在物體邊緣處，前景的運動矢量容易與背景的運動矢量發生混疊，造成運動邊界模糊。同時，單目視頻缺乏深度信息，在發生多物體相互遮擋或背景顯露時，僅憑像素亮度信息難以準確判斷像素的前后層級關系，導致在合成過程中背景紋理錯誤地覆蓋前景，或無法正確填充因前景移動而顯露出的背景空洞區域，嚴重影響了最終生成的視頻畫質。
技術實現思路
1、針對現有技術的不足，本發明提供了一種基于深度學習的影視畫面智能補幀方法及系統，解決了現有視頻插幀技術在處理大位移剛體運動時容易產生結構扭曲以及在遮擋區域合成模糊的問題。
2、為實現以上目的，本發明通過以下技術方案予以實現：本發明第一方面提供一種基于深度學習的影視畫面智能補幀方法，該方法首先獲取視頻序列的時間相鄰幀，利用深度神經網絡提取圖像的多尺度特征并進行語義解析。通過語義分割技術，將圖像像素劃分為剛體實例區域（如車輛、建筑）和非剛體區域（如行人、植被）。不同于傳統方法對全圖進行統一的像素級光流預測，本方法采用分治策略。針對具有嚴格幾何約束的剛體實例，利用參數回歸網絡直接預測其在三維空間投影下的幾何變換參數，包括單應性變換矩陣或仿射變換矩陣。系統利用這些變換參數構建一個符合物理透視規律的參數化剛體基準流場。該基準流場在剛體內部具有數學解析的平滑性，能夠精確描述剛體的平面運動或視差變化。
3、在此基礎上，本方法進一步計算參數化剛體基準流場的空間梯度場，該梯度場表征了剛體運動在空間上的拉伸、旋轉和切變趨勢。同時，基于語義分割結果提取語義邊緣權重圖，用于標識剛體與背景或剛體與非剛體對象的交界區域。在生成最終光流的過程中，本方法利用深度殘差網絡預測一個非結構化的殘差光流場，并將該殘差光流場與參數化剛體基準流場疊加。
4、為了確保剛體邊緣在運動過程中不發生形變，本方法引入了運動場梯度一致性約束機制。該機制利用語義邊緣權重圖作為門控信號，在剛體輪廓邊緣區域，強制合成光流場的空間梯度與參數化剛體基準流場的空間梯度保持一致。通過抑制殘差光流場在邊緣處的切向變化率，使得合成后的光流場既保留了非剛體區域的獨立運動細節，又嚴格維持了剛體對象的幾何結構完整性。
5、最后，本方法建立基于語義類別的偽深度排序邏輯。根據語義類別（如前景剛體、背景等）的預設優先級生成偽深度圖。在畫面合成階段，利用合成光流場執行分層前向變換，并采用基于偽深度的潑濺算法解決多像素映射到同一位置的遮擋沖突，確保前景物體正確覆蓋背景物體。對于因前景運動顯露出的背景空洞區域，利用背景層的獨立變換結果進行填充，并經由網格細化網絡恢復紋理細節，最終生成高保真的目標中間幀圖像。
6、本發明第二方面提供一種基于深度學習的影視畫面智能補幀系統。該系統包含特征提取與語義解析模塊、參數化剛體運動估計模塊、殘差光流生成模塊以及深度感知合成模塊。
7、特征提取與語義解析模塊用于對輸入圖像序列進行編碼，生成特征圖及區分剛體與非剛體對象的語義掩膜。參數化剛體運動估計模塊用于根據語義掩膜識別剛體實例，通過回歸網絡預測幾何變換參數，并構建反映剛體物理運動規律的參數化剛體基準流場。殘差光流生成模塊用于計算基準流場的空間梯度及語義邊緣權重，并通過深度網絡預測殘差光流；該模塊在計算過程中集成了梯度一致性約束邏輯，利用邊緣權重強制合成光流的空間導數在剛體邊界處逼近基準流場的解析導數，從而消除邊緣偽影。深度感知合成模塊用于依據語義類別生成偽深度信息，利用光流場和偽深度執行能夠處理遮擋的分層前向變換及空洞填充，最終輸出中間幀圖像。
8、本發明提供了一種基于深度學習的影視畫面智能補幀方法及系統。具備以下有益效果：
9、1、?本發明通過基于語義分割構建參數化剛體基準流場，并結合殘差光流生成機制，有效解決了大位移場景下剛體結構的保持問題，該方法利用單應性矩陣或仿射矩陣對車輛、建筑等剛體實例進行解析式的運動建模，確保了基準流場嚴格遵循物理透視規律；同時利用深度殘差網絡僅針對非剛體區域或微小形變進行修正，避免了傳統純像素級光流預測在處理大幅度運動時產生的結構扭曲，提升了剛體對象在合成畫面中的幾何真實感。
10、2、?本發明引入了基于語義邊緣權重的運動場梯度一致性約束，改善了運動物體邊緣的清晰度，通過計算基準流場的空間梯度場，并在語義邊緣區域強制合成光流場的空間導數逼近基準流場的解析導數，本發明能夠有效抑制殘差光流在物體輪廓處的錯誤平滑或切向突變，這一機制確保了剛體在運動過程中其邊緣拓撲結構不發生崩塌或拖影，使得合成的中間幀圖像在物體交界處保持銳利，解決了光流溢出導致的邊緣模糊問題。
11、3、?本發明采用了基于語義偽深度的分層前向變換與空洞填充策略，解決了單目視頻插幀中的遮擋與空洞修復難題，通過預設的語義優先級生成偽深度圖，并配合softmax潑濺算法執行前向warping，系統能夠精確判斷像素的前后遮擋關系，防止背景像素錯誤覆蓋前景物體，同時，利用獨立的背景層變換對顯露出的區域進行互補填充，有效修復了因物體運動產生的畫面空洞，保證了合成圖像在紋理細節和空間邏輯上的完整性。
1.一種基于深度學習的影視畫面智能補幀方法，其特征在于，包括以下步驟：
2.根據權利要求1所述的一種基于深度學習的影視畫面智能補幀方法，其特征在于，基于所述語義分割掩膜，將所述第一幀圖像劃分為剛體實例區域和非剛體區域的步驟包括：
3.根據權利要求1所述的一種基于深度學習的影視畫面智能補幀方法，其特征在于，根據所述幾何變換參數構建覆蓋全圖的參數化剛體基準流場的步驟包括：
4.根據權利要求1所述的一種基于深度學習的影視畫面智能補幀方法，其特征在于，所述幾何變換參數包括單應性變換矩陣和仿射變換矩陣；所述通過參數回歸網絡預測各所述剛體實例區域從所述第一幀圖像時刻到目標中間幀圖像時刻的幾何變換參數的步驟包括：
5.根據權利要求1所述的一種基于深度學習的影視畫面智能補幀方法，其特征在于，根據所述語義分割概率圖提取語義邊緣權重圖的步驟包括：
6.根據權利要求1所述的一種基于深度學習的影視畫面智能補幀方法，其特征在于，所述引入運動場梯度一致性約束的步驟包括：
7.根據權利要求1所述的一種基于深度學習的影視畫面智能補幀方法，其特征在于，根據所述語義分割概率圖確定各像素區域的偽深度順序的步驟包括：
8.根據權利要求1所述的一種基于深度學習的影視畫面智能補幀方法，其特征在于，通過利用所述合成光流場和所述偽深度順序對所述第一幀圖像執行分層前向變換及空洞填充，生成目標中間幀圖像的步驟包括：
9.根據權利要求1所述的一種基于深度學習的影視畫面智能補幀方法，其特征在于，通過對所述參數化剛體基準流場進行空間微分運算計算得到空間梯度場的步驟包括：
10.一種基于深度學習的影視畫面智能補幀系統，其特征在于，應用于如權利要求1-9任一項所述的一種基于深度學習的影視畫面智能補幀方法，包括：