一種多教師聯(lián)合蒸餾與插件式模型擴(kuò)展方法

技術(shù)特征：

1.一種多教師聯(lián)合蒸餾與插件式模型擴(kuò)展方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述步驟1具體包括：

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述進(jìn)行聯(lián)合蒸餾訓(xùn)練的步驟，包括：

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述構(gòu)建用于表征多教師共識(shí)知識(shí)的主干監(jiān)督信號(hào)的步驟，包括：

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述特征解耦約束具體為特征空間正交解耦約束，通過(guò)最小化任務(wù)特定適配器輸出的任務(wù)特性特征在共享主干網(wǎng)絡(luò)輸出的共性特征方向上的投影分量，實(shí)現(xiàn)二者在特征空間中的正交化解耦。

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述特征空間正交解耦約束對(duì)應(yīng)的特征解耦損失函數(shù)為：

7.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述聯(lián)合蒸餾訓(xùn)練采用聯(lián)合損失函數(shù)優(yōu)化解耦式學(xué)生模型，其中，所述聯(lián)合損失函數(shù)的表達(dá)式為

8.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)任務(wù)標(biāo)識(shí)動(dòng)態(tài)調(diào)用對(duì)應(yīng)的任務(wù)特定適配器的步驟，包括：

9.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述新增并訓(xùn)練新任務(wù)特定適配器的步驟，包括：

技術(shù)總結(jié)
本發(fā)明提供了一種多教師聯(lián)合蒸餾與插件式模型擴(kuò)展方法，屬于數(shù)據(jù)處理技術(shù)領(lǐng)域，具體包括：構(gòu)建解耦式學(xué)生模型；利用多個(gè)教師模型對(duì)解耦式學(xué)生模型進(jìn)行聯(lián)合蒸餾訓(xùn)練，在訓(xùn)練過(guò)程中對(duì)共享主干網(wǎng)絡(luò)輸出的共性特征與任務(wù)特定適配器輸出的任務(wù)特性特征施加特征解耦約束；在推理階段，利用訓(xùn)練好的解耦式學(xué)生模型根據(jù)任務(wù)標(biāo)識(shí)動(dòng)態(tài)調(diào)用對(duì)應(yīng)的任務(wù)特定適配器，與共享主干網(wǎng)絡(luò)聯(lián)合處理輸入數(shù)據(jù)，得到與該任務(wù)標(biāo)識(shí)對(duì)應(yīng)的推理結(jié)果；執(zhí)行插件式增量擴(kuò)展，當(dāng)接入新教師模型以引入新任務(wù)時(shí)，響應(yīng)于新教師模型的接入，保持共享主干網(wǎng)絡(luò)不變，新增并訓(xùn)練與新教師模型對(duì)應(yīng)的新任務(wù)特定適配器。通過(guò)本發(fā)明的方案，提高了靈活性和適應(yīng)性。

技術(shù)研發(fā)人員：曹文治,陳好,楊俊豐,劉利枚,曾焯,楊佳浩
受保護(hù)的技術(shù)使用者：湖南工商大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2026/6/9