本發(fā)明涉及金融、醫(yī)療健康及人工智能，尤其涉及一種視頻幀提取方法、裝置、設(shè)備及介質(zhì)。

背景技術(shù)：

1、視頻關(guān)鍵幀提取是視頻分析與壓縮的核心技術(shù)，其目標(biāo)是從視頻序列中選取最具代表性的幀，以降低存儲成本并保留關(guān)鍵信息。

2、視頻幀提取在各個領(lǐng)域中都具有重大意義。例如：在金融領(lǐng)域，通過提取關(guān)鍵幀可以在風(fēng)險識別任務(wù)中快速定位視頻中的行為異常瞬間；在醫(yī)療健康領(lǐng)域，通過提取關(guān)鍵幀可以在病例探討時快速定位視頻中的關(guān)鍵節(jié)點(diǎn)(如手術(shù)關(guān)鍵節(jié)點(diǎn))。

3、現(xiàn)有技術(shù)中，主要依賴手工設(shè)計的特征(如光流、顏色直方圖)或監(jiān)督學(xué)習(xí)進(jìn)行關(guān)鍵視頻幀提取，但前者難以適應(yīng)復(fù)雜場景，后者需要大量標(biāo)注數(shù)據(jù)。現(xiàn)有技術(shù)在噪聲環(huán)境下的魯棒性差，且難以適用于大規(guī)模視頻數(shù)據(jù)的自動處理和分析。

技術(shù)實現(xiàn)思路

1、鑒于以上內(nèi)容，有必要提供一種視頻幀提取方法、裝置、設(shè)備及介質(zhì)，旨在解決視頻幀提取方法魯棒性差，且難以適用于大規(guī)模視頻數(shù)據(jù)的自動處理和分析的問題。

2、一種視頻幀提取方法，所述視頻幀提取方法包括：

3、響應(yīng)于基于初始視頻數(shù)據(jù)的視頻幀提取指令，按照配置長度將所述初始視頻數(shù)據(jù)分割為多個視頻片段；

4、將所述多個視頻片段輸入至基于不確定性加權(quán)對比學(xué)習(xí)框架訓(xùn)練的貝葉斯3d卷積特征提取器，得到帶有不確定性估計的幀特征；

5、利用時序一致性感知的關(guān)鍵幀選擇器根據(jù)所述幀特征從所述多個視頻片段中提取目標(biāo)視頻幀。

6、一種視頻幀提取裝置，所述視頻幀提取裝置包括：

7、分割單元，用于響應(yīng)于基于初始視頻數(shù)據(jù)的視頻幀提取指令，按照配置長度將所述初始視頻數(shù)據(jù)分割為多個視頻片段；

8、輸入單元，用于將所述多個視頻片段輸入至基于不確定性加權(quán)對比學(xué)習(xí)框架訓(xùn)練的貝葉斯3d卷積特征提取器，得到帶有不確定性估計的幀特征；

9、提取單元，用于利用時序一致性感知的關(guān)鍵幀選擇器根據(jù)所述幀特征從所述多個視頻片段中提取目標(biāo)視頻幀。

10、一種計算機(jī)設(shè)備，所述計算機(jī)設(shè)備包括：

11、存儲器，存儲至少一個指令；及

12、處理器，執(zhí)行所述存儲器中存儲的指令以實現(xiàn)所述視頻幀提取方法。

13、一種計算機(jī)可讀存儲介質(zhì)，所述計算機(jī)可讀存儲介質(zhì)中存儲有至少一個指令，所述至少一個指令被計算機(jī)設(shè)備中的處理器執(zhí)行以實現(xiàn)所述視頻幀提取方法。

14、由以上技術(shù)方案可以看出，本發(fā)明能夠按照配置長度將初始視頻數(shù)據(jù)分割為多個視頻片段，從而適配網(wǎng)絡(luò)輸入維度，并降低大量數(shù)據(jù)同時處理的耗時及資源占用；將多個視頻片段輸入至基于不確定性加權(quán)對比學(xué)習(xí)框架訓(xùn)練的貝葉斯3d卷積特征提取器得到帶有不確定性估計的幀特征，實現(xiàn)了雙重不確定性量化，提供了對噪聲數(shù)據(jù)的識別能力，同時，基于不確定性加權(quán)對比學(xué)習(xí)框架進(jìn)行訓(xùn)練，能夠利用不確定性信息動態(tài)調(diào)整對比學(xué)習(xí)中的樣本權(quán)重，有效抑制了噪聲樣本對模型訓(xùn)練的干擾；利用時序一致性感知的關(guān)鍵幀選擇器根據(jù)幀特征從多個視頻片段中提取目標(biāo)視頻幀，能夠確保所選關(guān)鍵視頻幀既具有代表性又保持時間連貫性。

技術(shù)特征：

1.一種視頻幀提取方法，其特征在于，所述視頻幀提取方法包括：

2.如權(quán)利要求1所述的視頻幀提取方法，其特征在于，所述貝葉斯3d卷積特征提取器包括基于3d?resnet50的主干網(wǎng)絡(luò)、蒙特卡洛dropout層及數(shù)據(jù)不確定性估計組件；所述將所述多個視頻片段輸入至基于不確定性加權(quán)對比學(xué)習(xí)框架訓(xùn)練的貝葉斯3d卷積特征提取器，得到帶有不確定性估計的幀特征包括：

3.如權(quán)利要求2所述的視頻幀提取方法，其特征在于，所述將所述多個視頻片段輸入至基于不確定性加權(quán)對比學(xué)習(xí)框架訓(xùn)練的貝葉斯3d卷積特征提取器，得到帶有不確定性估計的幀特征前，所述方法還包括：

4.如權(quán)利要求3所述的視頻幀提取方法，其特征在于，所述基于不確定性的動態(tài)權(quán)重構(gòu)建對比損失函數(shù)包括：

5.如權(quán)利要求4所述的視頻幀提取方法，其特征在于，所述利用時序一致性感知的關(guān)鍵幀選擇器根據(jù)所述幀特征從所述多個視頻片段中提取目標(biāo)視頻幀包括：

6.如權(quán)利要求5所述的視頻幀提取方法，其特征在于，所述根據(jù)所述幀特征計算幀間注意力權(quán)重包括：

7.如權(quán)利要求6所述的視頻幀提取方法，其特征在于，所述根據(jù)所述幀間注意力權(quán)重及所述幀特征計算所述多個視頻片段中每個視頻幀的關(guān)鍵幀得分包括：

8.一種視頻幀提取裝置，其特征在于，所述視頻幀提取裝置包括：

9.一種計算機(jī)設(shè)備，其特征在于，所述計算機(jī)設(shè)備包括：

10.一種計算機(jī)可讀存儲介質(zhì)，其特征在于：所述計算機(jī)可讀存儲介質(zhì)中存儲有至少一個指令，所述至少一個指令被計算機(jī)設(shè)備中的處理器執(zhí)行以實現(xiàn)如權(quán)利要求1至7中任意一項所述的視頻幀提取方法。

技術(shù)總結(jié)
本發(fā)明涉及金融、醫(yī)療健康及人工智能技術(shù)領(lǐng)域，提供一種視頻幀提取方法、裝置、設(shè)備及介質(zhì)，能夠按照配置長度將初始視頻數(shù)據(jù)分割為多個視頻片段，從而適配網(wǎng)絡(luò)輸入維度，并降低大量數(shù)據(jù)同時處理的耗時及資源占用；將多個視頻片段輸入至基于不確定性加權(quán)對比學(xué)習(xí)框架訓(xùn)練的貝葉斯3D卷積特征提取器得到帶有不確定性估計的幀特征，實現(xiàn)了雙重不確定性量化，提供了對噪聲數(shù)據(jù)的識別能力，同時，基于不確定性加權(quán)對比學(xué)習(xí)框架進(jìn)行訓(xùn)練，能夠利用不確定性信息動態(tài)調(diào)整對比學(xué)習(xí)中的樣本權(quán)重，有效抑制了噪聲樣本對模型訓(xùn)練的干擾；利用時序一致性感知的關(guān)鍵幀選擇器根據(jù)幀特征提取目標(biāo)視頻幀，能夠確保所選關(guān)鍵視頻幀既具有代表性又保持時間連貫性。

技術(shù)研發(fā)人員：舒暢,陳遠(yuǎn)旭
受保護(hù)的技術(shù)使用者：平安科技（深圳）有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/8/28