本發(fā)明涉及跨境數(shù)據(jù)安全,具體涉及一種數(shù)據(jù)傳輸?shù)奶幚矸椒?、系統(tǒng)、電子設(shè)備和介質(zhì)。
背景技術(shù):
1、在數(shù)字全球化加速推進(jìn)的當(dāng)下,海量數(shù)據(jù)要素的跨境流動已成為驅(qū)動人工智能技術(shù)實現(xiàn)突破的關(guān)鍵動力。面對當(dāng)前國際形勢的復(fù)雜多變,在國內(nèi)獲取大量優(yōu)質(zhì)計算資源如顯卡算力面臨挑戰(zhàn)。與此同時,大規(guī)模模型訓(xùn)練對高質(zhì)量、多樣化的數(shù)據(jù)需求日益增長,這使得如何安全且合規(guī)地整合和利用多方數(shù)據(jù)資源進(jìn)行跨境協(xié)作,成為影響全球人工智能發(fā)展的關(guān)鍵課題。
2、在確保數(shù)據(jù)主權(quán)和隱私保護(hù)的前提下,通過聯(lián)邦學(xué)習(xí)、同態(tài)加密等隱私計算技術(shù)搭建可信數(shù)據(jù)空間,構(gòu)建兼顧安全與效率的跨境協(xié)作機(jī)制,已成為破解數(shù)據(jù)要素全球化配置難題的關(guān)鍵路徑。為了利用更經(jīng)濟(jì)的海外計算資源,許多企業(yè)考慮將數(shù)據(jù)傳輸至境外進(jìn)行大型模型訓(xùn)練。然而,這種做法面臨著重大挑戰(zhàn):在數(shù)據(jù)跨境傳輸過程中,若不采取適當(dāng)?shù)谋Wo(hù)措施,個人信息和重要數(shù)據(jù)極易遭受泄露或濫用的風(fēng)險。此外,還需遵循嚴(yán)格的數(shù)據(jù)出境管理規(guī)定。
3、對于企業(yè)而言,在尋求解決算力需求的同時,如何確保數(shù)據(jù)跨境傳輸?shù)陌踩猿蔀榱艘粋€亟待解決的問題。目前缺乏一種既能夠有效保護(hù)境內(nèi)個人信息及重要數(shù)據(jù)安全,又能夠在滿足數(shù)據(jù)出境管理要求的前提下,支持海外數(shù)據(jù)訓(xùn)練的安全傳輸方案。同樣地,在經(jīng)過海外訓(xùn)練的數(shù)據(jù)模型傳回國內(nèi)時,考慮到這些數(shù)據(jù)模型作為企業(yè)的寶貴資產(chǎn),擁有極高的商業(yè)價值,必須確保其在整個返回過程中的安全性與保密性,防止任何可能的信息泄露。因此,企業(yè)急需一種全面的安全、可信解決方案,不僅保障數(shù)據(jù)在跨境傳輸過程中的隱私與完整性,同時也確保經(jīng)過訓(xùn)練的數(shù)據(jù)模型在回國途中的安全,從而維護(hù)企業(yè)的核心利益和技術(shù)優(yōu)勢。
技術(shù)實現(xiàn)思路
1、基于上述現(xiàn)狀,本發(fā)明的主要目的在于提供一種數(shù)據(jù)傳輸?shù)奶幚矸椒?、系統(tǒng)、電子設(shè)備和介質(zhì),通過管理平臺將數(shù)據(jù)從境內(nèi)的數(shù)據(jù)提供方傳輸至境外的數(shù)據(jù)訓(xùn)練方,既能確保數(shù)據(jù)隱私保護(hù),又能滿足數(shù)據(jù)跨境合規(guī)流程。
2、為實現(xiàn)上述目的,本發(fā)明采用的技術(shù)方案如下:
3、本發(fā)明的第一方面提供了一種數(shù)據(jù)傳輸?shù)奶幚矸椒?,用于管理平臺將數(shù)據(jù)從境內(nèi)的數(shù)據(jù)提供方發(fā)送至境外的數(shù)據(jù)訓(xùn)練方以供所述數(shù)據(jù)訓(xùn)練方進(jìn)行模型訓(xùn)練,所述處理方法包括如下步驟:
4、對境內(nèi)的至少一個數(shù)據(jù)提供方進(jìn)行身份認(rèn)證;
5、所述管理平臺接收來自所述至少一個數(shù)據(jù)提供方的消息,所述消息包括該數(shù)據(jù)提供方需要傳輸?shù)臄?shù)據(jù),在該數(shù)據(jù)提供方經(jīng)身份認(rèn)證后對所述消息進(jìn)行處理;其中,所述處理包括:
6、在本地存證該數(shù)據(jù)對應(yīng)的元數(shù)據(jù);
7、對該數(shù)據(jù)進(jìn)行檢測并分類分級;
8、所述管理平臺通過數(shù)據(jù)傳輸專用線路將該數(shù)據(jù)發(fā)送至境外的數(shù)據(jù)訓(xùn)練方。
9、優(yōu)選地,所述對境內(nèi)的至少一個數(shù)據(jù)提供方進(jìn)行身份認(rèn)證,包括如下步驟:
10、所述管理平臺生成數(shù)字證書,并將該數(shù)字證書發(fā)送至該數(shù)據(jù)提供方;
11、該數(shù)據(jù)提供方對所述需要傳輸?shù)臄?shù)據(jù)進(jìn)行數(shù)字簽名,經(jīng)數(shù)字簽名的數(shù)據(jù)與所接收到的數(shù)字證書一起打包成消息并發(fā)送至所述管理平臺;
12、所述管理平臺根據(jù)所接收到的消息對該數(shù)據(jù)提供方進(jìn)行身份認(rèn)證。
13、優(yōu)選地,在所述管理平臺通過數(shù)據(jù)傳輸專用線路將該數(shù)據(jù)發(fā)送至境外的數(shù)據(jù)訓(xùn)練方之前,還包括如下步驟:
14、若該數(shù)據(jù)的傳輸請求存在風(fēng)險,
15、所述管理平臺向該數(shù)據(jù)提供方發(fā)送風(fēng)險評估消息,
16、該數(shù)據(jù)提供方根據(jù)接收到的風(fēng)險評估消息進(jìn)行風(fēng)險消除,并向所述管理平臺提交風(fēng)險評估結(jié)果,
17、所述管理平臺對所述風(fēng)險評估結(jié)果進(jìn)行評估,若仍存在風(fēng)險,則重復(fù)本步驟,直至該數(shù)據(jù)的傳輸請求不存在風(fēng)險。
18、優(yōu)選地,所述管理平臺接收來自所述至少一個數(shù)據(jù)提供方的消息,所述消息包括該數(shù)據(jù)提供方需要傳輸?shù)臄?shù)據(jù),在該數(shù)據(jù)提供方經(jīng)身份認(rèn)證后對所述消息進(jìn)行處理,包括如下步驟:
19、在接收到來自某一數(shù)據(jù)提供方的消息時,根據(jù)所述管理平臺的消息處理狀態(tài)確定是否對該數(shù)據(jù)提供方的消息進(jìn)行處理,其中:
20、若所述管理平臺正在處理消息,則將該數(shù)據(jù)提供方的消息送入等待隊列,并記錄該消息的接收時間;
21、若所述管理平臺未在處理消息,則立即對該數(shù)據(jù)提供方的消息進(jìn)行處理。
22、優(yōu)選地,所述處理方法還包括如下步驟:
23、所述管理平臺在處理完某一消息后,優(yōu)先取出所述等待隊列中的消息,并根據(jù)該消息的接收時間判斷該消息是否已超出處理時限,
24、若是,則通知該消息的數(shù)據(jù)提供方重新發(fā)送消息;
25、若否,則對該消息進(jìn)行處理。
26、本發(fā)明的第二方面提供了一種數(shù)據(jù)傳輸?shù)奶幚矸椒?,用于管理平臺將數(shù)據(jù)從境外的數(shù)據(jù)訓(xùn)練方發(fā)送至境內(nèi)的數(shù)據(jù)提供方,所述處理方法包括如下步驟:
27、數(shù)據(jù)訓(xùn)練方和管理平臺進(jìn)行身份認(rèn)證;
28、經(jīng)所述身份認(rèn)證后,所述數(shù)據(jù)訓(xùn)練方向所述數(shù)據(jù)提供方發(fā)起密鑰協(xié)商;
29、根據(jù)所述密鑰協(xié)商的結(jié)果,所述數(shù)據(jù)訓(xùn)練方使用所述密鑰協(xié)商的密鑰對所述數(shù)據(jù)進(jìn)行加密,并將加密后的數(shù)據(jù)發(fā)送至所述管理平臺;
30、所述管理平臺將接收到的所述加密后的數(shù)據(jù)發(fā)送至所述數(shù)據(jù)提供方;
31、所述數(shù)據(jù)提供方使用所述密鑰協(xié)商的密鑰對接收到的所述加密后的數(shù)據(jù)進(jìn)行解密。
32、優(yōu)選地,所述數(shù)據(jù)訓(xùn)練方和管理平臺進(jìn)行身份認(rèn)證,包括如下步驟:
33、所述數(shù)據(jù)訓(xùn)練方向所述管理平臺請求驗證;
34、所述管理平臺生成數(shù)字證書,并將該數(shù)字證書發(fā)送至該數(shù)據(jù)訓(xùn)練方,其中,所述管理平臺在本地保存所述數(shù)據(jù)訓(xùn)練方、管理平臺和數(shù)據(jù)提供方的公鑰;
35、所述數(shù)據(jù)訓(xùn)練方根據(jù)接收到的數(shù)字證書對管理平臺進(jìn)行身份認(rèn)證。
36、本發(fā)明的第三方面提供了一種數(shù)據(jù)傳輸?shù)奶幚硐到y(tǒng),所述處理系統(tǒng)包括:
37、管理平臺,用于將數(shù)據(jù)從境內(nèi)的數(shù)據(jù)提供方發(fā)送至境外的數(shù)據(jù)訓(xùn)練方;
38、數(shù)據(jù)提供方,用于提供需要傳輸?shù)臄?shù)據(jù);
39、數(shù)據(jù)訓(xùn)練方,用于對所述數(shù)據(jù)提供方提供的數(shù)據(jù)進(jìn)行模型訓(xùn)練;
40、其中,所述管理平臺所在機(jī)房采用物理隔離方式。
41、優(yōu)選地,所述管理平臺,還用于對境內(nèi)的至少一個數(shù)據(jù)提供方進(jìn)行身份認(rèn)證,并接收來自所述至少一個數(shù)據(jù)提供方的消息,所述消息包括該數(shù)據(jù)提供方需要傳輸?shù)臄?shù)據(jù),在該數(shù)據(jù)提供方經(jīng)身份認(rèn)證后對所述消息進(jìn)行處理;其中,所述處理包括:
42、在本地存證該數(shù)據(jù)對應(yīng)的元數(shù)據(jù);
43、對該數(shù)據(jù)進(jìn)行檢測并分類分級。
44、優(yōu)選地,所述管理平臺,還用于通過數(shù)據(jù)傳輸專用線路將該數(shù)據(jù)發(fā)送至境外的數(shù)據(jù)訓(xùn)練方。
45、本發(fā)明的第四方面提供了一種數(shù)據(jù)傳輸?shù)奶幚硐到y(tǒng),所述處理系統(tǒng)包括:
46、管理平臺,用于將數(shù)據(jù)從境外的數(shù)據(jù)訓(xùn)練方發(fā)送至境內(nèi)的數(shù)據(jù)提供方;
47、數(shù)據(jù)訓(xùn)練方,用于對所述數(shù)據(jù)提供方提供的數(shù)據(jù)進(jìn)行模型訓(xùn)練,并將模型訓(xùn)練得到的模型參數(shù)發(fā)送至所述管理平臺;
48、數(shù)據(jù)提供方,用于接收模型參數(shù);
49、其中,所述管理平臺所在機(jī)房采用物理隔離方式。
50、優(yōu)選地,所述數(shù)據(jù)訓(xùn)練方,還用于向所述數(shù)據(jù)提供方發(fā)起密鑰協(xié)商,并根據(jù)所述密鑰協(xié)商的結(jié)果使用所述密鑰協(xié)商的密鑰對所述數(shù)據(jù)進(jìn)行加密,并將加密后的數(shù)據(jù)發(fā)送至所述管理平臺;
51、所述管理平臺,還用于將接收到的所述加密后的數(shù)據(jù)發(fā)送至所述數(shù)據(jù)提供方;
52、所述數(shù)據(jù)提供方,還用于使用所述密鑰協(xié)商的密鑰對接收到的所述加密后的數(shù)據(jù)進(jìn)行解密。
53、本發(fā)明的第五方面提供了一種電子設(shè)備,包括:處理器;以及存儲器,所述存儲器上存儲有計算機(jī)程序,所述計算機(jī)程序被所述處理器執(zhí)行時,能夠?qū)崿F(xiàn)如上述第一方面所述的處理方法。
54、本發(fā)明的第六方面提供了一種計算機(jī)可讀存儲介質(zhì),其上存儲有計算機(jī)程序,所述計算機(jī)程序用于運(yùn)行以實現(xiàn)如上述第一方面所述的處理方法。
55、本發(fā)明的第七方面提供了一種電子設(shè)備,包括:處理器;以及存儲器,所述存儲器上存儲有計算機(jī)程序,所述計算機(jī)程序被所述處理器執(zhí)行時,能夠?qū)崿F(xiàn)如上述第二方面所述的處理方法。
56、本發(fā)明的第八方面提供了一種計算機(jī)可讀存儲介質(zhì),其上存儲有計算機(jī)程序,所述計算機(jī)程序用于運(yùn)行以實現(xiàn)如上述第二方面所述的處理方法。
57、本發(fā)明與現(xiàn)有技術(shù)相比具有明顯的優(yōu)點和有益效果,其至少具有下列優(yōu)點:
58、本發(fā)明的數(shù)據(jù)傳輸?shù)奶幚矸椒?,通過管理平臺將數(shù)據(jù)從境內(nèi)的數(shù)據(jù)提供方傳輸至境外的數(shù)據(jù)訓(xùn)練方,其中,管理平臺對至少一個數(shù)據(jù)提供方進(jìn)行身份認(rèn)證,并對經(jīng)身份認(rèn)證后的數(shù)據(jù)提供方提供的數(shù)據(jù)進(jìn)行處理,然后將數(shù)據(jù)通過數(shù)據(jù)傳輸專用線路發(fā)送至數(shù)據(jù)訓(xùn)練方,以進(jìn)行模型訓(xùn)練,該處理方法能夠解決跨境數(shù)據(jù)傳輸中的數(shù)據(jù)隱私保護(hù)問題,滿足數(shù)據(jù)安全性和跨境合規(guī)要求。
59、本發(fā)明的數(shù)據(jù)傳輸?shù)奶幚矸椒?,通過管理平臺將數(shù)據(jù)從境外的數(shù)據(jù)訓(xùn)練方發(fā)送至境內(nèi)的數(shù)據(jù)提供方,其中,數(shù)據(jù)訓(xùn)練方和管理平臺先完成身份認(rèn)證,然后由數(shù)據(jù)訓(xùn)練方與數(shù)據(jù)提供方進(jìn)行密鑰協(xié)商,數(shù)據(jù)訓(xùn)練方使用密鑰協(xié)商的密鑰對要傳輸?shù)臄?shù)據(jù)進(jìn)行加密后發(fā)送,經(jīng)由管理平臺傳輸至數(shù)據(jù)提供方,數(shù)據(jù)提供方使用密鑰協(xié)商的密鑰對接收到的數(shù)據(jù)進(jìn)行解密,該處理方法能夠解決經(jīng)海外訓(xùn)練后的數(shù)據(jù)模型參數(shù)在返回過程中的安全性和保密性問題,有效防止任何可能的信息泄露。
60、本發(fā)明的數(shù)據(jù)傳輸?shù)奶幚硐到y(tǒng),通過管理平臺將數(shù)據(jù)從境內(nèi)的數(shù)據(jù)提供方傳輸至境外的數(shù)據(jù)訓(xùn)練方,能夠解決跨境數(shù)據(jù)傳輸中的數(shù)據(jù)隱私保護(hù)問題,滿足數(shù)據(jù)安全性和跨境合規(guī)要求。
61、本發(fā)明的數(shù)據(jù)傳輸?shù)奶幚硐到y(tǒng),通過管理平臺將數(shù)據(jù)從境外的數(shù)據(jù)訓(xùn)練方發(fā)送至境內(nèi)的數(shù)據(jù)提供方,能夠解決經(jīng)海外訓(xùn)練后的數(shù)據(jù)模型參數(shù)在返回過程中的安全性和保密性問題,有效防止任何可能的信息泄露。
62、本發(fā)明的電子設(shè)備和計算機(jī)可讀存儲介質(zhì),通過采用上述的處理方法,能夠解決跨境數(shù)據(jù)傳輸中的數(shù)據(jù)隱私保護(hù)問題,滿足數(shù)據(jù)安全性和跨境合規(guī)要求。