YDT 4563-2023基于聯(lián)邦學(xué)習(xí)的數(shù)據(jù)流通產(chǎn)品技術(shù)要求與測(cè)試方法

ICS35.240.99

CCSL67

YD

中華人民共和國(guó)通信行業(yè)標(biāo)準(zhǔn)

YD/TXXXX—XXXX

基于聯(lián)邦學(xué)習(xí)的數(shù)據(jù)流通產(chǎn)品

技術(shù)要求與測(cè)試方法

Technicalrequirementsandtestingmethodsofdatacirculationproductsbased

onfederatedlearning

（報(bào)批稿）

[點(diǎn)擊此處添加本稿完成日期]

[××××]-[××]-[××]發(fā)布[××××]-[××]-[××]實(shí)施

中華人民共和國(guó)工業(yè)和信息化部發(fā)布

前言

本文件按照GB/T1.1-2020《標(biāo)準(zhǔn)化工作導(dǎo)則第1部分：標(biāo)準(zhǔn)化文件的結(jié)構(gòu)和起草規(guī)則》的規(guī)定起

草。

請(qǐng)注意本文件的某些內(nèi)容可能涉及專利。本文件的發(fā)布機(jī)構(gòu)不承擔(dān)識(shí)別專利的責(zé)任。

本文件由中國(guó)通信標(biāo)準(zhǔn)化協(xié)會(huì)提出并歸口。

本文件起草單位：中國(guó)信息通信研究院、上海光之樹(shù)科技有限公司、深圳前海微眾銀行股份有限公

司、華控清交信息科技（北京）有限公司、杭州锘崴信息科技有限公司、北京數(shù)牘科技有限公司、上海

富數(shù)科技有限公司、武漢大學(xué)、北京百度網(wǎng)訊科技有限公司、騰訊云計(jì)算（北京）有限責(zé)任公司、深圳

市洞見(jiàn)智慧科技有限公司、杭州趣鏈科技有限公司、科大訊飛股份有限公司、普元信息技術(shù)股份有限公

司、北京京東尚科信息技術(shù)有限公司、中國(guó)工商銀行股份有限公司、螞蟻科技集團(tuán)股份有限公司。

本文件主要起草人：閆樹(shù)、袁博、魏凱、姜春宇、呂艾臨、王卓、李雨霏、王思源、賈軒、白玉真、

楊靖世、魯穎、沈敏均、范力欣、張?zhí)煸ァ⒂阎?、林冰垠、李斌、王云河、陳琨、王爽、李幟、鄭灝?/p>

蔡超超、單進(jìn)勇、王昊昱、李曉林、李宏宇、孟丹、汪宏、彭宇翔、卞陽(yáng)、黃翠婷、何德彪、季石磊、

王建奎、洪爵、劉洋、王禮斌、張雄、陶陽(yáng)宇、程勇、何浩、王灣灣、李博、李偉、陳曉豐、徐靜、汪

小益、陳敏軍、王慧敏、倪修峰、康明、趙志峰、劉洋、倪壯、劉登濤、任江哲、孟慶余、劉慶會(huì)、彭

南博、王虎、張德、袁睿、華志超、強(qiáng)鋒、張闖、相妹、彭晉、王磊、李漓春、昌文婷。

YD/TXXXX-XXXX

基于聯(lián)邦學(xué)習(xí)的數(shù)據(jù)流通產(chǎn)品技術(shù)要求與測(cè)試方法

1范圍

本文件規(guī)定了基于聯(lián)邦學(xué)習(xí)的數(shù)據(jù)流通產(chǎn)品在調(diào)度管理、數(shù)據(jù)處理、算法實(shí)現(xiàn)、效果及性能、安全

性、穩(wěn)定性、可擴(kuò)展性方面必要的技術(shù)要求和相應(yīng)的測(cè)試方法。

本文件適用于基于聯(lián)邦學(xué)習(xí)的數(shù)據(jù)流通產(chǎn)品的研發(fā)、測(cè)試、評(píng)估和驗(yàn)收等。

2規(guī)范性引用文件

下列文件中的內(nèi)容通過(guò)文中的規(guī)范性引用而構(gòu)成本文件必不可少的條款。其中，注日期的引用文件，

僅該日期對(duì)應(yīng)的版本適用于本文件；不注日期的引用文件，其最新版本（包括所有的修改單）適用于本

文件。

GB/T35295-2017信息技術(shù)大數(shù)據(jù)術(shù)語(yǔ)

3術(shù)語(yǔ)、定義和縮略語(yǔ)

GB/T35295-2017界定的以及下列術(shù)語(yǔ)和定義適用于本文件。

3.1術(shù)語(yǔ)和定義

3.1.1

聯(lián)邦學(xué)習(xí)federatedlearning

一種多個(gè)參與方在保證各自原始私有數(shù)據(jù)不出數(shù)據(jù)方定義的私有邊界的前提下，以保護(hù)隱私數(shù)據(jù)

的方式交換中間計(jì)算結(jié)果，從而協(xié)作完成某項(xiàng)機(jī)器學(xué)習(xí)任務(wù)的模式。

3.1.2

聯(lián)邦學(xué)習(xí)產(chǎn)品federatedlearningproduct

供聯(lián)邦學(xué)習(xí)各參與方使用，提供聯(lián)邦學(xué)習(xí)所需的計(jì)算和通信等功能，并滿足聯(lián)邦學(xué)習(xí)任務(wù)需求的軟

件系統(tǒng)或軟硬件一體化系統(tǒng)。

3.1.3

聯(lián)邦學(xué)習(xí)任務(wù)federatedlearningtask

指定參與方根據(jù)指定數(shù)據(jù)使用聯(lián)邦學(xué)習(xí)完成特定機(jī)器學(xué)習(xí)任務(wù)的完整過(guò)程。

3.1.4

聯(lián)邦學(xué)習(xí)節(jié)點(diǎn)federatedlearningnode

計(jì)算方執(zhí)行聯(lián)邦學(xué)習(xí)協(xié)議或算法邏輯的軟件、計(jì)算機(jī)、虛擬計(jì)算機(jī)或集群。

3.1.5

2

YD/TXXXX-XXXX

數(shù)據(jù)集dataset

數(shù)據(jù)記錄匯聚的數(shù)據(jù)形式。

注：它可以具有大數(shù)據(jù)的體量、速度、多樣性和易變性特征。數(shù)據(jù)集的特征表征的是數(shù)據(jù)本身或靜態(tài)數(shù)據(jù)，而數(shù)據(jù)

的特征，當(dāng)其在網(wǎng)絡(luò)上傳輸時(shí)或暫時(shí)駐留于計(jì)算機(jī)存儲(chǔ)器中以備讀出或更新時(shí)，表征的是動(dòng)態(tài)數(shù)據(jù)。

[來(lái)源：GB/T35295-2017，2.1.46]

3.1.6

參與方party

協(xié)作完成聯(lián)邦學(xué)習(xí)任務(wù)的一組設(shè)備、數(shù)據(jù)中心或機(jī)構(gòu)。

注：聯(lián)邦學(xué)習(xí)任務(wù)的參與方可分為如下幾類，同一參與方可以同時(shí)擔(dān)任不同角色：

a)數(shù)據(jù)方(dataprovider)：提供聯(lián)邦學(xué)習(xí)所需的私有數(shù)據(jù)的參與方；

b)算法方（algorithmprovider）：提供聯(lián)邦學(xué)習(xí)的算法的參與方；

c)協(xié)調(diào)方（coordinator）：管理和協(xié)調(diào)其他參與方，并參與執(zhí)行聯(lián)邦學(xué)習(xí)任務(wù)；

d)計(jì)算方（computingprovider）：為執(zhí)行聯(lián)邦學(xué)習(xí)任務(wù)提供計(jì)算能力（算力）的參與方，通常每個(gè)數(shù)據(jù)方

也是計(jì)算方；

e)結(jié)果方（resultobtainer）：接收聯(lián)邦學(xué)習(xí)任務(wù)結(jié)果的參與方；

f)任務(wù)發(fā)起方（taskinitiator）：觸發(fā)聯(lián)邦學(xué)習(xí)任務(wù)的參與方，通常是數(shù)據(jù)方或者結(jié)果方。

3.1.7

樣本對(duì)齊samplealignment

各參與方通過(guò)統(tǒng)一的樣本唯一標(biāo)識(shí)符，使用安全交互協(xié)議獲得各方樣本交集信息，并通過(guò)唯一標(biāo)識(shí)

符對(duì)齊交集內(nèi)樣本數(shù)據(jù)的過(guò)程。

3.1.8

貢獻(xiàn)評(píng)估contributionmeasurement

聯(lián)邦學(xué)習(xí)任務(wù)執(zhí)行成功后對(duì)各參與方提供的數(shù)據(jù)進(jìn)行評(píng)價(jià)，評(píng)估每個(gè)參與方單特征或各參與方所

持有的數(shù)據(jù)對(duì)該次聯(lián)邦建模任務(wù)的貢獻(xiàn)作用。

3.1.9

中間因子intermediafactor

計(jì)算過(guò)程中各方所交換的中間數(shù)據(jù)，該數(shù)據(jù)不能泄露原始數(shù)據(jù)。

3.1.10

熱升級(jí)hotupdate

程序/服務(wù)不停止的前提下，通過(guò)增加、修改或刪除相關(guān)功能模塊達(dá)到功能升級(jí)目的。

3.2縮略語(yǔ)

下列縮略語(yǔ)適用于本文件。

Adadelta：自適應(yīng)delta（Adaptivedelta）

AdaGrad：自適應(yīng)梯度（AdaptiveGradient）

Adam：自適應(yīng)動(dòng)量（Adaptivemomentum）

ASIC：特殊應(yīng)用集成電路（ApplicationSpecificIntegratedCircuit）

AUC：接受者操作特征曲線下的面積(AreaUnderCurve)

3

YD/TXXXX-XXXX

FPGA：現(xiàn)場(chǎng)可編程邏輯門陣列（FieldProgrammableGateArray）

GPU:圖形處理器（GraphicsProcessingUnit）

RMSprop：均方根傳遞（RootMeanSquareprop）

SGD：隨機(jī)梯度下降（StochasticGradientDescent）

TLS：傳輸層安全協(xié)議（TransportLayerSecurity）

4參考架構(gòu)

4.1概述

聯(lián)邦學(xué)習(xí)使不同的數(shù)據(jù)擁有方的私有數(shù)據(jù)不離開(kāi)數(shù)據(jù)方定義的私有邊界，可以在不交換彼此私有

數(shù)據(jù)的情況下，訓(xùn)練一個(gè)共有模型。這個(gè)共有模型的效果與聚合各方數(shù)據(jù)建立的模型效果相接近。

4.2聯(lián)邦學(xué)習(xí)分類

以包含兩個(gè)數(shù)據(jù)方的聯(lián)邦學(xué)習(xí)為例，雙方各自擁有一個(gè)數(shù)據(jù)集，數(shù)據(jù)集的分布可分為：

a)兩個(gè)數(shù)據(jù)集的特征空間重疊部分較大，而樣本重疊部分較小或沒(méi)有重疊部分，對(duì)應(yīng)的學(xué)習(xí)模式

為橫向聯(lián)邦學(xué)習(xí)（跨樣本聯(lián)邦學(xué)習(xí)）；

b)兩個(gè)數(shù)據(jù)集的樣本重疊部分較大，而特征空間重疊部分較小或沒(méi)有重疊部分，對(duì)應(yīng)的學(xué)習(xí)模式

稱為縱向聯(lián)邦學(xué)習(xí)（跨特征聯(lián)邦學(xué)習(xí)）；

c)兩個(gè)數(shù)據(jù)集的樣本與特征空間重疊部分都較小或沒(méi)有重疊部分，對(duì)應(yīng)的學(xué)習(xí)模式稱為聯(lián)邦遷

移學(xué)習(xí)。

4.3架構(gòu)視圖

圖1參考架構(gòu)模型

4

YD/TXXXX-XXXX

圖1以兩個(gè)數(shù)據(jù)方為例給出了一個(gè)聯(lián)邦學(xué)習(xí)產(chǎn)品的參考架構(gòu)。在該架構(gòu)中，聯(lián)邦學(xué)習(xí)任務(wù)的發(fā)起方

可以是數(shù)據(jù)方（計(jì)算方）之一，也可以是協(xié)調(diào)方、算法方或者結(jié)果方，還可以是獨(dú)立的另一方。兩個(gè)數(shù)

據(jù)方的私有數(shù)據(jù)保存在數(shù)據(jù)方定義的私有邊界內(nèi)，且在該區(qū)域進(jìn)行計(jì)算。

數(shù)據(jù)方在不泄露私有數(shù)據(jù)的前提下，允許交換必要的中間結(jié)果，即中間因子。它們通過(guò)聯(lián)邦學(xué)習(xí)協(xié)

作完成機(jī)器學(xué)習(xí)任務(wù)。根據(jù)業(yè)務(wù)需求，可以由參與聯(lián)邦學(xué)習(xí)的兩個(gè)數(shù)據(jù)方獲得聯(lián)邦學(xué)習(xí)任務(wù)的結(jié)果，每

方獲得結(jié)果的一部分或全部，也可以在聯(lián)邦學(xué)習(xí)任務(wù)完成后將結(jié)果交給指定的結(jié)果方。

聯(lián)邦學(xué)習(xí)的算法邏輯可以由獨(dú)立的算法方提供，也可由協(xié)調(diào)方直接充當(dāng)算法的提供方，還可由參與

計(jì)算的各方協(xié)商預(yù)置。依據(jù)聯(lián)邦學(xué)習(xí)任務(wù)的需要，計(jì)算方具有數(shù)據(jù)接入、結(jié)果存儲(chǔ)、存證、計(jì)算任務(wù)管

理、錯(cuò)誤處理、運(yùn)行監(jiān)控等功能模塊。其中存證模塊具有日志存儲(chǔ)功能，用于記錄聯(lián)邦學(xué)習(xí)運(yùn)行過(guò)程中

的重要信息，以支持隱私性測(cè)評(píng)和爭(zhēng)端回溯等需求。各參與方的拓?fù)浣Y(jié)構(gòu)可以包括環(huán)形、點(diǎn)對(duì)點(diǎn)、星形

等。

協(xié)調(diào)方負(fù)責(zé)協(xié)調(diào)、調(diào)度其他方并可參與聯(lián)邦學(xué)習(xí)計(jì)算，保證聯(lián)邦學(xué)習(xí)任務(wù)的順利執(zhí)行，實(shí)現(xiàn)整體上

的聯(lián)邦學(xué)習(xí)任務(wù)管理、調(diào)度、輔助計(jì)算、錯(cuò)誤處理和存證等功能。在某些聯(lián)邦學(xué)習(xí)場(chǎng)景中，協(xié)調(diào)方除了

統(tǒng)籌協(xié)調(diào)功能以外，還可以提供密鑰分發(fā)、算法管理等功能。

4.4聯(lián)邦學(xué)習(xí)產(chǎn)品分類

不同的聯(lián)邦學(xué)習(xí)產(chǎn)品特性不同，可從以下維度進(jìn)行分類：

a)參與方數(shù)量：產(chǎn)品所支持的聯(lián)邦學(xué)習(xí)數(shù)據(jù)方的數(shù)量；

b)工程實(shí)現(xiàn)方式：純軟件、GPU加速、FPGA加速與ASIC等專用硬件加速；

c)安全特性：基礎(chǔ)安全、增強(qiáng)安全；

d)安全模型：半誠(chéng)實(shí)模型、惡意攻擊模型。

5技術(shù)要求

5.1調(diào)度管理能力

聯(lián)邦學(xué)習(xí)產(chǎn)品具有調(diào)度和管理功能，包含用戶管理、節(jié)點(diǎn)管理、任務(wù)管理、模型管理等部分。

a)用戶管理，要求如下：

1)應(yīng)具備用戶注冊(cè)、用戶登錄、用戶退出、用戶注銷、口令找回等功能，注冊(cè)信息至少應(yīng)包

含：用戶名、企業(yè)名稱、注冊(cè)時(shí)間等；

2)應(yīng)能添加、刪除、修改、查詢用戶基礎(chǔ)信息；

3)宜支持設(shè)置用戶角色和用戶權(quán)限。

b)節(jié)點(diǎn)管理，宜能對(duì)節(jié)點(diǎn)及節(jié)點(diǎn)上的數(shù)據(jù)源進(jìn)行增刪查改等操作；

c)任務(wù)管理功能，包括任務(wù)創(chuàng)建、任務(wù)調(diào)度、任務(wù)狀態(tài)監(jiān)控等：

1)應(yīng)支持通過(guò)用戶交互界面（如Web頁(yè)面操作或命令行方式）創(chuàng)建聯(lián)邦學(xué)習(xí)任務(wù)，生成任

務(wù)配置信息；

2)應(yīng)支持聯(lián)邦學(xué)習(xí)任務(wù)的全生命周期管理，應(yīng)支持故障監(jiān)測(cè)和聯(lián)邦學(xué)習(xí)運(yùn)行狀態(tài)的監(jiān)控服

務(wù)。應(yīng)支持可視化的任務(wù)監(jiān)控和報(bào)錯(cuò)提示；

3)宜支持任務(wù)終止功能；

4)宜支持多任務(wù)同時(shí)計(jì)算功能；

5)宜支持任務(wù)排隊(duì)或負(fù)載均衡，宜支持自動(dòng)或手動(dòng)的系統(tǒng)資源和任務(wù)優(yōu)先級(jí)調(diào)度。

d)模型管理功能，要求如下：

1)應(yīng)支持對(duì)訓(xùn)練模型的查看、收藏、刪除等管理操作；

5

YD/TXXXX-XXXX

2)宜支持提供將已有模型導(dǎo)入到聯(lián)邦學(xué)習(xí)產(chǎn)品，或從聯(lián)邦學(xué)習(xí)產(chǎn)品中導(dǎo)出模型等模型備份服

務(wù)功能；

3)宜提供模型版本管理功能，包括模型替換、更新、回退、比較等功能；

4)應(yīng)提供模型效果在線監(jiān)控功能。

5.2數(shù)據(jù)處理能力

聯(lián)邦學(xué)習(xí)產(chǎn)品具有數(shù)據(jù)輸入輸出和聯(lián)邦學(xué)習(xí)任務(wù)所需的數(shù)據(jù)處理功能。

a)應(yīng)支持不同類型的數(shù)據(jù)源預(yù)先和即時(shí)對(duì)接聯(lián)邦學(xué)習(xí)產(chǎn)品的功能，包括但不限于數(shù)據(jù)庫(kù)、文件。

數(shù)據(jù)庫(kù)類型宜包括MySQL、Oracle、Hive、HBase等，文件類型宜包括txt、csv、xml等；

b)宜提供與聯(lián)邦學(xué)習(xí)數(shù)據(jù)服務(wù)的接口，包括：

1)數(shù)據(jù)發(fā)布功能，聯(lián)邦學(xué)習(xí)參與方提供可供其他參與方使用的本方數(shù)據(jù)；

2)數(shù)據(jù)申請(qǐng)和審核功能，為聯(lián)邦學(xué)習(xí)參與方提供向其他參與方進(jìn)行數(shù)據(jù)申請(qǐng)并對(duì)申請(qǐng)信息進(jìn)

行審核的功能。

c)宜支持對(duì)數(shù)據(jù)進(jìn)行預(yù)處理。預(yù)處理可包括但不限于：對(duì)數(shù)據(jù)格式進(jìn)行變換、對(duì)數(shù)據(jù)順序進(jìn)行調(diào)

整、樣本對(duì)齊等。（其中，樣本對(duì)齊實(shí)現(xiàn)各聯(lián)邦學(xué)習(xí)數(shù)據(jù)方在不公開(kāi)原始數(shù)據(jù)的前提下確認(rèn)各

自數(shù)據(jù)集的重疊樣本，同時(shí)不暴露非重疊樣本）；

d)應(yīng)提供授權(quán)管理功能。參與方之間能互相發(fā)起聯(lián)邦學(xué)習(xí)任務(wù)申請(qǐng)，如果被申請(qǐng)方拒絕該申請(qǐng)則

發(fā)起方不能執(zhí)行后續(xù)相關(guān)操作，如果同意申請(qǐng)則發(fā)起方可根據(jù)授權(quán)進(jìn)行相應(yīng)操作；

e)應(yīng)提供數(shù)據(jù)發(fā)布功能。數(shù)據(jù)提供方可使用元數(shù)據(jù)等信息對(duì)發(fā)布的數(shù)據(jù)集進(jìn)行描述，并且參與方

可進(jìn)行數(shù)據(jù)申請(qǐng)，參與方獲得授權(quán)后，可以在本地查看發(fā)布的元數(shù)據(jù)，并進(jìn)行后續(xù)操作；

f)應(yīng)提供數(shù)據(jù)基礎(chǔ)分析能力。基礎(chǔ)分析能力，包括：

1)通過(guò)生成圖表等方式展示本地?cái)?shù)據(jù)分布情況；

2)查看融合后的數(shù)據(jù)集的字段列表、樣本數(shù)量等基本情況，以及可以分析出缺失比例和是否

離散。

g)應(yīng)提供數(shù)據(jù)對(duì)齊能力。安全有效地得到所有參與方的樣本或特征空間的交集。

5.3算法實(shí)現(xiàn)

聯(lián)邦學(xué)習(xí)產(chǎn)品支持常用的特征工程和分類、回歸、聚類、降維等常用機(jī)器學(xué)習(xí)算法的模型訓(xùn)練和預(yù)

測(cè)，宜包含：

a)應(yīng)實(shí)現(xiàn)各聯(lián)邦學(xué)習(xí)數(shù)據(jù)方在不公開(kāi)原始數(shù)據(jù)的前提下進(jìn)行數(shù)據(jù)清洗、特征無(wú)量綱化、特征分箱、

特征編碼、多重共線性檢驗(yàn)、特征衍生、特征變換、特征交叉、特征選擇等特征工程；

b)應(yīng)實(shí)現(xiàn)常用的監(jiān)督學(xué)習(xí)算法，如邏輯回歸、線性判別分析、K近鄰（K-NearestNeighbors）算

法、樸素貝葉斯算法、決策樹(shù)算法、支持向量機(jī)算法等分類算法，線性回歸等回歸算法；

c)宜實(shí)現(xiàn)常用的無(wú)監(jiān)督學(xué)習(xí)算法，如K-平均算法等聚類算法，主成分分析（PCA）等降維算法；

d)宜支持深度學(xué)習(xí)算法以及機(jī)器學(xué)習(xí)算法所需的其它功能，如正則化處理、激活函數(shù)計(jì)算等；

e)宜支持實(shí)現(xiàn)多種聯(lián)邦優(yōu)化器，在不泄露參與方數(shù)據(jù)隱私的前提下確保算法任務(wù)正常完成。常用

的優(yōu)化器包含但不限于SGD、AdaGrad、Adam、Adadelta、RMSprop等；

f)宜支持包括相關(guān)系數(shù)矩陣、多重共線性分析、協(xié)方差等特征相關(guān)性分析算法；

g)宜實(shí)現(xiàn)監(jiān)督學(xué)習(xí)中的多分類算法。

5.4效果及性能

聯(lián)邦學(xué)習(xí)產(chǎn)品的訓(xùn)練效果、預(yù)測(cè)結(jié)果及性能要求，具體包括：

6

YD/TXXXX-XXXX

a)應(yīng)支持機(jī)器學(xué)習(xí)模型的多種評(píng)價(jià)指標(biāo)的計(jì)算，如損失（loss）、AUC值、準(zhǔn)確率(accuracy)、F1

得分（F1score）等，且評(píng)價(jià)指標(biāo)達(dá)到業(yè)務(wù)預(yù)期；

b)結(jié)果方應(yīng)通過(guò)機(jī)器學(xué)習(xí)訓(xùn)練出的模型進(jìn)行預(yù)測(cè)并得到合理的預(yù)測(cè)結(jié)果，模型的可用性達(dá)到業(yè)

務(wù)預(yù)期；

c)任務(wù)執(zhí)行耗時(shí)、通信量、吞吐量、帶寬等相應(yīng)資源占用量應(yīng)可監(jiān)控且滿足業(yè)務(wù)預(yù)期；

d)宜包含如ShapleyValue，特征重要性等方法來(lái)評(píng)估每個(gè)參與方的貢獻(xiàn)度并能正確執(zhí)行。

5.5安全性、穩(wěn)定性、可擴(kuò)展性能力

聯(lián)邦學(xué)習(xí)產(chǎn)品的安全性、穩(wěn)定性、可擴(kuò)展性能力要求具體包括：

a)數(shù)據(jù)安全性，應(yīng)達(dá)到如下要求：

1)具備數(shù)據(jù)集完整性保護(hù)功能，通過(guò)完整性檢測(cè)等方法，防止由于誤操作、惡意破壞、格式

不符合要求等造成的數(shù)據(jù)完整性喪失；

2)在聯(lián)邦學(xué)習(xí)的全程中，保證任一數(shù)據(jù)方的原始私有數(shù)據(jù)在數(shù)據(jù)方定義的私有邊界內(nèi)保存、

處理和計(jì)算；

3)保證計(jì)算結(jié)果只被結(jié)果方獲?。?/p>

4)支持對(duì)數(shù)據(jù)集完整性、有效性和流程合規(guī)性進(jìn)行存證與審計(jì)，并以安全的方式收集和存儲(chǔ)

包含活動(dòng)和運(yùn)行環(huán)境條件的記錄和日志；

5)采用必要的多方安全計(jì)算技術(shù)（混淆電路、秘密分享、同態(tài)加密等）對(duì)各方交換和運(yùn)算的

過(guò)程數(shù)據(jù)進(jìn)行保護(hù)，防止數(shù)據(jù)泄露和逆推。

b)網(wǎng)絡(luò)通信安全：網(wǎng)絡(luò)通信安全主要指基于安全通道的數(shù)據(jù)安全傳輸，達(dá)到如下要求：

1)各參與方之間進(jìn)行網(wǎng)絡(luò)通信時(shí)應(yīng)建立安全通道并對(duì)數(shù)據(jù)進(jìn)行機(jī)密性和完整性保護(hù)；

2)安全通道應(yīng)符合國(guó)家密碼主管部門的要求；

3)當(dāng)通信數(shù)據(jù)被篡改后數(shù)據(jù)接收方應(yīng)能識(shí)別并立即通知數(shù)據(jù)發(fā)送方和平臺(tái)，平臺(tái)應(yīng)立即終止

任務(wù)并調(diào)查緣由。

c)流程隱私：宜可查看任務(wù)計(jì)算過(guò)程中的各個(gè)環(huán)節(jié)己方數(shù)據(jù)的適用范圍，使用狀態(tài)和用途等；

d)認(rèn)證授權(quán)：宜對(duì)任務(wù)計(jì)算過(guò)程中的關(guān)鍵環(huán)節(jié)進(jìn)行身份認(rèn)證，保證操作方身份及行為的合法性。

要求如下：

1)任務(wù)發(fā)起方對(duì)任務(wù)請(qǐng)求信息進(jìn)行簽名，協(xié)調(diào)方對(duì)身份進(jìn)行審核，并向任務(wù)涉及的相關(guān)方請(qǐng)

求任務(wù)審核。當(dāng)身份和任務(wù)審核都通過(guò)時(shí)才允許任務(wù)發(fā)起方創(chuàng)建任務(wù)；

2)結(jié)果方請(qǐng)求計(jì)算結(jié)果時(shí)，協(xié)調(diào)方進(jìn)行身份認(rèn)證和權(quán)限鑒別；

3)用戶基礎(chǔ)信息管理時(shí)進(jìn)行身份認(rèn)證；

4)各角色通信時(shí)相互進(jìn)行身份驗(yàn)證，確保角色身份合法性；

5)身份認(rèn)證的方式為口令認(rèn)證、證書認(rèn)證、令牌認(rèn)證等至少其中之一。

e)密碼服務(wù)：密碼算法、密鑰長(zhǎng)度及密鑰管理方式宜符合國(guó)家密碼主管部門的要求；

f)系統(tǒng)穩(wěn)定性：即網(wǎng)絡(luò)故障容忍性、節(jié)點(diǎn)故障容忍性，基于聯(lián)邦學(xué)習(xí)的數(shù)據(jù)流通產(chǎn)品宜具備一定

的系統(tǒng)穩(wěn)定性，能對(duì)網(wǎng)絡(luò)抖動(dòng)、計(jì)算節(jié)點(diǎn)宕機(jī)等故障有一定的容錯(cuò)性，自故障恢復(fù)之后保證產(chǎn)

品的可用性；

g)宜支持日志功能：各參與方均能產(chǎn)出日志，并記錄正確；

h)數(shù)據(jù)規(guī)范性：不規(guī)范數(shù)據(jù)宜被檢測(cè)識(shí)別，并且不能用于后續(xù)計(jì)算；

i)算法熱升級(jí)：宜支持聯(lián)邦學(xué)習(xí)算法熱升級(jí)，在不中斷平臺(tái)服務(wù)的同時(shí)實(shí)現(xiàn)算法更新或添加新增

算法；

j)多平臺(tái)部署能力：宜支持各參與方在不同操作系統(tǒng)、軟硬件平臺(tái)下部署聯(lián)邦學(xué)習(xí)節(jié)點(diǎn)，多平臺(tái)

間可以正常完成聯(lián)邦學(xué)習(xí)任務(wù)。

7

YD/TXXXX-XXXX

6參考測(cè)試方法

6.1調(diào)度管理能力

6.1.1用戶賬號(hào)管理

測(cè)試編號(hào)TestCase101

測(cè)試項(xiàng)目用戶賬號(hào)管理

測(cè)試目的能夠?qū)τ脩糍~號(hào)進(jìn)行相應(yīng)操作

測(cè)試環(huán)境部署完成的聯(lián)邦學(xué)習(xí)環(huán)境

前置條件登錄企業(yè)管理員賬戶

測(cè)試步驟a)新建用戶；

b)使用普通用戶賬號(hào)及初始密碼進(jìn)行系統(tǒng)登錄認(rèn)證；

c)對(duì)用戶進(jìn)行修改密碼操作，退出使用新密碼進(jìn)行登錄；

d)退出當(dāng)前登錄用戶賬號(hào)。

預(yù)期結(jié)果a)成功新增一個(gè)普通用戶的賬號(hào)；

b)輸入正確的賬戶名及初始密碼才能夠登錄到平臺(tái)；

c)更改密碼后賬戶舊密碼失效，新密碼可用；

d)成功退出當(dāng)前賬號(hào)。

備注無(wú)

6.1.2用戶信息管理

測(cè)試編號(hào)TestCase102

測(cè)試項(xiàng)目用戶信息管理

測(cè)試目的能夠?qū)τ脩艋A(chǔ)信息進(jìn)行修改

測(cè)試環(huán)境部署完成的聯(lián)邦學(xué)習(xí)環(huán)境

前置條件登錄賬戶

測(cè)試步驟a)進(jìn)入用戶信息頁(yè)面；

b)按規(guī)范修改用戶聯(lián)系方式及備注信息等。

預(yù)期結(jié)果用戶信息被成功且正確更新

備注無(wú)

6.1.3用戶權(quán)限管理

測(cè)試編號(hào)TestCase103

測(cè)試項(xiàng)目用戶權(quán)限管理

測(cè)試目的能夠?qū)τ脩艚巧蜋?quán)限進(jìn)行設(shè)置

測(cè)試環(huán)境部署完成的聯(lián)邦學(xué)習(xí)環(huán)境

前置條件登錄企業(yè)管理員賬戶

測(cè)試步驟a)進(jìn)入用戶管理頁(yè)面；

b)查看用戶當(dāng)前角色和權(quán)限；

c)按規(guī)范修改用戶角色和權(quán)限。

預(yù)期結(jié)果a)用戶權(quán)限被成功且正確更新；

8

YD/TXXXX-XXXX

b)權(quán)限調(diào)整后，用戶可查看的內(nèi)容和使用的功能有相應(yīng)變化。

備注無(wú)

6.1.4節(jié)點(diǎn)管理功能（可選）

測(cè)試編號(hào)TestCase104

測(cè)試項(xiàng)目節(jié)點(diǎn)管理功能（可選）

測(cè)試目的能夠進(jìn)行節(jié)點(diǎn)及節(jié)點(diǎn)數(shù)據(jù)的功能管理

測(cè)試環(huán)境部署完成的聯(lián)邦學(xué)習(xí)環(huán)境

前置條件以管理員權(quán)限登錄產(chǎn)品頁(yè)面

測(cè)試步驟進(jìn)行節(jié)點(diǎn)的新建、查看、編輯、刪除

預(yù)期結(jié)果節(jié)點(diǎn)能成功進(jìn)行上述操作

備注無(wú)

6.1.5任務(wù)管理功能

測(cè)試編號(hào)TestCase105

測(cè)試項(xiàng)目任務(wù)管理功能

測(cè)試目的能夠進(jìn)行聯(lián)邦學(xué)習(xí)任務(wù)創(chuàng)建與狀態(tài)監(jiān)控

測(cè)試環(huán)境部署完成的聯(lián)邦學(xué)習(xí)環(huán)境

前置條件登錄產(chǎn)品頁(yè)面

測(cè)試步驟a)登錄聯(lián)邦學(xué)習(xí)平臺(tái)；

b)通過(guò)頁(yè)面操作或命令行方式創(chuàng)建聯(lián)邦學(xué)習(xí)任務(wù)；

c)生成任務(wù)配置信息；

d)運(yùn)行任務(wù)；

e)查看任務(wù)運(yùn)行狀態(tài)監(jiān)控界面；

f)查看任務(wù)運(yùn)行日志信息。

預(yù)期結(jié)果a)能夠創(chuàng)建并查看任務(wù)的配置信息；

b)任務(wù)能夠成功運(yùn)行；

c)能夠查看任務(wù)運(yùn)行狀態(tài)；

d)能夠?qū)崟r(shí)監(jiān)控任務(wù)運(yùn)行的日志信息。

備注無(wú)

6.1.6任務(wù)終止

測(cè)試編號(hào)TestCase106

測(cè)試項(xiàng)目任務(wù)終止

測(cè)試目的能夠進(jìn)行任務(wù)創(chuàng)建、任務(wù)調(diào)度、任務(wù)狀態(tài)監(jiān)控

測(cè)試環(huán)境部署完成的聯(lián)邦學(xué)習(xí)環(huán)境

前置條件登錄聯(lián)邦學(xué)習(xí)平臺(tái)

測(cè)試步驟a)根據(jù)要求新建任務(wù)并運(yùn)行計(jì)算任務(wù)；

b)查看任務(wù)運(yùn)行狀態(tài)；

c)終止任務(wù)；

d)查看任務(wù)運(yùn)行日志。

9

YD/TXXXX-XXXX

預(yù)期結(jié)果a)能夠創(chuàng)建并查看任務(wù)的配置信息；

b)實(shí)時(shí)查看任務(wù)的運(yùn)行狀態(tài)；

c)任務(wù)設(shè)為終止?fàn)顟B(tài)；

d)實(shí)時(shí)監(jiān)控任務(wù)的運(yùn)行日志信息。

備注無(wú)

6.1.7多任務(wù)計(jì)算

測(cè)試編號(hào)TestCase107

測(cè)試項(xiàng)目多任務(wù)計(jì)算

測(cè)試目的能夠支持多個(gè)計(jì)算任務(wù)的同時(shí)進(jìn)行

測(cè)試環(huán)境部署完成的聯(lián)邦學(xué)習(xí)環(huán)境

前置條件a)登錄賬號(hào)；

b)多個(gè)計(jì)算任務(wù)已創(chuàng)建。

測(cè)試步驟a)依次啟動(dòng)計(jì)算任務(wù)；

b)分別查看多個(gè)任務(wù)的訓(xùn)練生成日志。

預(yù)期結(jié)果a)多任務(wù)運(yùn)行過(guò)程中均產(chǎn)生訓(xùn)練日志；

b)任務(wù)正常運(yùn)行，產(chǎn)生結(jié)果模型。

備注無(wú)

6.1.8系統(tǒng)資源調(diào)配（可選）

測(cè)試編號(hào)TestCase108

測(cè)試項(xiàng)目系統(tǒng)資源調(diào)配（可選）

測(cè)試目的能夠支持用戶查看并調(diào)整各任務(wù)的系統(tǒng)資源調(diào)配情況

測(cè)試環(huán)境部署完成的聯(lián)邦學(xué)習(xí)環(huán)境

a)登錄賬號(hào)；

前置條件

b)多任務(wù)數(shù)據(jù)集上傳完成。

a)創(chuàng)建多個(gè)訓(xùn)練任務(wù)，并逐一設(shè)定各任務(wù)資源占用（如CPU、系統(tǒng)內(nèi)存等）的指標(biāo)

測(cè)試步驟上限；

b)啟動(dòng)任務(wù)后，分別查看各任務(wù)的資源占用情況。

a)產(chǎn)品監(jiān)控模塊正確顯示各任務(wù)訓(xùn)練的CPU、系統(tǒng)內(nèi)存等資源占用情況；

預(yù)期結(jié)果

b)各任務(wù)的資源占用不超過(guò)設(shè)定上限。

備注無(wú)

6.1.9任務(wù)優(yōu)先級(jí)調(diào)度（可選）

測(cè)試編號(hào)TestCase109

測(cè)試項(xiàng)目任務(wù)優(yōu)先級(jí)調(diào)度

測(cè)試目的能夠支持任務(wù)排隊(duì)時(shí)，以自動(dòng)或手動(dòng)方式進(jìn)行任務(wù)優(yōu)先級(jí)調(diào)度

測(cè)試環(huán)境部署完成的聯(lián)邦學(xué)習(xí)環(huán)境

前置條件a)登錄賬號(hào)；

b)多個(gè)計(jì)算任務(wù)已創(chuàng)建。

測(cè)試步驟a)進(jìn)入任務(wù)管理界面，查看任務(wù)排隊(duì)狀態(tài)；

b)添加、刪除高優(yōu)先級(jí)任務(wù)或改變?nèi)蝿?wù)優(yōu)先級(jí)順序；

10

YD/TXXXX-XXXX

c)查看調(diào)整后任務(wù)運(yùn)行狀態(tài)。

預(yù)期結(jié)果a)多任務(wù)運(yùn)行過(guò)程中均產(chǎn)生訓(xùn)練日志；

b)調(diào)整后，任務(wù)排隊(duì)狀態(tài)有相應(yīng)變化；

c)所有任務(wù)均能正常運(yùn)行，產(chǎn)生結(jié)果。

備注無(wú)

6.1.10模型管理功能

測(cè)試編號(hào)TestCase110

測(cè)試項(xiàng)目模型管理功能

測(cè)試目的能夠進(jìn)行模型的各項(xiàng)管理操作

測(cè)試環(huán)境部署完成的聯(lián)邦學(xué)習(xí)環(huán)境

前置條件用戶賬戶登錄平臺(tái)

測(cè)試步驟a)查看已完成任務(wù)的模型記錄；

b)對(duì)已完成任務(wù)的模型進(jìn)行收藏；

c)刪除已完成任務(wù)的模型。

預(yù)期結(jié)果a)各訓(xùn)練模型可正常查看；

b)訓(xùn)練模型收藏成功；

c)可進(jìn)行訓(xùn)練模型刪除。

備注無(wú)

6.1.11模型備份（可選）

測(cè)試編號(hào)TestCase111

測(cè)試項(xiàng)目模型備份（可選）

測(cè)試目的支持已有模型備份

測(cè)試環(huán)境部署完成的聯(lián)邦學(xué)習(xí)環(huán)境

前置條件用戶賬戶登錄平臺(tái)

測(cè)試步驟a)查看模型管理頁(yè)面；

b)導(dǎo)出已完成訓(xùn)練的任務(wù)模型進(jìn)行備份管理；

c)在其他系統(tǒng)中查看導(dǎo)出的模型情況；

d)從備份系統(tǒng)導(dǎo)入模型到平臺(tái)；

e)在平臺(tái)中查看新導(dǎo)入的模型情況。

預(yù)期結(jié)果a)平臺(tái)中已有模型可被成功備份；

b)已備份模型可成功導(dǎo)回到平臺(tái)。

備注無(wú)

6.1.12模型版本管理功能（可選）

測(cè)試編號(hào)TestCase112

測(cè)試項(xiàng)目模型版本管理功能（可選）

測(cè)試目的能夠?qū)δＰ桶姹具M(jìn)行管理操作

測(cè)試環(huán)境部署完成的聯(lián)邦學(xué)習(xí)環(huán)境

前置條件用戶賬戶登錄平臺(tái)

11

YD/TXXXX-XXXX

測(cè)試步驟a)查看已完成任務(wù)的模型記錄，查看模型版本狀態(tài)；

b)替換原有模型或更新模型版本；

c)進(jìn)行回退等相應(yīng)操作，還原到原有模型版本；

d)比較調(diào)整后模型內(nèi)容及狀態(tài)。

預(yù)期結(jié)果a)原有模型可成功被替換或更新；

b)版本調(diào)整后模型可成功回退為原有版本；

c)可查看模型版本調(diào)整前后的對(duì)比情況。

備注無(wú)

6.2數(shù)據(jù)處理能力

6.2.1數(shù)據(jù)預(yù)先導(dǎo)入能力

測(cè)試編號(hào)TestCase201

測(cè)試項(xiàng)目數(shù)據(jù)預(yù)先導(dǎo)入能力

創(chuàng)建聯(lián)邦學(xué)習(xí)任務(wù)前能夠通過(guò)多種數(shù)據(jù)源（csv、MySQL、Hive）導(dǎo)入數(shù)據(jù)文件或者

測(cè)試目的

手動(dòng)添加等方式預(yù)先導(dǎo)入數(shù)據(jù)

測(cè)試環(huán)境部署完成的聯(lián)邦學(xué)習(xí)環(huán)境

a)擁有導(dǎo)入數(shù)據(jù)和查看數(shù)據(jù)的相應(yīng)權(quán)限；

前置條件

b)準(zhǔn)備好需要導(dǎo)入的本方數(shù)據(jù)（數(shù)據(jù)庫(kù)連接或數(shù)據(jù)文件）或從操作界面輸入的數(shù)據(jù)。

a)通過(guò)手工輸入或執(zhí)行導(dǎo)入命令等方式導(dǎo)入本地?cái)?shù)據(jù)；

測(cè)試步驟

b)在系統(tǒng)處理完成后，查看和操作相應(yīng)的本方數(shù)據(jù)。

a)能正常導(dǎo)入本方數(shù)據(jù)；

b)在系統(tǒng)處理完成后，能在系統(tǒng)界面里查看和操作相關(guān)的本方數(shù)據(jù)。查看可以是查

預(yù)期結(jié)果

看元數(shù)據(jù)（數(shù)據(jù)條目數(shù)、字段數(shù)、字段名），也可以是查看全部或部分原始數(shù)據(jù)；

操作指預(yù)處理或?qū)⑵浼尤胍粋€(gè)聯(lián)邦學(xué)習(xí)任務(wù)。

備注無(wú)

6.2.2數(shù)據(jù)即時(shí)輸入能力

測(cè)試編號(hào)TestCase202

測(cè)試項(xiàng)目數(shù)據(jù)即時(shí)輸入能力

測(cè)試目的執(zhí)行聯(lián)邦學(xué)習(xí)任務(wù)時(shí)能夠即時(shí)從數(shù)據(jù)庫(kù)/文件中讀取數(shù)據(jù)

測(cè)試環(huán)境部署完成的聯(lián)邦學(xué)習(xí)環(huán)境

a)擁有接入數(shù)據(jù)的相應(yīng)權(quán)限；

前置條件

b)準(zhǔn)備好需要接入的本方數(shù)據(jù)。

a)配置聯(lián)邦學(xué)習(xí)任務(wù)，接入本方數(shù)據(jù)（數(shù)據(jù)庫(kù)連接或數(shù)據(jù)文件）或執(zhí)行導(dǎo)入操作；

測(cè)試步驟b)使用添加的數(shù)據(jù)源運(yùn)行該聯(lián)邦學(xué)習(xí)任務(wù)；

c)查看任務(wù)運(yùn)行狀態(tài)。

a)使用該數(shù)據(jù)的聯(lián)邦學(xué)習(xí)任務(wù)配置成功；

b)聯(lián)邦學(xué)習(xí)任務(wù)執(zhí)行過(guò)程中，聯(lián)邦節(jié)點(diǎn)能通過(guò)所添加的數(shù)據(jù)源運(yùn)行任務(wù)并返回聯(lián)合

預(yù)期結(jié)果

學(xué)習(xí)結(jié)果；

c)聯(lián)邦學(xué)習(xí)任務(wù)正常完成。

備注無(wú)

12

YD/TXXXX-XXXX

6.2.3數(shù)據(jù)接口功能（可選）

測(cè)試編號(hào)TestCase203

測(cè)試項(xiàng)目數(shù)據(jù)接口功能（可選）

測(cè)試目的使用測(cè)試腳本對(duì)提供功能的API接口進(jìn)行測(cè)試

測(cè)試環(huán)境部署完成的聯(lián)邦學(xué)習(xí)環(huán)境

前置條件無(wú)

a)使用登錄測(cè)試腳本模擬發(fā)送登錄操作；

測(cè)試步驟b)使用數(shù)據(jù)源添加測(cè)試腳本添加節(jié)點(diǎn)所屬數(shù)據(jù)源；

c)使用任務(wù)添加測(cè)試腳本添加待訓(xùn)練任務(wù)。

a)返回參與方登錄成功信息；

b)返回參與方數(shù)據(jù)源添加信息；

預(yù)期結(jié)果

c)返回訓(xùn)練任務(wù)添加信息；

d)在產(chǎn)品頁(yè)面上能正確顯示每個(gè)步驟操作結(jié)果。

備注無(wú)

6.2.4授權(quán)管理功能

測(cè)試編號(hào)TestCase204

測(cè)試項(xiàng)目授權(quán)管理功能

測(cè)試目的參與方之間能相互發(fā)起數(shù)據(jù)申請(qǐng)或聯(lián)邦學(xué)習(xí)任務(wù)申請(qǐng)

測(cè)試環(huán)境部署完成的聯(lián)邦學(xué)習(xí)環(huán)境

前置條件無(wú)

a)參與方A向參與方B發(fā)起數(shù)據(jù)申請(qǐng)或聯(lián)邦學(xué)習(xí)任務(wù)申請(qǐng)；

測(cè)試步驟

b)參與方B審批申請(qǐng)請(qǐng)求。

a)參與方A成功發(fā)出申請(qǐng)；

b)參與方B接收申請(qǐng)；

c)若參與方B未處理或拒絕申請(qǐng)，則參與方A不能執(zhí)行后續(xù)相關(guān)操作或執(zhí)行相關(guān)

預(yù)期結(jié)果

操作失敗；

d)若參與方B同意申請(qǐng)，則參與方A可根據(jù)授權(quán)進(jìn)行相應(yīng)操作；

e)數(shù)據(jù)提供方可以授權(quán)數(shù)據(jù)的使用方、用途等。

備注參與方B也可在申請(qǐng)前根據(jù)協(xié)商給予A方相應(yīng)授權(quán)

6.2.5數(shù)據(jù)發(fā)布功能

測(cè)試編號(hào)TestCase205

測(cè)試項(xiàng)目數(shù)據(jù)發(fā)布功能

測(cè)試目的數(shù)據(jù)提供方可以對(duì)發(fā)布的數(shù)據(jù)集進(jìn)行描述和授權(quán)

測(cè)試環(huán)境部署完成的聯(lián)邦學(xué)習(xí)環(huán)境

前置條件用戶賬戶登錄平臺(tái)

測(cè)試步驟a)數(shù)據(jù)提供方可以使用元數(shù)據(jù)等信息對(duì)數(shù)據(jù)集進(jìn)行描述；

b)參與方在獲得授權(quán)基礎(chǔ)上，可以獲得數(shù)據(jù)提供方發(fā)布數(shù)據(jù)集的元數(shù)據(jù)。

預(yù)期結(jié)果a)數(shù)據(jù)提供方發(fā)布數(shù)據(jù)集的時(shí)候可通過(guò)元數(shù)據(jù)等信息對(duì)數(shù)據(jù)集進(jìn)行描述，包括名

稱、大小、類型等；

b)在獲得授權(quán)后，參與方可以在本地查看其他數(shù)據(jù)提供方發(fā)布數(shù)據(jù)的元數(shù)據(jù)，并進(jìn)

13

YD/TXXXX-XXXX

行后續(xù)相應(yīng)操作。

備注無(wú)

6.2.6數(shù)據(jù)基礎(chǔ)分析能力

測(cè)試編號(hào)TestCase206

測(cè)試項(xiàng)目數(shù)據(jù)基礎(chǔ)分析能力

測(cè)試目的能夠?qū)?shù)據(jù)的基本屬性進(jìn)行分析

測(cè)試環(huán)境部署完成的聯(lián)邦學(xué)習(xí)環(huán)境

前置條件合作多方準(zhǔn)備好測(cè)試數(shù)據(jù)

a)對(duì)本地?cái)?shù)據(jù)進(jìn)行全表統(tǒng)計(jì)分析（直方圖等）；

測(cè)試步驟

b)查看融合數(shù)據(jù)集的基本情況，如字段列表、樣本數(shù)量、缺失比例、是否離散等；

預(yù)期結(jié)果能夠正確展示數(shù)據(jù)分布情況、缺失比例、是否離散等

備注無(wú)

6.2.7數(shù)據(jù)對(duì)齊

測(cè)試編號(hào)TestCase207

測(cè)試項(xiàng)目數(shù)據(jù)對(duì)齊

在聯(lián)邦學(xué)習(xí)情況下，各方能夠安全有效地確定所有參與方樣本ID或特征的交集序列

測(cè)試目的

（順序和數(shù)量）的一致性

測(cè)試環(huán)境部署完成的聯(lián)邦學(xué)習(xí)環(huán)境

a)合作多方準(zhǔn)備好測(cè)試數(shù)據(jù)；

前置條件

b)完成多方數(shù)據(jù)授權(quán)。

a)各方統(tǒng)一樣本ID格式或特征字段標(biāo)識(shí)（或關(guān)聯(lián)關(guān)系）；

b)查看聯(lián)邦學(xué)習(xí)系統(tǒng)下獲得的樣本ID或特征的交集序列；

測(cè)試步驟

c)手動(dòng)計(jì)算多方數(shù)據(jù)的樣本ID或特征的交集序列；

d)比較步驟2結(jié)果相對(duì)于步驟3結(jié)果的準(zhǔn)確性和完整性。

預(yù)期結(jié)果準(zhǔn)確、完整地得到樣本ID或特征的交集序列

備注樣本對(duì)齊（獲得樣本ID交集序列）與特征對(duì)齊（獲得特征交集序列）至少二選一

6.3算法實(shí)現(xiàn)

6.3.1特征工程：特征預(yù)處理

測(cè)試編號(hào)TestCase301

測(cè)試項(xiàng)目特征工程：特征預(yù)處理

測(cè)試目的對(duì)產(chǎn)品申報(bào)支持的特征預(yù)處理功能進(jìn)行測(cè)試驗(yàn)證

測(cè)試環(huán)境部署完成的聯(lián)邦學(xué)習(xí)環(huán)境

a)輸入數(shù)據(jù)已整理成符合的格式；

前置條件b)計(jì)算任務(wù)已配置；

c)結(jié)果輸出/呈現(xiàn)方式已配置。

測(cè)試步驟創(chuàng)建特征預(yù)處理訓(xùn)練任務(wù)，查看任務(wù)結(jié)果

14

YD/TXXXX-XXXX

a)產(chǎn)品支持的特征預(yù)處理任務(wù)可以正確完成；

預(yù)期結(jié)果

b)能夠根據(jù)清洗的數(shù)據(jù)正確執(zhí)行安全建模任務(wù)。

特征預(yù)處理包括異常值清洗、缺失值清洗、特征無(wú)量綱化（標(biāo)準(zhǔn)化、歸一化）、特征

備注分箱、特征編碼、特征衍生、特征變換、特征交叉等。應(yīng)至少實(shí)現(xiàn)上述2種以上的特

征預(yù)處理方法，其中至少有一種特征預(yù)處理（如特征分箱）要求在聯(lián)邦狀態(tài)下實(shí)現(xiàn)。

6.3.2特征工程：特征相關(guān)性分析（可選）

測(cè)試編號(hào)TestCase302

測(cè)試項(xiàng)目特征工程：特征相關(guān)性分析（可選）

測(cè)試目的對(duì)產(chǎn)品申報(bào)支持的特征統(tǒng)計(jì)分析功能進(jìn)行測(cè)試驗(yàn)證

測(cè)試環(huán)境部署完成的聯(lián)邦學(xué)習(xí)環(huán)境

a)輸入數(shù)據(jù)已整理成符合的格式；

前置條件b)計(jì)算任務(wù)已配置；

c)結(jié)果輸出/呈現(xiàn)方式已配置。

測(cè)試步驟創(chuàng)建特征統(tǒng)計(jì)分析任務(wù)，查看任務(wù)結(jié)果

a)產(chǎn)品支持的特征統(tǒng)計(jì)分析功能可以在聯(lián)邦狀態(tài)下正確完成；

預(yù)期結(jié)果

b)能夠根據(jù)統(tǒng)計(jì)分析的結(jié)果進(jìn)行可視化呈現(xiàn)。

特征相關(guān)性分析包括相關(guān)系數(shù)矩陣、多重共線性分析、協(xié)方差等，應(yīng)至少有一種特征

備注

相關(guān)性分析在聯(lián)邦狀態(tài)下實(shí)現(xiàn)。

6.3.3特征工程：特征選擇（可選）

測(cè)試編號(hào)TestCase303

測(cè)試項(xiàng)目特征工程：特征選擇（可選）

測(cè)試目的確保特征選擇過(guò)程用戶數(shù)據(jù)隱私不被泄露

測(cè)試環(huán)境部署完成的聯(lián)邦學(xué)習(xí)環(huán)境

a)輸入數(shù)據(jù)已整理成符合的格式；

前置條件b)計(jì)算任務(wù)已配置；

c)結(jié)果輸出/呈現(xiàn)方式已配置。

a)創(chuàng)建特征選擇任務(wù)，查看任務(wù)結(jié)果；

測(cè)試步驟

b)查看執(zhí)行特征選擇任務(wù)過(guò)程中對(duì)用戶隱私保護(hù)情況。

a)產(chǎn)品支持的特征選擇任務(wù)可以正確完成；

預(yù)期結(jié)果

b)在執(zhí)行特征選擇過(guò)程中用戶數(shù)據(jù)隱私不被泄露。

備注特征選擇需要在聯(lián)邦狀態(tài)下實(shí)現(xiàn)

6.3.4監(jiān)督學(xué)習(xí)算法：分類算法

測(cè)試編號(hào)TestCase304

測(cè)試項(xiàng)目監(jiān)督學(xué)習(xí)算法：分類算法

測(cè)試目的對(duì)產(chǎn)品申報(bào)支持的分類算法類型進(jìn)行測(cè)試驗(yàn)證

測(cè)試環(huán)境部署完成的聯(lián)邦學(xué)習(xí)環(huán)境

a)輸入數(shù)據(jù)已整理成符合的格式；；

前置條件

b)計(jì)算任務(wù)已配置；

15

YD/TXXXX-XXXX

c)結(jié)果輸出/呈現(xiàn)方式已配置。

測(cè)試步驟按產(chǎn)品申報(bào)的分類算法類型清單，逐一創(chuàng)建訓(xùn)練任務(wù)，查看任務(wù)結(jié)果

預(yù)期結(jié)果產(chǎn)品支持的分類算法類型的計(jì)算任務(wù)均能正確完成

分類算法包括邏輯回歸、線性判別分析、K近鄰（K-NearestNeighbors）算法、樸素

備注

貝葉斯算法、決策樹(shù)算法、支持向量機(jī)算法等，滿足解決二分類問(wèn)題即可。

6.3.5監(jiān)督學(xué)習(xí)算法：多分類算法（可選）

測(cè)試編號(hào)TestCase305

測(cè)試項(xiàng)目監(jiān)督學(xué)習(xí)算法：多分類算法（可選）

測(cè)試目的對(duì)產(chǎn)品申報(bào)支持的多分類算法類型進(jìn)行測(cè)試驗(yàn)證

測(cè)試環(huán)境部署完成的聯(lián)邦學(xué)習(xí)環(huán)境

a)輸入數(shù)據(jù)已整理成符合的格式；

前置條件b)計(jì)算任務(wù)已配置；

c)結(jié)果輸出/呈現(xiàn)方式已配置。

測(cè)試步驟按產(chǎn)品申報(bào)的多分類算法清單，逐一創(chuàng)建訓(xùn)練任務(wù)，查看任務(wù)結(jié)果

預(yù)期結(jié)果產(chǎn)品支持的分類算法類型的計(jì)算任務(wù)均能正確完成

備注此處多分類指三類或以上

6.3.6監(jiān)督學(xué)習(xí)算法：回歸算法

測(cè)試編號(hào)TestCase306

測(cè)試項(xiàng)目監(jiān)督學(xué)習(xí)算法：回歸算法

測(cè)試目的對(duì)產(chǎn)品申報(bào)支持的回歸算法類型進(jìn)行測(cè)試驗(yàn)證

測(cè)試環(huán)境部署完成的聯(lián)邦學(xué)習(xí)環(huán)境

a)輸入數(shù)據(jù)已整理成符合的格式；

前置條件b)計(jì)算任務(wù)已配置；

c)結(jié)果輸出/呈現(xiàn)方式已配置。

測(cè)試步驟按產(chǎn)品申報(bào)的回歸算法類型清單，逐一創(chuàng)建訓(xùn)練任務(wù)，查看任務(wù)結(jié)果

預(yù)期結(jié)果產(chǎn)品支持的回歸算法類型的計(jì)算任務(wù)均能正確完成

備注回歸算法如線性回歸等

6.3.7無(wú)監(jiān)督學(xué)習(xí)算法（可選）

測(cè)試編號(hào)TestCase307

測(cè)試項(xiàng)目無(wú)監(jiān)督學(xué)習(xí)算法（可選）

測(cè)試目的對(duì)產(chǎn)品申報(bào)支持的無(wú)監(jiān)督學(xué)習(xí)算法類型進(jìn)行測(cè)試驗(yàn)證

測(cè)試環(huán)境部署完成的聯(lián)邦學(xué)習(xí)環(huán)境

a)輸入數(shù)據(jù)已整理成符合的格式；

前置條件b)計(jì)算任務(wù)已配置；

c)結(jié)果輸出/呈現(xiàn)方式已配置。

測(cè)試步驟按產(chǎn)品申報(bào)的無(wú)監(jiān)督學(xué)習(xí)算法類型清單，逐一創(chuàng)建訓(xùn)練任務(wù)，查看任務(wù)結(jié)果

16

YD/TXXXX-XXXX

預(yù)期結(jié)果產(chǎn)品支持的無(wú)監(jiān)督學(xué)習(xí)算法類型的計(jì)算任務(wù)均能正確完成

可采用的無(wú)監(jiān)督學(xué)習(xí)算法如：可實(shí)現(xiàn)聚類算法的k-平均算法（k-Means）、系統(tǒng)聚類分

析（HierarchicalClusterAnalysis，簡(jiǎn)稱HCA）、最大期望算法（Expectation

備注

Maximization）；可實(shí)現(xiàn)可視化和降維算法的主成分分析（PCA）、核主成分分析（Kernel

PCA）、局部線性嵌入（LLE）、t-分布隨機(jī)近臨嵌入（t-SNE）等。

6.3.8深度學(xué)習(xí)算法（可選）

測(cè)試編號(hào)TestCase308

測(cè)試項(xiàng)目深度學(xué)習(xí)算法（可選）

測(cè)試目的對(duì)產(chǎn)品申報(bào)支持的深度學(xué)習(xí)算法類型進(jìn)行測(cè)試驗(yàn)證

測(cè)試環(huán)境部署完成的聯(lián)邦學(xué)習(xí)環(huán)境

a)輸入數(shù)據(jù)已整理成符合的格式；

前置條件b)計(jì)算任務(wù)已配置；

c)結(jié)果輸出/呈現(xiàn)方式已配置。

測(cè)試步驟按產(chǎn)品申報(bào)的深度學(xué)習(xí)算法類型清單，逐一創(chuàng)建訓(xùn)練任務(wù)，查看任務(wù)結(jié)果

預(yù)期結(jié)果產(chǎn)品支持的深度學(xué)習(xí)算法類型的計(jì)算任務(wù)均能正確完成

備注無(wú)

6.3.9優(yōu)化器選擇（可選）

測(cè)試編號(hào)TestCase309

測(cè)試項(xiàng)目?jī)?yōu)化器選擇（可選）

測(cè)試目的確保算法訓(xùn)練時(shí)支持不同的聯(lián)邦優(yōu)化器且用戶的數(shù)據(jù)隱私不被泄露

測(cè)試環(huán)境部署完成的聯(lián)邦學(xué)習(xí)環(huán)境

a)輸入數(shù)據(jù)已整理成符合的格式；

前置條件b)計(jì)算任務(wù)已配置；

c)結(jié)果輸出/呈現(xiàn)方式已配置。

a)按照產(chǎn)品支持的算法配置計(jì)算任務(wù)和聯(lián)邦優(yōu)化器；

測(cè)試步驟b)啟動(dòng)計(jì)算任務(wù)；

c)記錄并結(jié)合審計(jì)日志、算法文檔分析優(yōu)化器執(zhí)行情況。

a)產(chǎn)品支持的算法可適配多種聯(lián)邦優(yōu)化器，且計(jì)算任務(wù)均能正確完成；

預(yù)期結(jié)果b)各優(yōu)化器按照算法文檔正確執(zhí)行；

c)在執(zhí)行訓(xùn)練過(guò)程中，使用優(yōu)化器的部分，用戶數(shù)據(jù)隱私不被泄露。

常用的優(yōu)化器包含但不限于SGD、AdaGrad、Adam、Adadelta、RMSprop、YOGI、

備注

FedOPT等，應(yīng)至少實(shí)現(xiàn)上述2種以上的聯(lián)邦優(yōu)化器。

6.4效果及性能

6.4.1模型評(píng)價(jià)指標(biāo)測(cè)試

測(cè)試編號(hào)TestCase401

測(cè)試項(xiàng)目模型評(píng)價(jià)指標(biāo)測(cè)試

17

YD/TXXXX-XXXX

測(cè)試目的測(cè)試聯(lián)邦學(xué)習(xí)的模型評(píng)價(jià)效果

測(cè)試環(huán)境部署完成的聯(lián)邦學(xué)習(xí)計(jì)算系統(tǒng)

a)輸入數(shù)據(jù)已接入或已配置；

前置條件b)聯(lián)邦學(xué)習(xí)任務(wù)已配置；

c)結(jié)果輸出/呈現(xiàn)方式已配置。

a)啟動(dòng)聯(lián)邦學(xué)習(xí)計(jì)算任務(wù)；

測(cè)試步驟b)測(cè)量聯(lián)邦學(xué)習(xí)的AUC值、準(zhǔn)確率、F1得分等統(tǒng)計(jì)指標(biāo)；

c)用同樣的算法、數(shù)據(jù)集和配置在本地進(jìn)行明文計(jì)算。

a)能正常完成聯(lián)邦學(xué)習(xí)任務(wù)；

預(yù)期結(jié)果

b)聯(lián)邦學(xué)習(xí)訓(xùn)練效果達(dá)到預(yù)期，與明文計(jì)算相比，AUC等指標(biāo)損失程度合理。

評(píng)價(jià)指標(biāo)如損失（loss）、AUC(AreaUnderCurve)值、準(zhǔn)確率(Accuracy)、F1得分（F1

備注

Score）等。

6.4.2基礎(chǔ)性能測(cè)試

測(cè)試編號(hào)TestCase402

測(cè)試項(xiàng)目基礎(chǔ)性能測(cè)試

測(cè)試目的測(cè)試聯(lián)邦學(xué)習(xí)的業(yè)務(wù)性能

測(cè)試環(huán)境部署完成的聯(lián)邦學(xué)習(xí)系統(tǒng)

a)輸入數(shù)據(jù)已接入或已配置；

前置條件b)聯(lián)邦學(xué)習(xí)任務(wù)已配置；

c)結(jié)果輸出/呈現(xiàn)方式已配置。

a)啟動(dòng)聯(lián)邦學(xué)習(xí)任務(wù)；

測(cè)試步驟b)統(tǒng)計(jì)聯(lián)邦學(xué)習(xí)的總耗時(shí)和CPU等資源消耗指標(biāo)；

c)用同樣的算法、數(shù)據(jù)集和配置在本地執(zhí)行明文狀態(tài)下的機(jī)器學(xué)習(xí)任務(wù)。

a)能正常完成聯(lián)邦學(xué)習(xí)任務(wù)

預(yù)期結(jié)果b)聯(lián)邦學(xué)習(xí)任務(wù)總耗時(shí)以及CPU等資源消耗合理，與相同條件下的明文機(jī)器學(xué)習(xí)

任務(wù)相比，聯(lián)邦學(xué)習(xí)任務(wù)消耗的時(shí)間、CPU等資源成本的差異程度合理

測(cè)試結(jié)果欄中需指明數(shù)據(jù)規(guī)模及聯(lián)邦學(xué)習(xí)算法，并對(duì)比明文和密文兩種狀態(tài)下的任務(wù)

備注

總耗時(shí)以及CPU等資源消耗情況。

6.4.3模型預(yù)測(cè)功能測(cè)試

測(cè)試編號(hào)TestCase403

測(cè)試項(xiàng)目模型預(yù)測(cè)功能測(cè)試

測(cè)試目的結(jié)果方可以使用訓(xùn)練完成的模型，向平臺(tái)請(qǐng)求結(jié)果

測(cè)試環(huán)境部署完成的聯(lián)邦學(xué)習(xí)環(huán)境

前置條件訓(xùn)練完成的模型

a)輸入預(yù)測(cè)數(shù)據(jù)；

測(cè)試步驟

b)平臺(tái)返回給結(jié)果方預(yù)測(cè)結(jié)果。

預(yù)期結(jié)果結(jié)果方能夠得到合理的預(yù)測(cè)結(jié)果

備注無(wú)

6.4.4貢獻(xiàn)評(píng)估（可選）

18

YD/TXXXX-XXXX

測(cè)試編號(hào)TestCase404

測(cè)試項(xiàng)目貢獻(xiàn)評(píng)估（可選）

測(cè)試目的對(duì)產(chǎn)品申報(bào)支持的貢獻(xiàn)度評(píng)估功能進(jìn)行測(cè)試驗(yàn)證

測(cè)試環(huán)境部署完成的聯(lián)邦學(xué)習(xí)系統(tǒng)

a)聯(lián)邦學(xué)習(xí)貢獻(xiàn)度評(píng)估輸入數(shù)據(jù)；

前置條件

b)已訓(xùn)練好的聯(lián)邦學(xué)習(xí)模型。

a)使用輸入數(shù)據(jù)運(yùn)行聯(lián)邦學(xué)習(xí)訓(xùn)練任務(wù)，獲得模型；

測(cè)試步驟

b)根據(jù)訓(xùn)練好的模型運(yùn)行貢獻(xiàn)度評(píng)估任務(wù)，查看任務(wù)結(jié)果。

a)產(chǎn)品支持的貢獻(xiàn)度評(píng)估功能正確執(zhí)行，給出各參與方的貢獻(xiàn)度；

預(yù)期結(jié)果

b)貢獻(xiàn)度評(píng)估方法與聲明的貢獻(xiàn)度評(píng)估方法一致。

貢獻(xiàn)度評(píng)估輸入數(shù)據(jù)可通過(guò)重復(fù)數(shù)據(jù)、隨機(jī)數(shù)據(jù)等方式生成；貢獻(xiàn)度評(píng)估方法可參考

備注Shapleyvalue、特征重要性等方法來(lái)評(píng)估每個(gè)參與方單特征的貢獻(xiàn)度或參與方整體特

征的貢獻(xiàn)度。

6.5安全性、穩(wěn)定性、可擴(kuò)展性測(cè)試

6.5.1算法安全性測(cè)試

測(cè)試編號(hào)TestCase501

測(cè)試項(xiàng)目算法安全性測(cè)試

測(cè)試目的聯(lián)邦學(xué)習(xí)的隱私安全保護(hù)特性

測(cè)試環(huán)境部署完成的聯(lián)邦學(xué)習(xí)環(huán)境

a)輸入數(shù)據(jù)已接入或已配置；

b)聯(lián)邦學(xué)習(xí)計(jì)算任務(wù)已配置；

前置條件c)結(jié)果輸出/呈現(xiàn)方式已配置；

d)審計(jì)日志輸出已配置；

e)算法描述（包括消息流程描述）已提供并已通過(guò)審核。

a)啟動(dòng)聯(lián)邦學(xué)習(xí)任務(wù)；

測(cè)試步驟

b)記錄并結(jié)合審計(jì)日志分析聯(lián)邦學(xué)習(xí)的網(wǎng)絡(luò)流量。

a)能正常完成聯(lián)邦學(xué)習(xí)任務(wù)；

b)審計(jì)日志能正常輸出且包含TestCase508要求的信息；

預(yù)期結(jié)果

c)日志分析結(jié)果及網(wǎng)絡(luò)流量顯示各方對(duì)外發(fā)送報(bào)文中不含隱私信息；

d)日志分析結(jié)果顯示：日志、報(bào)文、算法描述三者一致。

備注具體要求見(jiàn)附錄A

6.5.2通信信道安全性測(cè)試

測(cè)試編號(hào)TestCase502

測(cè)試項(xiàng)目通信信道安全性

測(cè)試目的多方聯(lián)邦學(xué)習(xí)的通信信道安全性功能

測(cè)試環(huán)境部署完成的聯(lián)邦學(xué)習(xí)環(huán)境

a)輸入聯(lián)邦學(xué)習(xí)數(shù)據(jù)已接入或已配置；

前置條件

b)聯(lián)邦學(xué)習(xí)計(jì)算任務(wù)已配置。

19

YD/TXXXX-XXXX

a)啟動(dòng)和運(yùn)行聯(lián)邦學(xué)習(xí)任務(wù)；

b)掃描安全計(jì)算節(jié)點(diǎn)的網(wǎng)絡(luò)端口情況；

測(cè)試步驟

c)監(jiān)聽(tīng)參與計(jì)算任務(wù)的多個(gè)計(jì)算節(jié)點(diǎn)的網(wǎng)絡(luò)通信；

d)抓取相關(guān)的網(wǎng)絡(luò)通信包。

a)安全節(jié)點(diǎn)只監(jiān)聽(tīng)配置的網(wǎng)絡(luò)端口；

b)安全計(jì)算節(jié)點(diǎn)只和參與計(jì)算的節(jié)點(diǎn)和輔助安全計(jì)算的節(jié)點(diǎn)（如果有）進(jìn)行通信；

預(yù)期結(jié)果

c)節(jié)點(diǎn)間有認(rèn)證和密鑰協(xié)商流程（例如TLS協(xié)議相關(guān)流程）；

d)中間抓包數(shù)據(jù)僅包含中間結(jié)果數(shù)據(jù)，且無(wú)法反推出原始數(shù)據(jù)。

備注無(wú)

6.5.3計(jì)算結(jié)果安全性測(cè)試

測(cè)試編號(hào)TestCase503

測(cè)試項(xiàng)目計(jì)