-
FATE 2.0 全面升級,推動隱私運算聯邦學習規模化應用程式
FATE開源平台宣布發布FATE 2.0版本,作為全球領先的聯邦學習工業級開源框架。此次更新實現了聯邦異質系統之間的互聯互通,持續增強了隱私運算平台的互聯互通能力。這項進展進一步推動了聯邦學習與隱私計算規模化應用的發展。
FATE 2.0以全面互通為設計概念 ,採用開源方式對應用層、調度、通訊、異構計算(演算法)四個層面進行改造,實現了系統與系統、系統與演算法、演算法與演算法之間異構互通的能力。
FATE 2.0的設計相容於了北京金融科技產業聯盟的《金融業隱私計算互聯互通API技術文件》[3]等業內規範,在發布前,FATE 2.0已經和多個異質隱私計算平台完成了互聯互通驗證。近期北京金融科技產業聯盟發布文件時提到,「主題組聯合FATE開源社群、頭部科技公司完成了五方跨平台、跨演算法的互通聯調,驗證了介面文件在支援多方異質平台互聯互通的可行性與安全性」。
存取以下網址取得FATE 2.0版本:
##https:/ /www.php.cn/link/99113167f3b816bdeb56ff1af6cec7af
-
FATE 2.0FATE 2.0
-
FATE# #亮點概述應用層互聯互通: 建構標準
##可擴展的聯邦DSL,支援應用層互聯互通
,統一
DSL######適配多種異質隱私運算平台任務描述######## ##########
-
调度层互联互通:从多层面解耦系统模块来构建开放标准化的互联互通调度平台,支持多种异构隐私计算平台间任务调度
-
传输层跨站点互联互通:构建开放跨站点互联互通通信组件,支持多种传输模式以及多种通信协议, 可适配多种异构隐私计算平台间数据传输,增强传输效率和系统稳定性
-
联邦异构计算互联互通: 构建分布式和明密文Tensor/DataFrame, 解耦HE、MPC等安全协议和联邦算法协议,助力联邦异构计算引擎互联互通
-
核心算法迁移和扩展,算法开发体验和性能显著增强:采用分布式,明密文Tensor/Dataframe编程模式,实现核心算法迁移和扩展;核心算法性能提升:PSI隐私保护求交算法性能提升1.8 倍,纵向联邦SSHE-LR算法性能提升4.3 倍,纵向联邦神经网络算法性能提升143倍等
FATE 2.0互联互通整体架构示意图
FATE-Client 2.0: 构建可扩展的联邦DSL,支持应用层的互联互通
1. 引入新的可扩展和标准化的联邦DSL IR,即联邦建模流程DSL标准化中间层表示
2. 支援將python客戶端聯邦建模流程程式碼編譯成DSL IR
3. DSL IR
##協定擴展增強: 支援多方不對稱調度
4. 支援FATE的標準化聯邦DSL IR與其他協定轉化,如北京金融科技產業聯盟互聯互通BFIA協定的相互轉換
#5. #完成Flow Cli與Flow SDK功能遷移
#FATE-Flow 2.0:
建構開放標準化的互連互通調度平台
#1.適配可擴充且標準化的FATE 2.0 聯邦DSL IR
#2. 建構互聯調度層框架,透過適配器方式支援其他協議,如《隱私計算互聯互通API技術文件》所涉及的控制層介面。
3. 最佳化流程調度,調度邏輯解耦且可自訂化,並增加了優先調度
4. 優化演算法元件調度,支援容器級演算法加載,提升對跨平台異構場景的支援
5. ##優化多版本演算法元件註冊,支援對元件運作模式的註冊
6. ######聯邦DSL IR擴充增強:支援多方不對稱調度####### ######7. ######最佳化用戶端身分驗證邏輯,支援多個用戶端的權限管理############8. ######最佳化RESTful接口,使入參字段和類型、返回字段和狀態代碼更加清晰############9######.增加了OFX(Open Flow Exchange)模組:封裝調度客戶端,允許跨平台調度############10.######支援新的通訊引擎OSX,同時與FATE Flow 1.x中的所有引擎保持相容############11. ######系統層和演算法層解耦,系統設定從FATE儲存庫移到Flow儲存庫## ##########12. ######在PyPI中發布FATE Flow包,並新增了用於服務管理的服務等級的CLI######
13. 完成1.x主功能遷移
#OSX(Open Site Exchange ) 1.0: 建構開放跨站點互聯互通通訊元件
- ##參考北金融科技產業聯盟發布的《金融業隱私計算互聯互通API技術文檔》實現互聯互通傳輸接口,傳輸接口兼容FATE 1.X版本和FATE 2.X版本
- 支援grpc同步傳輸和串流傳輸,支援TLS安全傳輸協議,相容FATE 1.X rollsite元件
- 支援Http 1.X協議傳輸,支援TLS安全傳輸協定
- 支援訊息佇列模式傳輸,用於取代FATE1.X中的rabbitmq 以及pulsar元件
- 支援eggroll 、spark計算引擎
- 支援作為Exchange元件群組網,支援FATE 1.X 、FATE 2.X 存取
- 相比rollsite元件完善了傳輸中異常處理邏輯,提供更精確日誌輸出用於快速定位異常
- #路由配置與原始rollsite基本一致,降低了移植難度
- 支援http介面修改路由表,並提供簡單權限校驗
- 已完善了網路連線管理邏輯,降低連線外洩風險,提升傳輸效率
- #對叢集內外部存取要求使用不同連接埠處理,方便對不同的連接埠採用不同的安全性原則
FATE-Arch 2.0: 建構統一標準化的API,輔助聯邦異質計算引擎互聯互通
-
Context: 引入「Context」來管理對開發者友善的API,例如「分散式運算」、「聯邦學習」、「加密演算法」、「張量運算」、「度量指標」和「輸入輸出管理」
-
Tensor: 引入Tensor資料結構處理本地及分散式矩陣運算,支援內建的異質加速;PHETensor 抽象層最佳化,透過標準介面使用多種底層PHE實現,自由切換
-
DataFrame: 引入“DataFrame”二維表格資料結構,用於資料輸入輸出和基礎特徵工程。 新增資料塊管理器支援列多型別管理,支援特徵匿名邏輯;新增統計、比較、索引、資料分箱及轉換等30 算子介面
-
#重構Federation:提供統一的聯邦通訊接口,包括統一的序列化/反序列化控制和更友善的API
- Config:為 FATE 提供統一的配置設置,包括安全性配置、系統配置和演算法配置
-
重構「logger」 #:根據不同使用方式和需求自訂日誌記錄細節
-
Launcher:一個簡化的聯邦程式執行工具,特別適合單機運行和本地調試
-
協議層:支援SSHE(混合安全多方計算和同態加密協定)、ECDH、安全聚合協定
- 整合Deepspeed:透過Eggroll支援分散式GPU叢集的訓練調度
- 實驗性整合Crypten:支援SMPC,未來將增加更多協議和功能
FATE-Component 2.0: 建構標準化的演算法元件,適配不同調度引擎
- 引入元件工具箱:將機器學習模組封裝為標準可執行程式
- #透過spec和loader提供清晰的API,方便內部擴充和與外部系統整合
- #輸入輸出:進一步解耦FATE-Flow,提供標準化的黑盒子呼叫流程
- 元件定義:支援基於類型的定義,自動檢查元件參數,支援多種資料和模型輸入輸出類型,以及多重輸入
#FATE-ML 2.0: #核心演算法遷移與擴充,演算法開發體驗與效能顯著增強
-
采用分布式,明密文Tensor/Dataframe编程模式,实现核心算法迁移和扩展:
- 数据预处理:新增DataFrame Transformer, 完成Reader、PSI、Union和DataSplit迁移
- 特征工程:完成HeteroFederatedBinning、HeteroFeatureSelection、DataStatistics、Sampling、FeatureScale和Pearson Correlation迁移
- 联邦训练算法迁移:包括HeteroSecureBoost、HomoNN、HeteroCoordinatedLogisticRegressio、HeteroCoordinatedLinearRegression、SSHE-LogisticRegression和SSHE-LinearRegression
- 新增联邦训练算法协议:基于MPC和同态加密混合协议的SSHE-HeteroNN
,基于FedPASS协议的FedPASS-HeteroNN
- 性能显著提升
-
PSI隐私保护求交:在一亿id的数据集上测试,且交集结果为1亿,性能为FATE-1.11的1.8 倍
- 纵向联邦分箱算法:在guest 十万行*三十维特征,host 十万行*三百维特征的数据上测试,性能为FATE-1.11 的1.5 倍
- 纵向联邦SSHE-LR算法: 在guest 十万行*三十维特征,host 十万行*三百维特征的数据上测试,性能为FATE-1.11的4.3 倍
- 纵向联邦带协调方的LR算法:在guest 十万行*三十维特征,host 十万行*三百维特征的数据上测试,性能为FATE-1.11的1.2 倍
- 纵向联邦神经网络(基于FedPass协议):在guest 十万行*三十维特征, host 十万行*三百维特征的数据上测试,与明文性能基本一致,性能为FATE-1.11的143 倍
Eggroll 3.0: 系统性能、可用性和可靠性全面增强
1. JVM增强
- 核心组件重构:cluster-manager 和 node-manager 组件使用Java语言全面重建,确保统一性和提升性能
- 传输组件修改:移除 rollsite 传输组件,用更高效的 osx 组件替代
- 进程管理改进:实现了更高级的进程管理逻辑,显著降低进程泄露风险
- 数据存储逻辑增强:数据存储机制优化,提高性能和可靠性
- 并发控制改进:升级原有组件中的并发控制逻辑,提升性能
- 可视化组件:新增可视化组件,方便监控计算信息
- 日志完善:日志系统增强,输出更精确,有助于快速检测异常
2. Python升级
-
roll_pair和 egg_pair重構:支援由呼叫方控制的序列化和分區方法,序列化安全性由調用方統一管理
- 中間表自動清理:解決了聯邦和計算之間中間表自動清理問題,無需調用方額外操作
- 配置控制統一:引入靈活的配置系統,支援直接傳遞、配置文件和環境變量,以滿足多樣化需求
- 客戶端PyPI安裝:Eggroll 3.0.0 支援客戶端通過PyPI進行簡易安裝
- 日誌配置最佳化:呼叫方可以根據需要自訂日誌格式
- 程式碼結構調整:程式碼庫精簡,結構和邏輯更清晰,並移除了大量冗餘程式碼
#匯聚開源力量,協助隱私運算產業發展
#跨產業、跨機構的資料融合在金融、電信、醫療、政務、廣告行銷、智慧城市等諸多場景都有廣泛的需求。隱私運算已成為打破產業間資料障礙的利器,互聯互通則是充分發揮這把利器作用的磨刀石。 FATE 2.0提供了一個開源框架來實現互聯互通,解決了業界的一大痛點。大多數隱私運算平台都可以透過實現開放的互通接口,達到和異質系統互動和整合的目的。
FATE 2.0#的推出為實現異質平台之間的互聯互通提供了有力支持,持續的迭代展現了科技不斷完善的承諾。不僅關乎資料隱私保護,更涉及整個產業向前發展。在這一進程中,隱私計算行業用戶和技術合作夥伴有了更多參與的機會。透過社群的共同努力,我們可以更好地應對資料安全和隱私保護挑戰,為建立更安全可靠的數位社會奠定堅實基礎。
FATE 2.0
的發布是產業合作與共贏的新篇章,期待更多的創新者和實踐者加入其中,共同推動隱私運算技術的蓬勃發展。 [1]
# 國家數據局:國家數據局等部門關於印發《「數據要素×」三年行動計畫(2024—2026)》的通知[2]
###### 中國信通院呂艾臨等:我國資料要素市場培育進展與趨勢##################[3]########### 《金融業隱私計算互聯互通API技術文件》v1.0版本已在FATE社群倉庫進行託管:https://github.com/FederatedAI/InterOp######以上是FATE 2.0發布:實現異質聯邦學習系統互聯的詳細內容。更多資訊請關注PHP中文網其他相關文章!