首頁 >科技週邊 >人工智慧 >FATE 2.0發布:實現異質聯邦學習系統互聯

FATE 2.0發布:實現異質聯邦學習系統互聯

WBOY
WBOY轉載
2024-01-16 11:48:121491瀏覽


  • FATE 2.0 全面升級,推動隱私運算聯邦學習規模化應用程式


FATE開源平台宣布發布FATE 2.0版本,作為全球領先的聯邦學習工業級開源框架。此次更新實現了聯邦異質系統之間的互聯互通,持續增強了隱私運算平台的互聯互通能力。這項進展進一步推動了聯邦學習與隱私計算規模化應用的發展。

FATE 2.0版本重磅发布:实现异构联邦学习系统互联互通

FATE 2.0以全面互通為設計概念 ,採用開源方式對應用層、調度、通訊、異構計算(演算法)四個層面進行改造,實現了系統與系統、系統與演算法、演算法與演算法之間異構互通的能力


FATE 2.0的設計相容於了北京金融科技產業聯盟的《金融業隱私計算互聯互通API技術文件》[3]等業內規範,在發布前,FATE 2.0已經和多個異質隱私計算平台完成了互聯互通驗證。近期北京金融科技產業聯盟發布文件時提到,「主題組聯合FATE開源社群、頭部科技公司完成了五方跨平台、跨演算法的互通聯調,驗證了介面文件在支援多方異質平台互聯互通的可行性與安全性」。


存取以下網址取得FATE 2.0版本:

##https:/ /www.php.cn/link/99113167f3b816bdeb56ff1af6cec7af


  • FATE 2.0FATE 2.0
  • FATE# #亮點概述應用層互聯互通建構標準
  • ##可擴展的聯邦DSL,支援應用層互聯互通

,統一

DSL######適配多種異質隱私運算平台任務描述######## ##########
  • 调度层互联互通:从多层面解耦系统模块来构建开放标准化的互联互通调度平台支持多种异构隐私计算平台间任务调度


  • 传输层跨站点互联互通:构建开放跨站点互联互通通信组件,支持多种传输模式以及多种通信协议, 可适配多种异构隐私计算平台间数据传输,增强传输效率和系统稳定性


  • 联邦异构计算互联互通构建分布式和明密文Tensor/DataFrame, 解耦HEMPC等安全协议和联邦算法协议,助力联邦异构计算引擎互联互通


  • 核心算法迁移和扩展,算法开发体验和性能显著增强:采用分布式,明密文Tensor/Dataframe编程模式,实现核心算法迁移和扩展;核心算法性能提升:PSI隐私保护求交算法性能提升1.8 倍,纵向联邦SSHE-LR算法性能提升4.3 倍,纵向联邦神经网络算法性能提升143倍等

FATE 2.0版本重磅发布:实现异构联邦学习系统互联互通

FATE 2.0互联互通整体架构示意图


  • FATE 2.0功能一览

FATE-Client 2.0: 构建可扩展的联邦DSL支持应用层的互联互通

1. 引入新的可扩展和标准化的联邦DSL IR,即联邦建模流程DSL标准化中间层表示

2. 支援將python客戶端聯邦建模流程程式碼編譯成DSL IR

3. DSL IR


##協定擴展增強: 支援多方不對稱調度

4. 支援FATE的標準化聯邦DSL IR與其他協定轉化,如北京金融科技產業聯盟互聯互通BFIA協定的相互轉換

#5. #完成Flow Cli與Flow SDK功能遷移

#FATE-Flow 2.0: 

建構開放標準化的互連互通調度平台

#1.適配可擴充且標準化的FATE 2.0 聯邦DSL IR

#2. 建構互聯調度層框架,透過適配器方式支援其他協議,如《隱私計算互聯互通API技術文件》所涉及的控制層介面。

3. 最佳化流程調度,調度邏輯解耦且可自訂化,並增加了優先調度

4. 優化演算法元件調度,支援容器級演算法加載,提升對跨平台異構場景的支援

5. ##優化多版本演算法元件註冊,支援對元件運作模式的註冊

6. ######聯邦DSL IR擴充增強:支援多方不對稱調度####### ######7. ######最佳化用戶端身分驗證邏輯,支援多個用戶端的權限管理############8. ######最佳化RESTful接口,使入參字段和類型、返回字段和狀態代碼更加清晰############9######.增加了OFX(Open Flow Exchange)模組:封裝調度客戶端,允許跨平台調度############10.######支援新的通訊引擎OSX,同時與FATE Flow 1.x中的所有引擎保持相容############11. ######系統層和演算法層解耦,系統設定從FATE儲存庫移到Flow儲存庫## ##########12. ######在PyPI中發布FATE Flow包,並新增了用於服務管理的服務等級的CLI######

13. 完成1.x主功能遷移


#OSX(Open Site Exchange ) 1.0: 建構開放跨站點互聯互通通訊元件

  1. ##參考北金融科技產業聯盟發布的《金融業隱私計算互聯互通API技術文檔》實現互聯互通傳輸接口,傳輸接口兼容FATE 1.X版本和FATE 2.X版本
  2. 支援grpc同步傳輸和串流傳輸,支援TLS安全傳輸協議,相容FATE 1.X  rollsite元件
  3. 支援Http 1.X協議傳輸,支援TLS安全傳輸協定
  4. 支援訊息佇列模式傳輸,用於取代FATE1.X中的rabbitmq 以及pulsar元件
  5. 支援eggroll 、spark計算引擎
  6. 支援作為Exchange元件群組網,支援FATE 1.X 、FATE 2.X 存取
  7. 相比rollsite元件完善了傳輸中異常處理邏輯,提供更精確日誌輸出用於快速定位異常
  8. #路由配置與原始rollsite基本一致,降低了移植難度
  9. 支援http介面修改路由表,並提供簡單權限校驗
  10. 已完善了網路連線管理邏輯,降低連線外洩風險,提升傳輸效率
  11. #對叢集內外部存取要求使用不同連接埠處理,方便對不同的連接埠採用不同的安全性原則


FATE-Arch 2.0: 建構統一標準化的API,輔助聯邦異質計算引擎互聯互通

  1. Context: 引入「Context」來管理對開發者友善的API,例如「分散式運算」、「聯邦學習」、「加密演算法」、「張量運算」、「度量指標」和「輸入輸出管理」
  2. Tensor: 引入Tensor資料結構處理本地及分散式矩陣運算,支援內建的異質加速;PHETensor 抽象層最佳化,透過標準介面使用多種底層PHE實現,自由切換
  3. DataFrame: 引入“DataFrame”二維表格資料結構,用於資料輸入輸出和基礎特徵工程新增資料塊管理器支援列多型別管理,支援特徵匿名邏輯;新增統計、比較、索引、資料分箱及轉換等30 算子介面
  4. #重構Federation:提供統一的聯邦通訊接口,包括統一的序列化/反序列化控制和更友善的API
  5. Config:為 FATE 提供統一的配置設置,包括安全性配置、系統配置和演算法配置
  6. 重構「logger」 #:根據不同使用方式和需求自訂日誌記錄細節
  7. Launcher:一個簡化的聯邦程式執行工具,特別適合單機運行和本地調試
  8. 協議層:支援SSHE(混合安全多方計算和同態加密協定)、ECDH、安全聚合協定
  9. 整合Deepspeed:透過Eggroll支援分散式GPU叢集的訓練調度
  10. 實驗性整合Crypten:支援SMPC,未來將增加更多協議和功能


FATE-Component 2.0: 建構標準化的演算法元件,適配不同調度引擎

  1. 引入元件工具箱:將機器學習模組封裝為標準可執行程式
  2. #透過spec和loader提供清晰的API,方便內部擴充和與外部系統整合
  3. #輸入輸出:進一步解耦FATE-Flow,提供標準化的黑盒子呼叫流程
  4. 元件定義:支援基於類型的定義,自動檢查元件參數,支援多種資料和模型輸入輸出類型,以及多重輸入


#FATE-ML 2.0: #核心演算法遷移與擴充演算法開發體驗與效能顯著增強

  1. 采用分布式,明密文Tensor/Dataframe编程模式,实现核心算法迁移和扩展:
  2. 数据预处理:新增DataFrame Transformer, 完成Reader、PSI、Union和DataSplit迁移
  3. 特征工程:完成HeteroFederatedBinning、HeteroFeatureSelection、DataStatistics、Sampling、FeatureScale和Pearson Correlation迁移
  4. 联邦训练算法迁移:包括HeteroSecureBoost、HomoNN、HeteroCoordinatedLogisticRegressio、HeteroCoordinatedLinearRegression、SSHE-LogisticRegression和SSHE-LinearRegression
  5. 新增联邦训练算法协议:基于MPC和同态加密混合协议的SSHE-HeteroNN

基于FedPASS协议的FedPASS-HeteroNN

  1. 性能显著提升
  2.  PSI隐私保护求交:在一亿id的数据集上测试,且交集结果为1亿,性能为FATE-1.11的1.8 倍
  3. 纵向联邦分箱算法:在guest 十万行*三十维特征,host 十万行*三百维特征的数据上测试,性能为FATE-1.11 的1.5 倍
  4. 纵向联邦SSHE-LR算法: 在guest 十万行*三十维特征,host 十万行*三百维特征的数据上测试,性能为FATE-1.11的4.3 倍
  5. 纵向联邦带协调方的LR算法:在guest 十万行*三十维特征,host 十万行*三百维特征的数据上测试,性能为FATE-1.11的1.2 倍
  6. 纵向联邦神经网络(基于FedPass协议):在guest 十万行*三十维特征, host 十万行*三百维特征的数据上测试,与明文性能基本一致,性能为FATE-1.11的143 倍


Eggroll 3.0: 系统性能、可用性和可靠性全面增强

1. JVM增强

  • 核心组件重构:cluster-manager 和 node-manager 组件使用Java语言全面重建,确保统一性和提升性能
  • 传输组件修改:移除 rollsite 传输组件,用更高效的 osx 组件替代
  • 进程管理改进:实现了更高级的进程管理逻辑,显著降低进程泄露风险
  • 数据存储逻辑增强:数据存储机制优化,提高性能和可靠性
  • 并发控制改进:升级原有组件中的并发控制逻辑,提升性能
  • 可视化组件:新增可视化组件,方便监控计算信息
  • 日志完善:日志系统增强,输出更精确,有助于快速检测异常

2. Python升级

  • roll_pair和 egg_pair重構:支援由呼叫方控制的序列化和分區方法序列化安全性由調用方統一管理
  • 中間表自動清理:解決了聯邦和計算之間中間表自動清理問題,無需調用方額外操作
  • 配置控制統一:引入靈活的配置系統,支援直接傳遞、配置文件和環境變量,以滿足多樣化需求
  • 客戶端PyPI安裝:Eggroll 3.0.0 支援客戶端通過PyPI進行簡易安裝
  • 日誌配置最佳化:呼叫方可以根據需要自訂日誌格式
  • 程式碼結構調整:程式碼庫精簡,結構和邏輯更清晰,並移除了大量冗餘程式碼



FATE 2.0版本重磅发布:实现异构联邦学习系统互联互通#匯聚開源力量,協助隱私運算產業發展

#跨產業、跨機構的資料融合在金融、電信、醫療、政務、廣告行銷、智慧城市等諸多場景都有廣泛的需求。隱私運算已成為打破產業間資料障礙的利器,互聯互通則是充分發揮這把利器作用的磨刀石。 FATE 2.0提供了一個開源框架來實現互聯互通,解決了業界的一大痛點。大多數隱私運算平台都可以透過實現開放的互通接口,達到和異質系統互動和整合的目的。

FATE 2.0#的推出為實現異質平台之間的互聯互通提供了有力支持,持續的迭代展現了科技不斷完善的承諾。不僅關乎資料隱私保護,更涉及整個產業向前發展。在這一進程中,隱私計算行業用戶和技術合作夥伴有了更多參與的機會。透過社群的共同努力,我們可以更好地應對資料安全和隱私保護挑戰,為建立更安全可靠的數位社會奠定堅實基礎。

FATE 2.0

的發布是產業合作與共贏的新篇章,期待更多的創新者和實踐者加入其中,共同推動隱私運算技術的蓬勃發展。 [1]

# 國家數據局:國家數據局等部門關於印發《「數據要素×」三年行動計畫(2024—2026)》的通知[2]

###### 中國信通院呂艾臨等:我國資料要素市場培育進展與趨勢##################[3]########### 《金融業隱私計算互聯互通API技術文件》v1.0版本已在FATE社群倉庫進行託管:https://github.com/FederatedAI/InterOp######

以上是FATE 2.0發布:實現異質聯邦學習系統互聯的詳細內容。更多資訊請關注PHP中文網其他相關文章!

陳述:
本文轉載於:jiqizhixin.com。如有侵權,請聯絡admin@php.cn刪除