FATE 2.0 リリース: 異種フェデレーテッド ラーニング システムの相互接続を実現

• #FATE 2.0プライベート コンピューティング フェデレーション ラーニングの大規模アプリケーションを促進するための包括的なアップグレード

##FATE オープンソース プラットフォームは、フェデレーテッド ラーニング向けの世界をリードする産業グレードのオープンソース フレームワークとして、FATE 2.0 バージョンのリリースを発表しました。 。このアップデートにより、フェデレーションされた異種システム間の相互接続が実現され、プライバシー コンピューティング プラットフォームの相互接続機能が引き続き強化されます。この進歩により、フェデレーション ラーニングとプライバシー コンピューティングの大規模アプリケーションの開発がさらに促進されます。

FATE 2.0

包括的な相互運用性を設計コンセプトとして設計 は、オープンソース手法を使用して アプリケーション層、スケジューリング、通信、ヘテロジニアス コンピューティング (アルゴリズム) の 4 つのレベルを変換し、システムとシステム、システムとアルゴリズム、およびアルゴリズムとの統合を実現します。異種混合相互運用性の能力#。 FATE 2.0

の設計は、

「金融産業プライバシー コンピューティングの相互運用性」と互換性があります。

API技術文書》##[3]##FATE 2.0 は、リリース前に、# およびその他の業界標準に準拠して、複数の異種プライバシー コンピューティング プラットフォームとの相互接続と相互運用性の検証を完了しました。最近 Beijing Financial Technology Industry Alliance は、リリースされた文書の中で次のように述べています。 -パーティのクロスプラットフォーム、クロス- アルゴリズムの相互運用性と共同デバッグにより、マルチパーティの異種プラットフォームの相互運用性をサポートするインターフェイス ドキュメントの実現可能性とセキュリティが検証されました。" FATE バージョン 2.0 を入手するには、次の URL にアクセスしてください: ##https :/ /www.php.cn/link/99113167f3b816bdeb56ff1af6cec7af

#フェイト 2.0

ハイライト概要

アプリケーション層相互接続
• : 構築標準できる拡張フェデレーテッド DSL、アプリケーション層相互接続のサポート
、統合
• DSL複数の異種プライバシー コンピューティング プラットフォームへの適応タスクの説明
  • スケジューリング層相互接続: システム モジュールを複数のレベルから分離し、オープンで標準化された相互接続および相互運用性のスケジューリング プラットフォームを構築します、 複数の異種プライバシー コンピューティング プラットフォーム間のタスク スケジューリングをサポート

  
  

  • 伝送層クロス-サイト相互接続: オープンなサイト間相互接続通信コンポーネントを構築し、複数の伝送モードと複数の通信プロトコルをサポートします。 複数の異種プライバシー コンピューティング プラットフォーム間のデータ伝送に適応し、伝送効率とシステムの安定性を向上させます

  
  

  • ##連邦ヘテロジニアス コンピューティング相互接続: 分散暗号文と平文暗号文の構築 Tensor/DataFrame、DecouplingHE、MPC およびその他のセキュリティ プロトコルとフェデレーテッド アルゴリズム プロトコル、 フェデレーテッド異種コンピューティング エンジンの相互接続を容易にする

  
  

  • # コア アルゴリズムの移行と拡張、アルゴリズム開発の経験とパフォーマンスが大幅に向上強化: 分散プレーン暗号文Tensor/データフレームプログラミング モデルを使用して、コア アルゴリズムの移行と拡張を実現、コア アルゴリズムのパフォーマンスの向上: PSI プライバシー保護交差アルゴリズムのパフォーマンスが向上 1.8 倍、垂直フェデレーション SSHE-LR アルゴリズムのパフォーマンスが向上 4.3 倍、垂直フェデレーテッド ニューラル ネットワーク アルゴリズムのパフォーマンスが 143 倍向上します。など

  

  FATE 2.0 全体的な相互接続アーキテクチャの概略図

  
  

  • FATE 2.0 機能リスト

  FATE-クライアント 2.0: #スケーラブルなフェデレーション DSL の構築#,アプリケーション層の相互接続のサポート

  1.

  新しいスケーラブルで標準化されたフェデレーテッド DSL IR、つまりフェデレーテッド モデリングの導入プロセス DSL 標準化された中間層表現

  2. Python クライアント フェデレーテッド モデリング プロセス コードの DSL IR へのコンパイルをサポート

  3. DSL IR プロトコル拡張機能の強化: マルチパーティ非対称スケジューリングのサポート

  4. FATE の標準化されたフェデレーション DSL IR および その他のプロトコル変換 (例:#) をサポート##Beijing Financial Technology Industry Alliance Interoperability BFIA プロトコルの相互変換

  5. Flow Cli および Flow SDK 機能の移行を完了する

  
  

  #FATE-Flow 2.0: オープンで標準化された相互接続スケジューリング プラットフォームの構築 ##1

  。スケーラブルで標準化された FATE 2.0 フェデレーテッド DSL IR2 に適応します。

  相互接続スケジューリング層フレームワークを構築し、「プライバシー コンピューティング相互接続」などのアダプターを介して他のプロトコルをサポートします。 「相互運用性 API 技術文書」に含まれる制御層インターフェイス。 3.

  プロセス スケジューリングを最適化し、スケジューリング ロジックが分離されてカスタマイズ可能になり、優先度スケジューリングが追加されます# #4 .

  アルゴリズム コンポーネントのスケジューリングを最適化し、コンテナ レベルのアルゴリズムの読み込みをサポートし、クロスプラットフォームの異種シナリオのサポートを改善します5.

  最適化マルチ-version アルゴリズム コンポーネントの登録は、コンポーネントの動作モードの登録をサポートします6.

  フェデレーテッド DSL IR 拡張機能の拡張: マルチパーティの非対称スケジューリングをサポートします 7.

  クライアント認証ロジックを最適化し、複数のクライアントの権限管理をサポート#8.

  RESTful を最適化するインターフェイスにより、入力パラメータのフィールドとタイプ、戻りフィールドとステータス コードがより明確になりました

  #9． OFX (Open Flow Exchange) モジュールの追加: スケジューリング クライアントをカプセル化し、クロスプラットフォーム スケジューリングを可能にします

  10.FATE と連携しながら、新しい通信エンジン OSX をサポートします。フロー 1.x のすべてのエンジンは互換性を維持します

  11. システム層とアルゴリズム層は分離され、システム構成は FATE リポジトリからフロー リポジトリ

  12. PyPI の FATE Flow パッケージをリリースし、サービス管理用のサービスレベル CLI を追加しました

  13. 1.x メイン関数の移行を完了

  
  

  OSX (Open Site Exchange) ) 1.0: オープンなクロスサイト相互接続および通信コンポーネントの構築

  1. 参考北京金融 Technology Industry Alliance が公開した「Financial Industry Privacy Computing Interoperability API Technical Documentation」では、Interconnection 伝送インターフェースが実装されており、FATE 1.X バージョンおよび FATE 2 と互換性があります。 .X バージョン
  2. grpc 同期伝送およびストリーミングをサポート、TLS セキュア伝送プロトコルをサポート、FATE 1.X ロールサイト コンポーネントと互換性あり
  3. サポート Http 1.X プロトコル送信、TLS セキュア送信プロトコルをサポート
  4. FATE1 の Rabbitmq および pulsar コンポーネントを置き換えるために使用される、メッセージ キュー モード送信をサポートします。X
  5. #eggroll および Spark コンピューティング エンジンをサポート
  6. Exchange コンポーネントとしてネットワーキングをサポートし、FATE 1.X および FATE 2.X アクセスをサポート
  7. 比較ロールサイト コンポーネントは、送信中の例外処理のロジックを改善し、例外を迅速に特定するためのより正確なログ出力を提供します。
  8. ルーティング構成は基本的に元のロールサイトと同じであるため、移植の困難さが軽減されます
  9. http インターフェイスをサポートしてルーティング テーブルを変更し、簡単な権限検証を提供します。
  10. ネットワーク接続管理ロジックを改善し、接続漏洩のリスクを軽減し、伝送効率の向上
  11. 異なるポートに異なるセキュリティ ポリシーを適用できるように、クラスター内外のアクセス要求を処理するために異なるポートを使用します

  
  

  #FATE-Arch 2.0: フェデレーションされた異種コンピューティング エンジンの相互接続を容易にする、統合および標準化された API を構築します。

  1. コンテキスト: 「分散コンピューティング」、「フェデレーテッド ラーニング」、「暗号化」アルゴリズムなど、開発者向けの API を管理するための「コンテキスト」の紹介"、"Tensor Operation"、"Metric"、および "Input and Output Management"
  2. Tensor: ローカルおよび分散行列演算を処理するための Tensor データ構造の導入、サポート組み込みの異種アクセラレーション、PHETensor 抽象化レイヤーの最適化、標準インターフェイスを介したさまざまな基礎となる PHE 実装の使用、自由な切り替え
  3. DataFrame: 「DataFrame」の紹介 2-次元表形式のデータ構造。データの入出力と基本的な特徴量エンジニアリングに使用されます。 新しいデータ ブロック マネージャーは、列のマルチタイプ管理と機能匿名ロジック (新しい統計、比較、インデックス付け、データ ビニングと変換など) をサポートしています。30 のオペレーター インターフェイス
  4. Reconstruct Federation: 統合されたシリアル化/逆シリアル化制御とより使いやすい API Config を含む、統合されたフェデレーション
  5. 通信インターフェイスを提供します。 : セキュリティ構成、システム構成、アルゴリズム構成など、FATE の統合構成設定を提供します。
  6. 「ロガー」を再構築します： カスタマイズさまざまな使用方法やニーズに応じた詳細のロギング
  7. #Launcher: スタンドアロン操作とローカル デバッグに特に適した、簡素化されたフェデレーテッド プログラム実行ツール
  8. プロトコル層: SSHE (ハイブリッドセキュリティマルチパーティ計算および準同型暗号化プロトコル)、ECDH、安全な集約プロトコルをサポート
  9. Deepspeed の統合: Eggroll を介した分散 GPU クラスターのトレーニング スケジューリングをサポートします。
  10. Crypten の実験的統合: SMPC をサポートし、将来的にはさらに多くのプロトコルと機能が追加される予定です

  
  

  ##FATE コンポーネント 2.0: 標準化されたアルゴリズム コンポーネントを構築し、さまざまなスケジュールに適応させます。エンジン

  #コンポーネント ツールボックスの紹介: 機械学習モジュールを標準の実行可能プログラムにカプセル化
  1. #明確な API を提供します。内部拡張と外部システムとの統合を容易にするスペックとローダー
  2. 入力と出力: FATE-Flow をさらに分離し、標準化されたブラック ボックス呼び出しプロセスを提供します
  3. コンポーネント定義: タイプベースの定義をサポートし、コンポーネントパラメータを自動的にチェックし、複数のデータとモデルの入力および出力タイプ、および複数の入力をサポートします

  
  FATE-ML 2.0:

  コア アルゴリズムの移行と拡張,アルゴリズム開発エクスペリエンスとパフォーマンスが大幅に向上

  1. 分散型、クリアな暗号文を採用Tensor/Dataframe プログラミング モデルを採用して、コア アルゴリズムの移行と拡張を実現:
  2. データ前処理: DataFrame Transformer の追加、Reader、PSI、Union、DataSplit の完全な移行
  3. 特徴エンジニアリング: HeteroFederatedBinning、HeteroFeatureSelection、DataStatistics、Sampling、FeatureScale、および Pearson Correlation の完全な移行
  4. フェデレーテッド トレーニング アルゴリズムの移行: HeteroSecureBoost、HomoNN、HeteroCoownedLogisticRegressio、HeteroCoownedLinearRegression、SSHE-LogisticRegression、SSHE-LinearRegression を含む
  5. 新しいフェデレーテッド トレーニング アルゴリズム プロトコル: SSHE -HeteroNN

  MPC および準同型暗号化ハイブリッド プロトコルに基づく、FedPASS-HeteroNN

  # FedPASS プロトコルに基づく
  1. ##パフォーマンスが大幅に向上
  2. PSIプライバシー保護交差: 1 億 ID のデータ セットでテストされ、交差結果は 1 億です。パフォーマンスは FATE-1.11 の 1.8 倍です。
  3. 垂直フェデレーテッド ビニング アルゴリズム: ゲスト内の 10 万行 * 30 次元の特徴、ホスト内の 10 万行 * 3 つの 100 次元の特徴データでテストしたところ、パフォーマンスは FATE-1.11 の 1.5 倍です。
  4. 垂直フェデレーテッド SSHE-LR アルゴリズム: ゲストで 100,000 行 * 30 次元の機能、100,000 行 * 300 次元の機能ホスト内 特徴データでテストしたところ、パフォーマンスは FATE-1.11 の 4.3 倍です。
  5. コーディネーターを備えた縦断フェデレーテッド LR アルゴリズム: ゲストで 100,000 行*30 次元の特徴、ホストで 100,000 行*300 次元の特徴を持つデータでテストしたところ、パフォーマンスは FATE-1.11 の 1.2 倍です
  6. 縦方向連合ニューラル ネットワーク (FedPass プロトコルに基づく): ゲストに 10 万行 * 30 次元特徴、ホスト 100,000 行 * 300 次元特徴データでテスト、パフォーマンスは基本的にプレーン テキストと一致し、パフォーマンスは FATE-1.11
  # の 143 倍です。

  
  

  ##Eggroll 3.0: システムのパフォーマンス、可用性、信頼性に対する包括的な機能強化 ##1. JVM

  機能強化

  コア コンポーネントの再構築: クラスター マネージャー コンポーネントとノード マネージャー コンポーネントは Java 言語を使用して完全に再構築され、均一性を確保し、改善されています。パフォーマンス
  • トランスミッション コンポーネントの変更: ロールサイト トランスミッション コンポーネントを削除し、より効率的な OSX コンポーネントに置き換えます
  • プロセス管理の改善: より高度な実装プロセス管理ロジック、表示 プロセス漏洩のリスクを軽減するには
  • データ ストレージ ロジックの強化: データ ストレージ メカニズムの最適化、パフォーマンスと信頼性の向上
  • 同時実行制御の改善: オリジナルをアップグレードします。パフォーマンスを向上させるために、コンポーネントに同時実行制御ロジックがあります。
  • ビジュアル コンポーネント: 計算情報の監視を容易にするために、新しいビジュアル コンポーネントが追加されます
  • ログの改善: ログ システムの強化、出力がより正確になり、異常を迅速に検出するのに役立ちます
  2. Python

  アップグレード

  • roll_pair および Egg_pair リファクタリング: 呼び出し元制御のシリアル化およびパーティショニング メソッドをサポート 、 シリアル化は呼び出し元の統合パーティ管理によって安全に行われます。
  • 中間テーブルの自動クリーニング:呼び出し側で追加の操作を必要とせずに、フェデレーションと計算の間の中間テーブルの自動クリーニングの問題を解決します。統合構成制御: 多様なニーズを満たすために、直接転送、構成ファイル、および環境変数をサポートする柔軟な構成システムの導入
  • クライアント PyPI インストール: Eggroll 3.0.0 は、簡単なインストールのために PyPI を介してクライアントをサポートします
  • ログ構成の最適化: 呼び出し元は、必要に応じてログ形式をカスタマイズできます。
  • コード構造の調整: コード ベースが合理化され、構造化されます。より明確になり、多くの冗長なコードが削除されています

  
  

  
  #プライバシー コンピューティング業界の発展を支援するオープンソースの力

  • 金融、電気通信、医療、政府事務における業界を超え、組織を超えたデータ統合広告やマーケティング、知恵 都市など多くのシーンで幅広いニーズがあります。プライバシー コンピューティングは、業界間のデータ障壁を打ち破る強力なツールとなっており、相互接続はこの強力なツールを最大限に活用するための砥石です。 FATE 2.0
  は、相互接続と相互運用性を実現するオープンソース フレームワークを提供し、業界の大きな問題点を解決します。ほとんどのプライバシー コンピューティング プラットフォームは、オープンな相互運用性インターフェイスを実装することで、異種システムとの対話と統合という目的を達成できます。

  #FATE 2.0のリリースは、異種プラットフォーム間の相互接続の実現を強力にサポートし、継続的な反復により、技術の継続的な改善。これはデータプライバシー保護だけでなく、業界全体の発展にも関係します。このプロセスでは、プライバシー コンピューティング業界のユーザーとテクノロジー パートナーが参加する機会が増えます。コミュニティの共同の取り組みを通じて、データ セキュリティとプライバシー保護の課題に適切に対処し、より安全で信頼性の高いデジタル社会を構築するための強固な基盤を築くことができます。

  FATE 2.0

  のリリースは、業界協力と Win-Win の新たな章です。プライバシー コンピューティング テクノロジの精力的な開発を共同で推進するために、より多くのイノベーターや実践者が参加することを楽しみにしています。

  [1]

  国家データ局: 国家データ局と他の部門は、情報通信技術アカデミーのエレメンツ・Lv アイリン氏らによる「データに関する「3 か年行動計画 (2024-2026 年)」に関するお知らせ: 我が国のデータ要素市場開拓の進捗状況と動向 [3]

  「金融業界におけるプライバシー コンピューティング相互運用性 API 技術ドキュメント v1.0 は、FATE コミュニティ ウェアハウスでホストされています: https:/ /github.com/FederatedAI/InterOp

以上がFATE 2.0 リリース: 異種フェデレーテッド ラーニング システムの相互接続を実現の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。