FATE 2.0 dikeluarkan: merealisasikan kesalinghubungan sistem pembelajaran bersekutu heterogen

• FATE 2.0Naik taraf komprehensif untuk menggalakkan aplikasi berskala besar pembelajaran bersekutu pengkomputeran persendirian

FATE diumumkan platform terbuka F.

versi, sebagai dunia gred industri pembelajaran bersekutu terkemuka Rangka kerja sumber terbuka. Kemas kini ini merealisasikan kesalinghubungan antara sistem heterogen bersekutu dan terus mempertingkatkan keupayaan kesalinghubungan platform pengkomputeran privasi. Kemajuan ini menggalakkan lagi pembangunan aplikasi berskala besar pembelajaran bersekutu dan pengkomputeran privasi.

FATE 2.0 mengambil kebolehoperasian menyeluruh sebagai konsep reka bentuk , dan menggunakan kaedah sumber terbuka untuk mengubah empat peringkat penyelarasan aplikasi, lapisan, hm penjadualan aplikasi, lapisan, hm penjadualan. , Ia menyedari keupayaan kebolehoperasian heterogen antara sistem dan sistem, sistem dan algoritma, serta algoritma dan algoritma. .

[3 ]

dan piawaian industri lain, sebelum dikeluarkan, FATE 2.0 telah melengkapkan pengesahan kesalinghubungan dan kebolehoperasian dengan berbilang platform pengkomputeran privasi heterogen. Baru-baru ini Beijing Financial Technology Industry Alliance menyebut dalam pengeluaran dokumen bahawa "pasukan penyelidik , bersama-sama dengan komuniti sumber terbuka FATE dan syarikat teknologi terkemuka, menyelesaikan kebolehoperasian silang platform dan silang algoritma silang lima pihak dan bersama. penyahpepijatan, mengesahkan bahawa dokumen antara muka menyokong Kebolehlaksanaan dan keselamatan penyambungan platform heterogen berbilang pihak". . NASIB 2.0 Ikhtisar Sorotan untuk menyesuaikan diri dengan pelbagai platform pengkomputeran privasi heterogen Penerangan misi

• Lapisan penjadualanSambungan: menyahgandingkan modul sistem daripada pelbagai peringkat kepada membina platform penjadualan interkoneksi yang terbuka dan piawai, penjadualan tugasan berbilangpenyokongan hetero
penjadualan platform

perndirian

• Sambungan rentas tapak lapisan pengangkutan: Bina komponen komunikasi sambung rentas tapak terbuka, menyokong berbilang mod penghantaran dan berbilang protokol komunikasi, Boleh menyesuaikan diri dengan penghantaran data antara berbilang platform pengkomputeran privasi heterogen, meningkatkan Kecekapan penghantaran dan kestabilan sistem

.

dan protokol keselamatan lain serta protokol algoritma bersekutu,
• bantuan sambungan enjin pengkomputeran heterogen bersekutu penghijrahan dan pengembangan algoritma teras, pengalaman dan prestasi pembangunan algoritma dipertingkatkan dengan ketara: menggunakan teks Sifir yang diedarkan dan jelas Tensor/pengaturan algoritma teras pengembangan; peningkatan prestasi algoritma teras: PSIPeningkatan prestasi algoritma persimpangan perlindungan privasi 1.8+
kali, persekutuan menegak

SSHE- LR

prestasi algoritma kali ganda

• dipertingkatkan dan menegak prestasi algoritma rangkaian saraf dipertingkatkan 143 kali FATE 2.0Gambarajah skematik keseluruhan seni bina interkoneksi FATE 2.0

Ciri sepintas lalu

NASIB

-Klien 2.0:

• Bina aplikasi sokongan DSL berskala

1. Memperkenalkan yang baharu IR DSL persekutuan boleh skala dan piawai, iaitu proses pemodelan bersekutu DSL perwakilan lapisan tengah piawai

2. IR dan penukaran protokol lain, seperti

Saling Sambungan Industri Teknologi Kewangan Beijing BFIA penukaran bersama protokol

5

Selesaikan penghijrahan fungsi Flow Cli dan Flow SDK

NASIB- Aliran 2.0:

Membina platform penjadualan saling berkaitan yang terbuka dan standard

1. Sesuaikan dengan FATE 2.0 Federal DSL IR2 yang boleh berskala dan diseragamkan

Bina rangka kerja lapisan penjadualan interkoneksi dan menyokong protokol lain melalui penyesuai, seperti antara muka lapisan kawalan yang terlibat dalam "Dokumen Teknikal API Saling Operasi Pengkomputeran". 3.

Optimumkan penjadualan proses, penyahgandingan dan logik penjadualan boleh disesuaikan, dan menambah penjadualan keutamaan4. senario heterogen

5 Optimumkan pendaftaran komponen algoritma berbilang versi dan sokong pendaftaran mod pengendalian komponen

6 Peningkatan sambungan IR berbilang metrik

Bersekutu

: 7. Optimumkan logik pengesahan pelanggan dan sokongan pengurusan kebenaran berbilang pelanggan

8 Optimumkan antara muka RESTful untuk menjadikan medan dan jenis input, medan kembali dan kod status lebih jelas

. . Menambah modul OFX (Open Flow Exchange): merangkum pelanggan penjadualan, membenarkan penjadualan merentas platform 10.

Menyokong enjin komunikasi baharu OSX sambil kekal serasi dengan semua enjin dalam FATE Flow 1.x

.

Lapisan sistem dan lapisan algoritma dipisahkan, dan konfigurasi sistem dialihkan dari repositori FATE ke repositori Flow

12

Pakej FATE Flow dikeluarkan dalam PyPI, dan perkhidmatan baharu untuk pengurusan perkhidmatan. ditambah Tahap CLI.

Rujukan "Dokumentasi Teknikal API Interoperasi Pengkomputeran Privasi Industri Kewangan" yang dikeluarkan oleh Perikatan Industri Fintech Beijing melaksanakan antara muka penghantaran

saling kendali

, yang serasi dengan versi FATE 1.X dan versi FATE 2.X

menyokong penghantaran segerak grpc Dan transmisi penstriman, menyokong protokol penghantaran selamat TLS, serasi dengan komponen tapak roll FATE 1.X menyokong Http 1. Komponen rabbitmq dan pulsar dalam logik pengendalian Pengecualian semasa penghantaran menyediakan output log yang lebih tepat untuk mengesan pengecualian dengan cepat

1. Konfigurasi penghalaan pada asasnya sama dengan tapak gulung asal, mengurangkan kesukaran pemindahanMenyokong antara muka http untuk mengubah suai jadual penghalaan, dan menyediakan pengesahan kebenaran mudah memperbaiki pengurusan sambungan rangkaian , mengurangkan risiko kebocoran sambungan, dan meningkatkan kecekapan penghantaran
2. Gunakan port yang berbeza untuk memproses permintaan akses di dalam dan di luar kelompok, menjadikannya lebih mudah untuk menerima pakai dasar keselamatan yang berbeza untuk port yang berbeza
5. -Arch 2.0:
6. Bina API bersatu dan piawai untuk memudahkan penyambungan enjin pengkomputeran heterogen bersekutu
1. Konteks: Memperkenalkan "Konteks" untuk mengurus API mesra pembangun, seperti "pengkomputeran teragih", "pembelajaran bersekutu", "algoritma penyulitan", "operasi tensor", "metrik" dan "Input dan output pengurusan"
2. Tensor: Memperkenalkan struktur data Tensor untuk memproses operasi matriks setempat dan teragih, menyokong pecutan heterogen terbina dalam; pengoptimuman lapisan abstraksi PHETensor, menggunakan pelbagai pelaksanaan PHE asas melalui antara muka standard, penukaran percuma
3. DataFrame: Memperkenalkan "DataFrame" struktur data jadual dua dimensi untuk input dan output data dan kejuruteraan ciri asas. Pengurus blok data baharu menyokong pengurusan berbilang jenis lajur dan menampilkan logik tanpa nama; menambah 30+ antara muka pengendali seperti statistik, perbandingan, pengindeksan, binning dan transformasi data, dll.
4. Persekutuan yang dibina semula: Menyediakan persekutuan bersatu KomunikasiAntaramuka, termasuk kawalan bersiri/deserialisasi bersatu dan API yang lebih mesra
5. Config: Menyediakan tetapan konfigurasi bersatu untuk FATE, termasuk konfigurasi keselamatan, konfigurasi sistem dan konfigurasi algoritma
6. Refactor :
Sesuaikan butiran pengelogan mengikut kaedah dan keperluan penggunaan yang berbeza
7. Pelancar
: Alat perlaksanaan program persekutuan yang dipermudahkan, terutamanya sesuai untuk berjalan bersendirian dan penyahpepijatan setempat
8. hybrid SSProtocolhybri : Support selamat
9. pengiraan berbilang pihak dan protokol penyulitan homomorfik), ECDH, protokol pengagregatan selamat
10. Penyepaduan Kelajuan Dalam: Menyokong penjadualan latihan bagi kluster GPU yang diedarkan melalui Eggroll Protokol integrasi SMPC
Sokongan Eksperimen


dan fungsi akan ditambah pada masa hadapan

FATE-Component 2.0:

1. Bina komponen algoritma piawai untuk menyesuaikan diri dengan enjin penjadualan yang berbeza
e mesin modul pembelajaran ke dalam program boleh laksana standard
Sediakan API yang jelas melalui spesifikasi dan pemuat untuk memudahkan pengembangan dalaman dan penyepaduan dengan sistem luaran
Input dan output: memisahkan FATE-Flow dan menyediakan proses panggilan Kotak hitam standard




Takrifan komponen: menyokong definisi berasaskan jenis, menyemak parameter komponen secara automatik, menyokong berbilang data dan model input dan jenis output, dan berbilang input

FATE-ML 2.0: Cor algoritma Cor dan pengembangan,

Pengalaman dan prestasi pembangunan algoritma dipertingkatkan dengan ketara🎜🎜🎜
1. Mengguna pakai teks teredar, biasa dan sifirTensor/Bingkai Datamodel pengaturcaraan untuk merealisasikan pemindahan dan pengembangan algoritma teras:
2. Pemprosesan data: Ditambahkan DataFrame Transformer🜜 Pengubah Data🜜Split, DataFrame Transformer, Split yang lengkap
Kejuruteraan ciri: Selesai HeteroFederatedBinning, HeteroFeatureSelection, DataStatistics, Sampling, FeatureScale dan migrasi Korelasi Pearson
Penghijrahan algoritma latihan bersekutu: termasuk HeteroSecureBoost, HomoNN, HeteroCoordinatedLogisticRegsion.HeterogressiLogisticRegsion dan SS HE-LinearRegression
New Increased federated protokol algoritma latihan: SSHE-HeteroNN berdasarkan MPC dan protokol hibrid penyulitan homomorfik
,

FedPASS-HeteroNN berdasarkan protokol FedPASS

Pencapaian yang ketara
1. PS. rivacy Persimpangan terlindung: diuji pada set data 100 juta ID, dan hasil persilangan ialah 100 juta, prestasi adalah 1.8+ kali ganda daripada FATE-1.11
2. Algoritma binning bersekutu memanjang: dalam tetamu 100,000 baris * ciri hos 30 dimensi, diuji 100,000 baris*Data ciri 300 dimensi, prestasi adalah 1.5+ kali ganda daripada FATE-1.11
3. Algoritma SSHE-LR bersekutu menegak: pada tetamu 100,000 baris*300 dimensi ciri, hos 100 baris, hos 100 baris data seratus ciri dimensi, prestasi adalah 4.3+ kali ganda daripada FATE-1.11
4. Algoritma LR penyelaras tali pinggang persekutuan membujur: tetamu 100,000 baris*30 ciri dimensi, hos 100,000 baris*300 Diuji pada data dengan ciri dimensi 1.2, + kali ganda FATE-1.11
5. Rangkaian Neural Bersekutu Membujur (berdasarkan protokol FedPass): tetamu 100,000 baris*ciri 30 dimensi, hos 100,000 baris*300 ciri dimensi Diuji pada data, prestasi pada asasnya konsisten dengan prestasi plaintik , dan prestasi adalah 143+ kali ganda daripada FATE-1.11

Eggroll 3.0:


Prestasi, ketersediaan dan kebolehpercayaan sistem dipertingkatkan sepenuhnya.🜎 Peningkatan

Pembinaan semula komponen teras: komponen pengurus kluster dan pengurus nod dibina semula sepenuhnya menggunakan bahasa Java untuk memastikan keseragaman dan meningkatkan prestasiPengubahsuaian komponen penghantaran: keluarkan komponen penghantaran tapak roll, Digantikan dengan komponen osx yang lebih cekap

• Peningkatan pengurusan proses: Melaksanakan logik pengurusan proses yang lebih maju, mengurangkan risiko kebocoran proses dengan ketara
• Peningkatan logik storan data: Pengoptimuman mekanisme storan data, peningkatan prestasi dan kebolehpercayaan
• Peningkatan kawalan concurrency: Naik taraf kawalan concurrency dalam komponen asal untuk meningkatkan prestasi
• Komponen visual: Tambah komponen visual baharu untuk memudahkan pemantauan maklumat pengiraan
• Peningkatan log: Sistem log dipertingkatkan dan outputnya lebih tepat Membantu mengesan anomali dengan cepat
• 2. Ular sawa
naik taraf
• • roll_pair dan rekonstruksi egg_pair: sokongan siri dan kaedah pemisahan yang dikawal oleh pemanggil , Serialization Security diuruskan secara seragam oleh pemanggil
  • Automatik pembersihan jadual perantaraan: Menyelesaikan masalah Persekutuan dan Pengiraan Perantaraan jadual dibersihkan secara automatik tanpa memerlukan operasi tambahan oleh pemanggil Kawalan konfigurasi bersatu: Memperkenalkan sistem konfigurasi fleksibel yang menyokong pemindahan langsung, fail konfigurasi dan pembolehubah persekitaran untuk memenuhi pelbagai keperluan Pelanggan PyPI: Eggroll 3.0.0 menyokong klien mudah pemasangan melalui PyPI
  • Pengoptimuman konfigurasi log: pemanggil boleh menyesuaikan format log mengikut keperluan
  • Pelarasan struktur kod: asas kod diperkemas, struktur dan logik lebih jelas, dan dialih keluar Banyak kod berlebihan
  • Mengumpul kuasa sumber terbuka untuk membantu pembangunan industri pengkomputeran persendirian , bandar pintar dan banyak senario lain mempunyai keperluan yang meluas. Pengkomputeran privasi telah menjadi alat yang berkuasa untuk memecahkan halangan data antara industri, dan saling sambungan adalah batu asah untuk memberikan permainan sepenuhnya kepada alat berkuasa ini. FATE 2.0 menyediakan rangka kerja sumber terbuka untuk mencapai kesalinghubungan dan kebolehoperasian, menyelesaikan masalah kesakitan utama dalam industri. Kebanyakan platform pengkomputeran privasi boleh mencapai tujuan untuk berinteraksi dan menyepadukan dengan sistem heterogen dengan melaksanakan antara muka kebolehoperasian terbuka. Pelancaran

  FATE 2.0
  

  memberikan sokongan padu untuk kesalinghubungan dan saling kendali antara platform heterogen, dan lelaran berterusan menunjukkan komitmen penambahbaikan teknologi yang berterusan. Ia bukan sahaja mengenai perlindungan privasi data, tetapi juga mengenai pembangunan keseluruhan industri. Dalam proses ini, pengguna industri pengkomputeran privasi dan rakan kongsi teknologi mempunyai lebih banyak peluang untuk mengambil bahagian. Melalui usaha bersama komuniti, kami dapat menangani cabaran keselamatan data dan perlindungan privasi dengan lebih baik, dan meletakkan asas yang kukuh untuk membina masyarakat digital yang lebih selamat dan boleh dipercayai. Pengeluaran

  
  FATE 2.0

  ialah lembaran baharu kerjasama industri dan menang-menang.
  [1]

  Biro Data Kebangsaan: Notis daripada Biro Data Kebangsaan dan jabatan lain mengenai pengeluaran "Elemen Data [2]

  Akademi Maklumat Ailin dan China Lv Teknologi Komunikasi dan lain-lain: Kemajuan dan trend dalam penanaman pasaran elemen data negara saya

  

  [3] "Industri Kewangan Privasi Pengkomputeran Interoperasi Dokumentasi Teknikal API" v1.0 telah dikeluarkan repositori komuniti FATE yang Dihoskan di FATE : https://github.com/FederatedAI/InterOp

Atas ialah kandungan terperinci FATE 2.0 dikeluarkan: merealisasikan kesalinghubungan sistem pembelajaran bersekutu heterogen. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!