의사결정 트리를 위해 특별히 설계된 싱가포르 국립대학교와 칭화대학교는 빠르고 안전한 새로운 연합 학습 시스템을 공동으로 제안합니다.
연합 학습은 머신러닝에서 매우 뜨거운 분야로, 데이터를 전송하지 않고 여러 당사자가 모델을 공동으로 훈련하는 것을 말합니다. 연합 학습의 발전과 함께 FATE, FedML, PaddleFL, TensorFlow-Federated 등과 같은 연합 학습 시스템이 끝없이 등장하고 있습니다. 그러나 대부분의 연합 학습 시스템은 트리 모델의 연합 학습 훈련을 지원하지 않습니다. 신경망과 비교하여 트리 모델은 빠른 훈련, 강력한 해석 가능성 및 표 형식 데이터에 적합한 특성을 갖습니다. 트리 모델은 금융, 의료, 인터넷 및 광고 추천, 주식 예측 등과 같은 기타 분야에서 광범위한 응용 시나리오를 가지고 있습니다.
결정 트리의 대표적인 모델은 GBDT(Gradient Boosting Decision Tree)입니다. 하나의 트리의 예측 능력은 제한되어 있으므로 GBDT는 부스팅 방법을 통해 여러 트리를 직렬로 학습시키고, 최종적으로 각 트리를 현재 예측 값과 레이블 값의 잔차에 맞춰서 좋은 예측 효과를 얻습니다. 대표적인 GBDT 시스템으로는 XGBoost, LightGBM, CatBoost 및 ThunderGBM이 있습니다. 그중 XGBoost는 KDD 컵 챔피언십 팀에서 여러 번 사용되었습니다. 그러나 이러한 시스템 중 어느 것도 연합 학습 시나리오에서 GBDT 교육을 지원하지 않습니다. 최근 싱가포르 국립대학교와 칭화대학교 연구진은 트리 모델 훈련에 초점을 맞춘 새로운 연합 학습 시스템인 FedTree를 제안했습니다.
- 논문 주소: https://github.com/Xtra-Computing/FedTree/blob/main/FedTree_draft_paper.pdf
- 프로젝트 주소: https://github.com/ Xtra-Computing/FedTree
FedTree 시스템 소개FedTree 아키텍처 다이어그램은 그림 1에 표시되어 있으며 인터페이스, 환경, 프레임워크, 개인 정보 보호 및 모델의 총 5개 모듈이 있습니다.
그림 1: FedTree 시스템 아키텍처 다이어그램
인터페이스 : FedTree는 명령줄 인터페이스와 Python 인터페이스라는 두 가지 인터페이스를 지원합니다. 사용자는 매개변수(참가자 수, 연합 시나리오 등)만 제공하면 되며 한 줄 명령으로 훈련을 위해 FedTree를 실행할 수 있습니다. FedTree의 Python 인터페이스는 scikit-learn과 호환되며 훈련 및 예측을 위해 fit() 및 예측()을 호출할 수 있습니다.
Environment: FedTree는 단일 컴퓨터에서 연합 학습의 시뮬레이션 배포와 여러 컴퓨터에서 분산 연합 학습 배포를 지원합니다. 독립형 환경에서 FedTree는 데이터를 여러 하위 데이터 세트로 분할하는 것을 지원하며 각 하위 데이터 세트는 참가자로 훈련됩니다. 다중 시스템 환경에서 FedTree는 각 시스템을 참가자로 지원하고 시스템은 gRPC를 통해 통신합니다. 동시에 FedTree는 CPU 외에도 GPU 사용을 지원하여 훈련을 가속화합니다.
Framework: FedTree는 수평 및 수직 연합 학습 시나리오에서 GBDT 교육을 지원합니다. 수평 시나리오에서는 참가자마다 훈련 샘플이 다르고 기능 공간이 동일합니다. 수직적 시나리오에서는 참가자마다 특성 공간이 다르고 훈련 샘플이 동일합니다. 성능을 보장하기 위해 두 시나리오 모두에서 여러 당사자가 각 노드의 교육에 참여합니다. 또한 FedTree는 참가자가 트리를 병렬로 훈련한 다음 이를 집계하여 참가자 간의 통신 오버헤드를 줄이는 앙상블 학습도 지원합니다.
Privacy: 훈련 프로세스 중에 전달된 기울기가 훈련 데이터에 대한 정보를 유출할 수 있으므로 FedTree는 HE(동형 암호화) 및 보안 집계를 포함하여 기울기 정보를 더욱 보호하기 위한 다양한 개인 정보 보호 방법을 제공합니다. (SA). 동시에 FedTree는 최종 훈련 모델을 보호하기 위해 차등 개인 정보 보호를 제공합니다.
Model: FedTree는 트리 훈련을 기반으로 부스팅/배깅 방법을 통해 GBDT/랜덤 포레스트 훈련을 지원합니다. 다양한 손실 함수를 설정함으로써 FedTree에서 훈련한 모델은 분류 및 회귀를 포함한 다양한 작업을 지원합니다.
실험표 1은 전복에 대한 a9a, 유방 및 신용 및 RMSE에 대한 다양한 시스템의 AUC, FedTree의 모델 효과 및 FATE의 모든 데이터 및 SecureBoost(SBT)를 사용한 GBDT(XGBoost, ThunderGBM) 훈련을 요약합니다. . 또한 개인 정보 보호 정책 SA 및 HE는 모델 성능에 영향을 미치지 않습니다.
표 1: 서로 다른 시스템의 모델 효과 비교
표 2는 서로 다른 시스템의 각 트리의 훈련 시간(단위: 초)을 요약한 것입니다. FATE 수평 연합 학습 시나리오에서 훨씬 더 빠르며 100배 이상의 가속 비율을 달성할 수 있습니다.
표 2: 다양한 시스템의 각 나무에 대한 훈련 시간 비교
자세한 연구 내용은 FedTree 원본 논문을 참조하세요.
위 내용은 의사결정 트리를 위해 특별히 설계된 싱가포르 국립대학교와 칭화대학교는 빠르고 안전한 새로운 연합 학습 시스템을 공동으로 제안합니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

Microsoft Power BI 차트로 데이터 시각화의 힘을 활용 오늘날의 데이터 중심 세계에서는 복잡한 정보를 비 기술적 인 청중에게 효과적으로 전달하는 것이 중요합니다. 데이터 시각화는이 차이를 연결하여 원시 데이터를 변환합니다. i

전문가 시스템 : AI의 의사 결정 능력에 대한 깊은 다이빙 의료 진단에서 재무 계획에 이르기까지 모든 것에 대한 전문가의 조언에 접근 할 수 있다고 상상해보십시오. 그것이 인공 지능 분야의 전문가 시스템의 힘입니다. 이 시스템은 프로를 모방합니다

우선, 이것이 빠르게 일어나고 있음이 분명합니다. 다양한 회사들이 현재 AI가 작성한 코드의 비율에 대해 이야기하고 있으며 빠른 클립에서 증가하고 있습니다. 이미 주변에 많은 작업 변위가 있습니다

디지털 마케팅에서 소셜 미디어에 이르기까지 모든 창의적 부문과 함께 영화 산업은 기술 교차로에 있습니다. 인공 지능이 시각적 스토리 텔링의 모든 측면을 재구성하고 엔터테인먼트의 풍경을 바꾸기 시작함에 따라

ISRO의 무료 AI/ML 온라인 코스 : 지리 공간 기술 혁신의 관문 IIRS (Indian Institute of Remote Sensing)를 통해 Indian Space Research Organization (ISRO)은 학생과 전문가에게 환상적인 기회를 제공하고 있습니다.

로컬 검색 알고리즘 : 포괄적 인 가이드 대규모 이벤트를 계획하려면 효율적인 작업량 배포가 필요합니다. 전통적인 접근 방식이 실패하면 로컬 검색 알고리즘은 강력한 솔루션을 제공합니다. 이 기사는 언덕 등반과 Simul을 탐구합니다

릴리스에는 GPT-4.1, GPT-4.1 MINI 및 GPT-4.1 NANO의 세 가지 모델이 포함되어 있으며, 대형 언어 모델 환경 내에서 작업 별 최적화로 이동합니다. 이 모델은 사용자를 향한 인터페이스를 즉시 대체하지 않습니다

Chip Giant Nvidia는 월요일에 AI SuperComputers를 제조하기 시작할 것이라고 말했다. 이 발표는 트럼프 SI 대통령 이후에 나온다


핫 AI 도구

Undresser.AI Undress
사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover
사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool
무료로 이미지를 벗다

Clothoff.io
AI 옷 제거제

AI Hentai Generator
AI Hentai를 무료로 생성하십시오.

인기 기사

뜨거운 도구

Eclipse용 SAP NetWeaver 서버 어댑터
Eclipse를 SAP NetWeaver 애플리케이션 서버와 통합합니다.

안전한 시험 브라우저
안전한 시험 브라우저는 온라인 시험을 안전하게 치르기 위한 보안 브라우저 환경입니다. 이 소프트웨어는 모든 컴퓨터를 안전한 워크스테이션으로 바꿔줍니다. 이는 모든 유틸리티에 대한 액세스를 제어하고 학생들이 승인되지 않은 리소스를 사용하는 것을 방지합니다.

Atom Editor Mac 버전 다운로드
가장 인기 있는 오픈 소스 편집기

드림위버 CS6
시각적 웹 개발 도구

Dreamweaver Mac版
시각적 웹 개발 도구
