찾다
기술 주변기기일체 포함NUS와 Byte는 업계 간 협력하여 모델 최적화를 통해 72배 더 빠른 교육을 달성하고 AAAI2023 Outstanding Paper를 수상했습니다.

최근 최고의 국제 인공지능 컨퍼런스 AAAI 2023이 선정 결과를 발표했습니다. 싱가포르 국립대학교(NUS)와 Bytedance Machine Learning Team(AML)이 협력한 CowClip 기술 논문이 우수 논문 최종 후보에 올랐습니다. CowClip은 모델 정확도를 보장하면서 단일 GPU에서 모델 훈련 속도를 72배 높일 수 있는 모델 훈련 최적화 전략입니다. 관련 코드는 이제 오픈 소스입니다.

NUS와 Byte는 업계 간 협력하여 모델 최적화를 통해 72배 더 빠른 교육을 달성하고 AAAI2023 Outstanding Paper를 수상했습니다.


논문 주소: https://arxiv.org/abs/2204.06240

오픈 소스 주소: https://github.com/bytedance/LargeBatchCTR

AAAI는 국제인공지능진흥협회(International Association for the Advancement of Artificial Intelligence)가 매년 주최하는 컨퍼런스로, 인공지능 분야에서 가장 오래된 학술 컨퍼런스 중 하나입니다. AAAI 2023에는 총 8,777개의 논문이 제출되었으며, 그 중 1,721개의 논문이 승인되었으며 승인률은 19.6%였습니다. 옥스퍼드대학교 컴퓨터과학과가 이번 학회 최우수상(Outstanding Paper Award)을 수상했으며, 북경대학교와 타 기관의 공동 논문이 우수 학생 논문상(Outstanding Student Paper Award)을 수상했습니다. 또한 이번 컨퍼런스에서는 모델 훈련 전략 최적화, 그래프 신경망 최적화, 신경 아키텍처 검색 등 다양한 방향을 다루는 우수 논문 12편도 선정되었습니다.

모델 훈련 속도를 향상시키는 방법은 머신러닝 분야의 영원한 주제입니다. Google이 2018년 최초로 사전 훈련된 대형 모델 BERT를 제안한 이후, 대형 모델 훈련은 점차 딥러닝 분야의 트렌드이자 추세가 되었습니다. 그러나 모델의 크기가 증가한다는 것은 완전한 훈련에 많은 시간과 계산 비용이 소요된다는 것을 의미합니다. 앞서 구글이 공개한 정보에 따르면 T5(구글이 2019년 출시한 사전 훈련 모델)의 110억 매개변수 변형을 훈련할 때 단일 운영 비용이 130만 달러를 넘는다.

우수논문으로 선정된 CowClip 모델 훈련 최적화 전략은 더 큰 배치 크기의 모델 정확도를 보장함으로써 보다 완벽한 GPU 성능 마이닝을 달성하고 훈련 속도를 향상시킬 수 있습니다. 실험에 따르면 CowClip을 사용하여 훈련한 모델은 다른 방법보다 정확도가 높을 뿐만 아니라 훈련 속도도 크게 향상되었습니다. 단일 GPU에서 Deep FM 모델을 훈련하면 데이터를 기준으로 훈련 시간을 12시간에서 10분으로 단축할 수 있습니다. 공개 데이터 세트의 모델 학습 속도는 한 번에 72배 향상됩니다.

인공지능 기술은 효율적인 컴퓨팅과 보다 정확한 분석 및 의사결정 능력을 통해 의료, 금융, 제조, 교육, 전자상거래 등의 분야에서 점점 더 많이 사용되고 있으며, 모델의 정확성도 향상되고 있습니다. 훈련과 효율성은 앞으로도 인공지능 산업의 발전에 영향을 미치는 핵심 요소가 될 것입니다.

보고서에 따르면 Bytedance Machine Learning Team(AML)은 회사의 일부 사업에 CowClip의 핵심 기술을 구현했습니다. 이 팀은 Toutiao, Douyin, Xigua Video 등에 대한 추천, 광고 및 검색과 같은 비즈니스 시나리오에 대한 대규모 교육 시스템 및 추론 시스템을 포함하여 회사에 기계 학습 중간 엔드 서비스를 제공하고 간단하고 쉬운- Volcano Engine을 통해 기업 고객에게 사용하기 쉽고 안정적이며 신뢰할 수 있는 추론 시스템을 제공합니다.


위 내용은 NUS와 Byte는 업계 간 협력하여 모델 최적화를 통해 72배 더 빠른 교육을 달성하고 AAAI2023 Outstanding Paper를 수상했습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

성명
이 기사는 51CTO.COM에서 복제됩니다. 침해가 있는 경우 admin@php.cn으로 문의하시기 바랍니다. 삭제
LLM에서 도구 호출LLM에서 도구 호출Apr 14, 2025 am 11:28 AM

대형 언어 모델 (LLM)은 인기가 높아졌으며, 도구 전달 기능은 단순한 텍스트 생성을 넘어 기능을 극적으로 확장했습니다. 이제 LLM은 동적 UI 생성 및 자율적 인 A와 같은 복잡한 자동화 작업을 처리 할 수 ​​있습니다.

ADHD 게임, 건강 도구 및 AI 챗봇이 글로벌 건강을 변화시키는 방법ADHD 게임, 건강 도구 및 AI 챗봇이 글로벌 건강을 변화시키는 방법Apr 14, 2025 am 11:27 AM

비디오 게임이 불안을 완화하거나 집중하거나 ADHD를 가진 어린이를 지원할 수 있습니까? 건강 관리 도전이 전 세계적으로 급증함에 따라, 특히 청소년들 사이에서 혁신가들은 비디오 게임 인 가능성이없는 도구로 전환하고 있습니다. 이제 세계 최대의 엔터테인먼트 인더스 중 하나입니다

AI에 대한 UN 입력 : 우승자, 패자 및 기회AI에 대한 UN 입력 : 우승자, 패자 및 기회Apr 14, 2025 am 11:25 AM

UNCTAD의 사무 총장 인 Rebeca Grynspan은“역사는 기술 진보가 경제 성장을 유발하거나 공평한 소득 분배를 보장하거나 포용적인 인간 발전을 촉진하지는 않습니다.

생성 AI를 통한 협상 기술 ​​학습생성 AI를 통한 협상 기술 ​​학습Apr 14, 2025 am 11:23 AM

쉽게 생성 AI를 협상 교사 및 스파링 파트너로 사용하십시오. 그것에 대해 이야기합시다. 혁신적인 AI 혁신에 대한이 분석은 AI의 최신 Forbes 열 범위의 일부입니다.

Ted는 Openai, Google, 메타가 법정으로 공개됩니다.Ted는 Openai, Google, 메타가 법정으로 공개됩니다.Apr 14, 2025 am 11:22 AM

밴쿠버에서 개최 된 TED2025 컨퍼런스는 어제 4 월 11 일 36 번째 판을 마무리했습니다. Sam Altman, Eric Schmidt 및 Palmer Luckey를 포함한 60 개 이상의 국가에서 80 명의 스피커를 선보였습니다. 테드의 주제 인“인류를 다시 상상했다”는 재단사가 만들어졌다

Joseph Stiglitz는 AI 독점권 속에서 임시 불평등을 경고합니다.Joseph Stiglitz는 AI 독점권 속에서 임시 불평등을 경고합니다.Apr 14, 2025 am 11:21 AM

Joseph Stiglitz는 2001 년에 유명한 경제학자이자 노벨 경제학상을 수상했습니다. Stiglitz는 AI가 기존의 불평등과 통합 된 권력을 몇몇 지배적 인 기업의 손에 악화시킬 수 있으며 궁극적으로 경제를 훼손 할 수 있다고 주장합니다.

그래프 데이터베이스 란 무엇입니까?그래프 데이터베이스 란 무엇입니까?Apr 14, 2025 am 11:19 AM

그래프 데이터베이스 : 관계를 통한 데이터 관리 혁명 데이터가 확장되고 그 특성이 다양한 필드에서 발전함에 따라 그래프 데이터베이스는 상호 연결된 데이터를 관리하기위한 변환 솔루션으로 떠오르고 있습니다. 전통적인 것과는 달리

LLM 라우팅 : 전략, 기술 및 파이썬 구현LLM 라우팅 : 전략, 기술 및 파이썬 구현Apr 14, 2025 am 11:14 AM

대형 언어 모델 (LLM) 라우팅 : 지능형 작업 분포를 통한 성능 최적화 LLM의 빠르게 진화하는 환경은 각각 독특한 강점과 약점을 가진 다양한 모델을 제시합니다. 일부는 Creative Content Gen에서 탁월합니다

See all articles

핫 AI 도구

Undresser.AI Undress

Undresser.AI Undress

사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover

AI Clothes Remover

사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool

Undress AI Tool

무료로 이미지를 벗다

Clothoff.io

Clothoff.io

AI 옷 제거제

AI Hentai Generator

AI Hentai Generator

AI Hentai를 무료로 생성하십시오.

인기 기사

R.E.P.O. 에너지 결정과 그들이하는 일 (노란색 크리스탈)
4 몇 주 전By尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. 최고의 그래픽 설정
4 몇 주 전By尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. 아무도들을 수없는 경우 오디오를 수정하는 방법
4 몇 주 전By尊渡假赌尊渡假赌尊渡假赌
WWE 2K25 : Myrise에서 모든 것을 잠금 해제하는 방법
1 몇 달 전By尊渡假赌尊渡假赌尊渡假赌

뜨거운 도구

안전한 시험 브라우저

안전한 시험 브라우저

안전한 시험 브라우저는 온라인 시험을 안전하게 치르기 위한 보안 브라우저 환경입니다. 이 소프트웨어는 모든 컴퓨터를 안전한 워크스테이션으로 바꿔줍니다. 이는 모든 유틸리티에 대한 액세스를 제어하고 학생들이 승인되지 않은 리소스를 사용하는 것을 방지합니다.

에디트플러스 중국어 크랙 버전

에디트플러스 중국어 크랙 버전

작은 크기, 구문 강조, 코드 프롬프트 기능을 지원하지 않음

DVWA

DVWA

DVWA(Damn Vulnerable Web App)는 매우 취약한 PHP/MySQL 웹 애플리케이션입니다. 주요 목표는 보안 전문가가 법적 환경에서 자신의 기술과 도구를 테스트하고, 웹 개발자가 웹 응용 프로그램 보안 프로세스를 더 잘 이해할 수 있도록 돕고, 교사/학생이 교실 환경 웹 응용 프로그램에서 가르치고 배울 수 있도록 돕는 것입니다. 보안. DVWA의 목표는 다양한 난이도의 간단하고 간단한 인터페이스를 통해 가장 일반적인 웹 취약점 중 일부를 연습하는 것입니다. 이 소프트웨어는

드림위버 CS6

드림위버 CS6

시각적 웹 개발 도구

Eclipse용 SAP NetWeaver 서버 어댑터

Eclipse용 SAP NetWeaver 서버 어댑터

Eclipse를 SAP NetWeaver 애플리케이션 서버와 통합합니다.