NUS和位元組跨界合作，透過模型優化實現訓練提速72倍，並榮獲AAAI2023傑出論文。

近日，人工智慧國際頂會AAAI 2023公佈評選結果。新加坡國立大學（NUS）與位元組跳動機學習團隊(AML)合作的#CowClip技術論文入圍傑出論文（Distinguished Papers）。 CowClip是一項模型訓練最佳化策略，可在確保模型精確度的前提下，實現在單張GPU上的模型訓練速度提升72倍，相關程式碼現已開源。

#論文網址：https://arxiv.org/abs/ 2204.06240

開源位址：https://github.com/bytedance/LargeBatchCTR

##AAAI是由國際人工智慧促進協會主辦的年會，是人工智慧領域中歷史最悠久的頂級學術會議之一。 AAAI 2023共收到8,777篇論文投稿，其中1721篇論文被錄用，錄用率為19.6%。牛津大學電腦科學系獲得此次大會的最高獎項（Outstanding Paper Award），北大等機構合作論文則獲得學生論文獎（Outstanding Student Paper）。此外，大會也選出12篇傑出論文（Distinguished Papers），內容涵蓋模型訓練策略最佳化、圖神經網路優化、神經架構搜尋等多個方向。

如何提升模型訓練速度是機器學習領域永恆的課題。自從Google在2018年提出首個預訓練大模型BERT，大模型訓練逐漸成為深度學習領域的潮流和趨勢。然而，模型體量越來越大也意味著一次完整的訓練要花費大量的時間和計算成本。根據先前Google發布的信息，訓練110億參數的 T5（Google 2019 年推出的預訓練模型）變體時，單次運行成本超過130萬美元。

入選傑出論文的CowClip模型訓練最佳化策略，透過保障更大批量大小（batch size）的模型精度，可以實現更充分的GPU性能挖掘，達到提高訓練速度的目的。實驗顯示，利用CowClip 訓練的模型比其它方法不僅精度更高，訓練速度也大幅提升，在單張GPU上訓練Deep FM模型可以針對公開數據集的數據，將訓練時間從12小時壓縮至10分鐘，一次將模型訓練速度提升72倍。

憑藉著高效率的運算和更精準的分析與決策能力，人工智慧技術正越來越廣泛地應用到醫療、金融、製造、教育和電商等領域，而模型訓練的精確度和效率將持續成為影響人工智慧產業發展的關鍵因素。

據介紹，位元組跳動機學習團隊（AML）已將CowClip的核心技術在公司部分業務中落地實踐。該團隊為公司提供機器學習中台服務，包括為今日頭條、抖音、西瓜影片等產品的推薦、廣告、搜尋等業務場景提供大規模訓練系統和推理系統，並透過火山引擎向企業客戶提供簡單易用、穩定可靠的機器學習平台。

以上是NUS和位元組跨界合作，透過模型優化實現訓練提速72倍，並榮獲AAAI2023傑出論文。的詳細內容。更多資訊請關注PHP中文網其他相關文章！