尤洋團隊在AAAI 2023傑出論文獎中獲得新成果，使用單塊V100訓練模型的速度提高了72倍

本文經AI新媒體量子位元（公眾號ID:QbitAI）授權轉載，轉載請聯絡來源。

就在剛剛，UC柏克萊博士、新加坡國立大學校長青年教授尤洋發布最新消息—

斬獲AAAI 2023傑出論文獎（Distinguished Paper）！

研究成果一次將模型的訓練速度，提升72倍。

甚至網友在拜讀完論文後發出感慨：

從12小時到10分鐘，嫩牛（你們牛）啊！

尤洋博士曾在學習期間刷新ImageNet以及BERT訓練速度的世界紀錄。

他所設計的演算法也是廣泛應用於谷歌，微軟，英特爾，英偉達等科技巨頭。

現如今，已經回國創業滄晨科技一年半的他，帶著團隊又做出了怎樣的演算法，斬獲AI頂會如此殊榮呢？

訓練時間從12小時到10分鐘

在這項研究中，尤洋團隊提出了一種最佳化策略CowClip，能夠加速CTR預測模型的大批量訓練。

CTR（click-through rate）預測模型是個人化推薦情境下的一種常用演算法。

它通常需要學習用戶的回饋（點擊、收藏、購買等），而每天線上產生的資料量又是空前龐大的。

因此，加快CTR預估模式的訓練速度至關重要。

一般來說，提高訓練速度會使用批量訓練，但批量太大會導致模型的準確度降低。

透過數學分析，團隊證明了在擴大批次時，對於不常見特徵的學習率（learning rate for infrequent features)不應該進行縮放。

透過他們提出的CowClip，可以簡單有效地擴展批次大小。

透過在4個CTR預估模型和2個資料集上進行測試，團隊成功將原始批次大小擴大了128倍，並沒有造成精度損失。

特別是在DeepFM上，透過將批次大小從1K擴大到128K，CowClip實現了AUC超過0.1%的改進。

並在單塊V100 GPU上，將訓練時間從原本的12小時，縮短至只需10分鐘，訓練提速72倍。

目前，專案程式碼已開源。團隊表示該演算法也適用於NLP等任務。

團隊介紹

本文的一作是尤洋的博士生鄭奘巍，本科畢業於南京大學電腦精英班，博士畢業於新加坡國立大學。

其研究方向包括機器學習、電腦視覺和高效能運算。

以上是尤洋團隊在AAAI 2023傑出論文獎中獲得新成果，使用單塊V100訓練模型的速度提高了72倍的詳細內容。更多資訊請關注PHP中文網其他相關文章！