You Yang のチームは、単一の V100 を使用してモデルを 72 倍高速にトレーニングすることで、AAAI 2023 優秀論文賞で新たな結果を獲得しました。

この記事はAI New Media Qubit（公開アカウントID:QbitAI）の許可を得て転載していますので、転載については出典元にご連絡ください。

たった今、カリフォルニア大学バークレー校の博士でシンガポール国立大学の学長である若い教授You Yangが最新ニュースを発表しました——

AAAI 2023優秀論文賞（優秀論文）!

研究結果により、モデルのトレーニング速度が一度に 72 倍 向上しました。

新聞を読んだ後、ネチズンでさえため息をつきました:

12時間から10分まで、柔らかい牛さん(牛さん)ああ!

You Yang 博士は、在学中に ImageNet と BERT のトレーニング速度の世界記録を樹立したことがあります。

彼が設計したアルゴリズムは、Google、Microsoft、Intel、NVIDIA などの大手テクノロジー企業でも広く使用されています。

現在、彼は自分のビジネスを始めるために中国に戻りました Luchen Technology 1年半後、彼と彼のチームはどのようなアルゴリズムを考え出し、このような栄誉を獲得しましたかAIのトップカンファレンスで？

トレーニング時間は 12 時間から 10 分へ

この研究で、You Yang のチームは、CTR 予測モデル バッチの開発を加速できる最適化戦略 CowClip を提案しました。トレーニング。

CTR（クリックスルー率） 予測モデルは、パーソナライズされた推奨シナリオで一般的に使用されるアルゴリズムです。

通常、ユーザーのフィードバック (クリック、コレクション、購入など) を学習する必要がありますが、オンラインで毎日生成されるデータの量は前例のないほど膨大です。

したがって、CTR 予測モデルのトレーニングを高速化することが重要です。

一般的に、

バッチ トレーニング はトレーニング速度を上げるために使用されますが、バッチ サイズが大きすぎるとモデルの精度が低下します。

数学的分析を通じて、チームは、頻度の低い特徴の学習率

(頻度の低い特徴の学習率) は、バッチを拡張するときにスケーリングすべきではないことを証明しました。

同社が提案する CowClip を使用すると、バッチ サイズを簡単かつ効果的に拡張できます。

チームは、4 つの CTR 予測モデルと 2 つのデータセットでテストを行うことで、元のバッチ サイズを

128 回 拡張することに成功しました。精度が失われる原因となります。

特に DeepFM では、CowClip はバッチサイズを 1K から 128K に拡張することにより、AUC で 0.1% 以上の改善を達成しました。

また、単一の V100 GPU では、トレーニング時間は元の 12 時間からわずか 10 分に短縮され、トレーニング速度は

72 倍です。

現在、プロジェクト コードはオープン ソースです。研究チームによると、このアルゴリズムはNLPなどのタスクにも適しているという。

チーム紹介

この記事の最初の著者は、You Yang の博士課程の学生

Zheng Zangwei

で、南京大学のコンピュータ エリート クラスを卒業し、学士号と学士号を取得しました。シンガポール国立大学で博士号を取得。 彼の研究方向には、機械学習、コンピューター ビジョン、ハイ パフォーマンス コンピューティングが含まれます。

以上がYou Yang のチームは、単一の V100 を使用してモデルを 72 倍高速にトレーニングすることで、AAAI 2023 優秀論文賞で新たな結果を獲得しました。の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。