Tianyi Cloud が International AI Summit Large Model Challenge で優勝

6月7日、人工知能のトップ国際会議CVPR 2023が開催した、世界の有名大学や研究者が参加した最初の大規模モデルチャレンジ（CVPR 2023 Workshop on Foundation Model：第1回基礎モデルチャレンジ）が閉幕した。世界中の有名企業から 1,024 名の参加者が参加。 2か月にわたる熾烈な競争を経て、Tianyi Cloud AIチーム（チーム名CTRL）がマルチタスクの大型模型トラックで好成績を収め、この大会の優勝を獲得した。

(画像出典: Photo Network)

CVPRカンファレンスは、IEEEが主催するコンピュータビジョンとパターン認識に関する国際学術会議で、この分野の最新の研究成果や技術開発が報告されており、コンピュータビジョンに関する世界三大カンファレンスの一つです。

従来のビジュアル モデルの作成プロセスは通常、単一のタスクを使用してトレーニングを最初から開始し、各タスクが相互に学習することができません。単一タスクのデータが限られているため、モデルの実際の効果はタスク データの分布に大きく依存し、さまざまなシナリオに対する汎化効果は通常不十分です。

近年、ビッグデータ事前学習技術が急速に発展しており、大量のデータを使って一般知識を学習し、それを下流のタスクに転送することで、本質的に異なるタスク間の相互学習を実現します。大量のデータに基づいて事前トレーニングされたモデルは知識の完全性が高く、下流タスクの微調整に少量のデータが使用された場合でも良好な結果を達成できます。しかし、事前トレーニングと下流タスクの微調整に基づくモデル作成プロセスでは、タスクごとにモデルを個別にトレーニングする必要があり、研究開発に多くのリソースを消費します。対照的に、マルチタスク トレーニング スキームは、複数のタスクからのデータを使用して強力な一般モデルをトレーニングします。これは、複数のタスクを処理するために直接適用できるため、モデルの生産性と汎化機能が効果的に向上します。

このコンテストでは、出場者は単一のモデルを使用して、交通シーンにおける分類、検出、セグメンテーションという 3 つの代表的なタスクの共同トレーニングを同時に完了する必要があります。 Tianyi Cloud AI チームは、モデル設計におけるアルゴリズム開発の豊富な経験を活用し、2 位のパラメーターの 60% のみを含む事前トレーニング済みモデルを選択し、少ないパラメーターで高い精度を実現しました。

マルチタスクトレーニングにおける各ブランチの一貫性のない損失関数と勾配によって引き起こされる収束の遅さの問題を解決するために、Tianyi Cloud AI チームは損失均等化と勾配スケールの統合の方法を採用し、各ブランチの損失関数のバランスをとりました。タスクのブランチとメイクの勾配は一貫したスケールを持つため、トレーニング効率とモデルの収束速度が向上します。さらに、Tianyi Cloud AI チームは、慎重に設計されたタスク固有の機能ピラミッドとアテンション メカニズムを使用して、各ブランチ タスクが自身のタスクにより効果的なバックボーン ネットワーク内の機能を利用できるようにし、全体の精度とパフォーマンスをさらに向上させます。モデル。

上記のモデル設計とトレーニング戦略を通じて、Tianyi Cloud AI チームは競争で優れた成績を収め、画像、音声、マルチモダリティの分野での深い蓄積と継続的な革新能力を十分に実証しました。今後も、Tianyi Cloudは人工知能の広大な分野で革新と探求を続け、より高度な技術と優れた結果でより多くのユーザーに利益をもたらし、何千もの業界のデジタル開発のサポートを提供していきます。

以上がTianyi Cloud が International AI Summit Large Model Challenge で優勝の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。