天翼雲在國際AI頂會大模型挑戰賽中獲得冠軍

6月7日，國際人工智慧頂會CVPR 2023舉辦的第一屆大模型挑戰賽（CVPR 2023 Workshop on Foundation Model:1st foundation model challenge）落下帷幕，本次比賽吸引了來自全球著名大學和知名企業的1024名參賽者。經過2個月的激烈角逐，天翼雲AI團隊（隊名CTRL）在多任務大模型賽道中表現出色，榮獲本屆大賽冠軍。

（圖片來源：攝圖網）

CVPR會議是由IEEE主辦的關於電腦視覺和模式識別的國際學術會議，收錄了該領域最新的研究成果和技術發展，是全球電腦視覺三大頂尖會議之一。

傳統的視覺模型生產流程通常採用單一任務，從零開始訓練，各個任務之間無法相互借鏡。由於單任務資料有限，導致模型的實際效果過度依賴任務資料分佈，通常對於不同場景的泛化效果不佳。

近年來，大數據預訓練技術迅速發展，透過利用大量資料學習通用知識並將其遷移到下游任務中的方法，本質上實現了不同任務之間的相互借鑒。基於海量資料所獲得的預訓練模型具有較好的知識完備性，即使在下游任務中使用少量資料進行微調，仍能獲得良好的效果。然而，基於預訓練 下游任務微調的模型生產流程需要為每個任務單獨訓練模型，這在研發上消耗了大量資源。相較之下，多任務訓練方案透過使用多個任務的資料訓練一個強大的通用模型，可以直接應用於處理多個任務，從而有效提高模型生產效率和泛化能力。

在本次競賽中，參賽者需要使用單一模型同時完成交通場景下的分類、偵測和分割三個代表性任務的聯合訓練。天翼雲AI團隊在模型設計方面憑藉豐富的演算法開發經驗，選擇了參數量僅為第2名60%的預訓練模型，但用更少的參數卻獲得了更高的精度。

為了解決多任務訓練中各分支損失函數和梯度不一致導致收斂緩慢的問題，天翼雲AI團隊採用了損失均衡和梯度尺度統一的方法，以此來平衡各任務分支的損失函數，並使梯度具有一致的尺度，從而提高模型的訓練效率和收斂速度。此外，天翼雲AI團隊也透過精心設計的任務專屬特徵金字塔和注意力機制，使各分支任務能夠利用骨幹網路中對自身任務更有效的特徵，進一步提升了整體模型的精確度和效能。

透過上述模型設計與訓練策略，天翼雲AI團隊在競賽中取得了優異成績，充分展現了在影像、音訊及多模態領域的深厚累積和持續創新能力。未來，天翼雲將繼續在廣闊的人工智慧領域進行創新和探索，以更先進的技術和卓越的成果惠及更多用戶，為千行百業的數位發展提供支撐。

以上是天翼雲在國際AI頂會大模型挑戰賽中獲得冠軍的詳細內容。更多資訊請關注PHP中文網其他相關文章！