ACM MM2024 | 網易伏羲多模態研究再獲國際認可，推動特定領域跨模態理解新突破

1. 第32屆ACM國際多媒體學術會議（ACM International Conference on Multimedia，簡稱ACM MM）公佈論文接收結果，網易伏羲最新研究成果《Selection and Reconstruction of Key Locals: A Novel Specific Domain Image-Textific Retrieval Method》入選。

2. 此論文研究方向涉及視覺語言預訓練（VLP）、跨模態圖文檢索（CMITR）等領域。此次入選標誌著網易伏羲實驗室多模態能力再受國際認可，目前相關技術已應用至網易伏羲自研多模態智能體助手「丹青約」。
3. ACM MM由國際電腦協會（ACM）發起，是多媒體處理、分析與運算領域最具影響力的國際頂尖會議，也是中國電腦學會推薦的多媒體領域A類國際學術會議。作為領域內的頂級會議，ACM MM 受到國內外知名廠商和學者廣泛關注。本屆ACM MM共收到有效稿件4,385篇，其中1149篇由大會接收，接收率為26.20%。

   

   作為國內領先的人工智慧研究機構，網易伏羲在大規模模型研究領域已有近六年的深厚積累，具備豐富的演算法和工程經驗，先後打造了數十個文本和多模態預訓練模型，包括文字理解和生成大模型、圖文理解大模型、圖文生成大模型等。這些成果不僅有效地推動了大模型在遊戲領域的應用，也為跨模態理解能力的發展奠定了堅實的基礎。跨模態理解能力有助於更好地融合多種領域知識，並對齊豐富的資料模態及資訊。

在此基礎上，網易伏羲基於圖文理解大模型進一步創新，提出一種基於關鍵局部信息的選取與重建的跨模態檢索方法，為多模態智能體解決特定領域下的圖像文本互動問題奠定技術基礎。

以下為本次入選論文概要：

《Selection and Reconstruction of Key Locals: A Novel Specific Domain Image-Text Retrieval Method》

關鍵局部資訊的選取與重建：一種新穎的特定領域圖文檢索方法

關鍵字：關鍵局部訊息，細微，可解釋

涉及領域：視覺語言預訓練（VLP），跨模態圖文檢索（CMITR）

近年來，隨著視覺語言預訓練(Vision- Language Pretraining, VLP) 模型的興起，跨模態影像文字檢索(Cross-Modal Image-Text Retrieval, CMITR) 領域取得了顯著進展。儘管像 CLIP 這樣的 VLP 模型在一般領域的 CMITR 任務中表現出色，但在特定領域影像文字擷取 (Specific Domain Image-Text Retrieval, SDITR) 中，其效能往往會不足。這是因為特定領域通常具有獨特的資料特徵，這些特徵區別於一般領域。

在特定領域內，圖像之間可能展現出高度的視覺相似性，而語義差異則往往集中在關鍵的局部細節上，例如圖像中的特定對象區域或文本中含義豐富的詞彙。即使是這些局部片段的細微變化也可能對整個內容產生顯著影響，從而凸顯了這些關鍵局部訊息的重要性。因此，SDITR 要求模型專注於關鍵的局部資訊片段，以增強影像與文字特徵在共享表示空間中的表達，進而改善影像與文字之間的對齊精確度。

本主題透過探討視覺語言預訓練模型在特定領域圖像-文字檢索任務中的應用，研究了特定領域圖像-文字檢索任務中的局部特徵利用問題。主要貢獻在於提出了一種利用具有判別性的細粒度局部資訊的方法，優化圖像與文字在共享表示空間中的對齊。

為此，我們設計了顯式關鍵局部資訊選擇和重建框架和基於多模態交互的關鍵局部段重構策略，這些方法有效地利用了具有判別性的細粒度局部信息，從而顯著提升了圖像與文本在共享空間中的對齊質量，廣泛和充分的實驗證明了所提出策略的先進性和有效性。

在此特別感謝西安電子科技大學IPIU實驗室對本論文的大力支持與重要研究貢獻。

この研究結果は、マルチモーダル研究分野における NetEase Fuxi の新たな重要な進歩を示すだけでなく、特定の分野におけるクロスモーダルな理解に新たな視点と技術サポートを提供します。特定のシナリオにおける画像とテキスト間のインタラクションの精度を最適化するこの研究は、実際のアプリケーションシナリオにおけるクロスモーダル理解テクノロジーの向上のための強固な基盤を築きます。
現在、NetEase Fuxi のマルチモーダル理解機能は、NetEase Leihuo、NetEase Cloud Music、NetEase Yuanqi などを含む NetEase グループの複数の事業部門で広く使用されています。これらのアプリケーションは、ゲーム内の革新的なテキストベースの顔をつまむゲームプレイ、クロスモーダル リソース検索、パーソナライズされたコンテンツの推奨など、さまざまなシナリオをカバーしており、大きなビジネス価値を実証しています。
将来的には、研究の深化と技術の進歩に伴い、この成果により、教育、医療、電子商取引、その他の業界における人工知能技術の広範な適用が促進され、よりパーソナライズされたインテリジェントなサービス体験がユーザーに提供されることが期待されます。 NetEase Fuxiはまた、国内外のトップ学術機関との交流と協力を深め、より最先端の研究分野での深い探求を実施し、人工知能技術の開発を共同で推進し、より効率的でスマートな社会の構築に貢献していきます。社会。
下のQRコードをスキャンして「写真アポイントメント」をすぐに体験し、「よりよく理解できる」写真とテキストによるマルチモーダルなインタラクティブ体験をお楽しみください。

以上是ACM MM2024 | 網易伏羲多模態研究再獲國際認可，推動特定領域跨模態理解新突破的詳細內容。更多資訊請關注PHP中文網其他相關文章！