- 该论文研究方向涉及视觉语言预训练(VLP)、跨模态图文检索(CMITR)等领域。此次入选标志着网易伏羲实验室多模态能力再受国际认可,目前相关技术已应用至网易伏羲自研多模态智能体助手“丹青约”。
- ACM MM由国际计算机协会(ACM)发起,是多媒体处理、分析与计算领域最具影响力的国际顶级会议,也是中国计算机学会推荐的多媒体领域A类国际学术会议。作为领域内的顶级会议,ACM MM 受到国内外知名厂商和学者广泛关注。本届ACM MM共收到有效稿件4385篇,其中1149篇被大会接收,接收率为26.20%。
作为国内领先的人工智能研究机构,网易伏羲在大规模模型研究领域已有近六年的深厚积累,具备丰富的算法和工程经验,先后打造了数十个文本和多模态预训练模型,包括文本理解和生成大模型、图文理解大模型、图文生成大模型等。这些成果不仅有效推动了大模型在游戏领域的应用,也为跨模态理解能力的发展奠定了坚实的基础。跨模态理解能力有助于更好地融合多种领域知识,并对齐丰富的数据模态及信息。
在此基础上,网易伏羲基于图文理解大模型进一步创新,提出一种基于关键局部信息的选取与重建的跨模态检索方法,为多模态智能体解决特定领域下的图像文本交互问题奠定技术基础。
以下为本次入选论文概要:
《Selection and Reconstruction of Key Locals: A Novel Specific Domain Image-Text Retrieval Method》
关键局部信息的选取与重建:一种新颖的特定领域图文检索方法
关键词:关键局部信息,细粒度,可解释
涉及领域:视觉语言预训练(VLP),跨模态图文检索(CMITR)
近年来,随着视觉语言预训练 (Vision-Language Pretraining, VLP) 模型的兴起,跨模态图像文本检索 (Cross-Modal Image-Text Retrieval, CMITR) 领域取得了显著进展。尽管像 CLIP 这样的 VLP 模型在一般领域的 CMITR 任务中表现出色,但在特定领域图像文本检索 (Specific Domain Image-Text Retrieval, SDITR) 中,其性能往往会存在不足。这是因为特定领域通常具有独特的数据特征,这些特征区别于一般领域。
在特定领域内,图像之间可能展现出高度的视觉相似性,而语义差异则往往集中在关键的局部细节上,例如图像中的特定对象区域或文本中含义丰富的词汇。即使是这些局部片段的细微变化也可能对整个内容产生显著影响,从而凸显了这些关键局部信息的重要性。因此,SDITR 要求模型专注于关键的局部信息片段,以增强图像与文本特征在共享表示空间中的表达,进而改进图像与文本之间的对齐精度。
本课题通过探索视觉语言预训练模型在特定领域图像-文本检索任务中的应用,研究了特定领域图像-文本检索任务中的局部特征利用问题。主要贡献在于提出了一种利用具有判别性的细粒度局部信息的方法,优化图像与文本在共享表示空间中的对齐。
为此,我们设计了显式关键局部信息选择和重建框架和基于多模态交互的关键局部段重构策略,这些方法有效地利用了具有判别性的细粒度局部信息,从而显著提升了图像与文本在共享空间中的对齐质量,广泛和充分的实验证明了所提出策略的先进性和有效性。
在此特别感谢西安电子科技大学IPIU实验室对本论文的大力支持与重要研究贡献。
目前,网易伏羲的多模态理解能力已在网易集团的多个业务部门得到广泛应用,包括网易雷火、网易云音乐、网易元气等。这些应用覆盖了诸如游戏创新性文字捏脸玩法、跨模态资源搜索、个性化内容推荐等多种场景,展现了巨大的业务价值。
未来,随着研究的深入与技术进步,该成果有望促进人工智能技术在教育、医疗、电子商务等多个行业的广泛应用,为用户提供更加个性化和智能化的服务体验。网易伏羲也将持续深化与国内外顶尖学术机构的交流与合作,在更多前沿研究领域展开深入探索,共同推动人工智能技术的发展,为构建一个更高效、更智能的社会贡献力量。
扫描下方二维码,立即体验“丹青约”,享受“更懂你”的图文并茂的多模交互体验!
以上是ACM MM2024 | 网易伏羲多模态研究再获国际认可,推动特定领域跨模态理解新突破的详细内容。更多信息请关注PHP中文网其他相关文章!

机器学习是一个不断发展的学科,一直在创造新的想法和技术。本文罗列了2023年机器学习的十大概念和技术。 本文罗列了2023年机器学习的十大概念和技术。2023年机器学习的十大概念和技术是一个教计算机从数据中学习的过程,无需明确的编程。机器学习是一个不断发展的学科,一直在创造新的想法和技术。为了保持领先,数据科学家应该关注其中一些网站,以跟上最新的发展。这将有助于了解机器学习中的技术如何在实践中使用,并为自己的业务或工作领域中的可能应用提供想法。2023年机器学习的十大概念和技术:1. 深度神经网

实现自我完善的过程是“机器学习”。机器学习是人工智能核心,是使计算机具有智能的根本途径;它使计算机能模拟人的学习行为,自动地通过学习来获取知识和技能,不断改善性能,实现自我完善。机器学习主要研究三方面问题:1、学习机理,人类获取知识、技能和抽象概念的天赋能力;2、学习方法,对生物学习机理进行简化的基础上,用计算的方法进行再现;3、学习系统,能够在一定程度上实现机器学习的系统。

本文将详细介绍用来提高机器学习效果的最常见的超参数优化方法。 译者 | 朱先忠审校 | 孙淑娟简介通常,在尝试改进机器学习模型时,人们首先想到的解决方案是添加更多的训练数据。额外的数据通常是有帮助(在某些情况下除外)的,但生成高质量的数据可能非常昂贵。通过使用现有数据获得最佳模型性能,超参数优化可以节省我们的时间和资源。顾名思义,超参数优化是为机器学习模型确定最佳超参数组合以满足优化函数(即,给定研究中的数据集,最大化模型的性能)的过程。换句话说,每个模型都会提供多个有关选项的调整“按钮

截至3月20日的数据显示,自微软2月7日推出其人工智能版本以来,必应搜索引擎的页面访问量增加了15.8%,而Alphabet旗下的谷歌搜索引擎则下降了近1%。 3月23日消息,外媒报道称,分析公司Similarweb的数据显示,在整合了OpenAI的技术后,微软旗下的必应在页面访问量方面实现了更多的增长。截至3月20日的数据显示,自微软2月7日推出其人工智能版本以来,必应搜索引擎的页面访问量增加了15.8%,而Alphabet旗下的谷歌搜索引擎则下降了近1%。这些数据是微软在与谷歌争夺生

荣耀的人工智能助手叫“YOYO”,也即悠悠;YOYO除了能够实现语音操控等基本功能之外,还拥有智慧视觉、智慧识屏、情景智能、智慧搜索等功能,可以在系统设置页面中的智慧助手里进行相关的设置。

阅读论文可以说是我们的日常工作之一,论文的数量太多,我们如何快速阅读归纳呢?自从ChatGPT出现以后,有很多阅读论文的服务可以使用。其实使用ChatGPT API非常简单,我们只用30行python代码就可以在本地搭建一个自己的应用。 阅读论文可以说是我们的日常工作之一,论文的数量太多,我们如何快速阅读归纳呢?自从ChatGPT出现以后,有很多阅读论文的服务可以使用。其实使用ChatGPT API非常简单,我们只用30行python代码就可以在本地搭建一个自己的应用。使用 Python 和 C

人工智能在教育领域的应用主要有个性化学习、虚拟导师、教育机器人和场景式教育。人工智能在教育领域的应用目前还处于早期探索阶段,但是潜力却是巨大的。

人工智能在生活中的应用有:1、虚拟个人助理,使用者可通过声控、文字输入的方式,来完成一些日常生活的小事;2、语音评测,利用云计算技术,将自动口语评测服务放在云端,并开放API接口供客户远程使用;3、无人汽车,主要依靠车内的以计算机系统为主的智能驾驶仪来实现无人驾驶的目标;4、天气预测,通过手机GPRS系统,定位到用户所处的位置,在利用算法,对覆盖全国的雷达图进行数据分析并预测。


热AI工具

Undresser.AI Undress
人工智能驱动的应用程序,用于创建逼真的裸体照片

AI Clothes Remover
用于从照片中去除衣服的在线人工智能工具。

Undress AI Tool
免费脱衣服图片

Clothoff.io
AI脱衣机

AI Hentai Generator
免费生成ai无尽的。

热门文章

热工具

Dreamweaver CS6
视觉化网页开发工具

螳螂BT
Mantis是一个易于部署的基于Web的缺陷跟踪工具,用于帮助产品缺陷跟踪。它需要PHP、MySQL和一个Web服务器。请查看我们的演示和托管服务。

ZendStudio 13.5.1 Mac
功能强大的PHP集成开发环境

记事本++7.3.1
好用且免费的代码编辑器

DVWA
Damn Vulnerable Web App (DVWA) 是一个PHP/MySQL的Web应用程序,非常容易受到攻击。它的主要目标是成为安全专业人员在合法环境中测试自己的技能和工具的辅助工具,帮助Web开发人员更好地理解保护Web应用程序的过程,并帮助教师/学生在课堂环境中教授/学习Web应用程序安全。DVWA的目标是通过简单直接的界面练习一些最常见的Web漏洞,难度各不相同。请注意,该软件中