搜索
首页科技周边人工智能提升支付宝搜索体验,蚂蚁、北大基于层次化对比学习文本生成框架

文本生成任务通常采用 teacher forcing 的方式进行训练,这种训练方式使得模型在训练过程中只能见到正样本。然而生成目标与输入之间通常会存在某些约束,这些约束通常由句子中的关键元素体现,例如在 query 改写任务中,“麦当劳点餐” 不能改成 “肯德基点餐”,这里面起到约束作用的关键元素是品牌关键词。通过引入对比学习给生成的过程中加入负样本的模式使得模型能够有效地学习到这些约束。

现有的基于对比学习方法主要集中在整句层面实现 [1][2],而忽略了句子中的词粒度的实体的信息,下图中的例子展示了句子中关键词的重要意义,对于一个输入的句子,如果对它的关键词进行替换(e.g. cosmology->astrophysics),句子的含义会发生变化,从而在语义空间中的位置(由分布来表示)也会变化。而关键词作为句子中最重要的信息,对应于语义分布上的一个点,它很大程度上也决定了句子分布的位置。同时,在某些情况下,现有的对比学习目标对模型来说显得过于容易,导致模型无法真正学习到区分正负例之间的关键信息。

基于此,来自蚂蚁集团、北大等机构的研究者提出了一种多粒度对比生成方法,设计了层次化对比结构,在不同层级上进行信息增强,在句子粒度上增强学习整体的语义,在词粒度上增强局部重要信息。研究论文已被 ACL 2022 接收。

提升支付宝搜索体验,蚂蚁、北大基于层次化对比学习文本生成框架

论文地址:https://aclanthology.org/2022.acl-long.304.pdf

提升支付宝搜索体验,蚂蚁、北大基于层次化对比学习文本生成框架

方法

我们的方法基于经典的 CVAE 文本生成框架 [3][4],每个句子都可以映射成为向量空间中的一个分布,而句子中的关键词则可以看成是这个分布上采样得到的一个点。我们一方面通过句子粒度的对比来增强隐空间向量分布的表达,另一方面通过构造的全局关键词 graph 来增强关键词点粒度的表达,最后通过马氏距离对关键词的点和句子的分布构造层次间的对比来增强两个粒度的信息表达。最终的损失函数由三种不同的对比学习 loss 相加而得到。

提升支付宝搜索体验,蚂蚁、北大基于层次化对比学习文本生成框架

句子粒度对比学习

在 Instance-level,我们利用原始输入 x、目标输出

提升支付宝搜索体验,蚂蚁、北大基于层次化对比学习文本生成框架

及对应的输出负样本构成了句子粒度的对比 pair

提升支付宝搜索体验,蚂蚁、北大基于层次化对比学习文本生成框架

。我们利用一个先验网络学习到先验分布

提升支付宝搜索体验,蚂蚁、北大基于层次化对比学习文本生成框架

,记为

提升支付宝搜索体验,蚂蚁、北大基于层次化对比学习文本生成框架

;通过一个后验网络学习到近似的后验分布

提升支付宝搜索体验,蚂蚁、北大基于层次化对比学习文本生成框架

提升支付宝搜索体验,蚂蚁、北大基于层次化对比学习文本生成框架

,分别记为

提升支付宝搜索体验,蚂蚁、北大基于层次化对比学习文本生成框架

提升支付宝搜索体验,蚂蚁、北大基于层次化对比学习文本生成框架

。句子粒度对比学习的目标就是尽可能的缩小先验分布和正后验分布的距离,同时尽可能的推大先验分布和负后验分布的距离,相应的损失函数如下:

提升支付宝搜索体验,蚂蚁、北大基于层次化对比学习文本生成框架

其中为正样本或负样本,为温度系数,用来表示距离度量,这里我们使用 KL 散度(Kullback–Leibler divergence )[5] 来度量两个分布直接的距离。

关键词粒度对比学习

  • 关键词网络

关键词粒度的对比学习是用来让模型更多的关注到句子中的关键信息,我们通过利用输入输出文本对应的正负关系构建一个 keyword graph 来达到这个目标。具体来说,根据一个给定的句对

提升支付宝搜索体验,蚂蚁、北大基于层次化对比学习文本生成框架

,我们可以分别从其中确定一个关键词

提升支付宝搜索体验,蚂蚁、北大基于层次化对比学习文本生成框架

提升支付宝搜索体验,蚂蚁、北大基于层次化对比学习文本生成框架

(关键词抽取的方法我采用经典的 TextRank 算法 [6]);对于一个句子

提升支付宝搜索体验,蚂蚁、北大基于层次化对比学习文本生成框架

,可能存在与其关键词

提升支付宝搜索体验,蚂蚁、北大基于层次化对比学习文本生成框架

相同的其他句子,这些句子共同组成一个集合

提升支付宝搜索体验,蚂蚁、北大基于层次化对比学习文本生成框架

,这里面每一个句子

提升支付宝搜索体验,蚂蚁、北大基于层次化对比学习文本生成框架

都有一对正负例输出句子

提升支付宝搜索体验,蚂蚁、北大基于层次化对比学习文本生成框架

,他们分别又有一个正例关键词

提升支付宝搜索体验,蚂蚁、北大基于层次化对比学习文本生成框架

和负例关键词

提升支付宝搜索体验,蚂蚁、北大基于层次化对比学习文本生成框架

。这样在整个集合中,对任何一个输出的句子

提升支付宝搜索体验,蚂蚁、北大基于层次化对比学习文本生成框架

,可以认为它所对应的关键词

提升支付宝搜索体验,蚂蚁、北大基于层次化对比学习文本生成框架

和每一个周围的

提升支付宝搜索体验,蚂蚁、北大基于层次化对比学习文本生成框架

(通过句子之间的正负关系关联)之间都存在一条正边

提升支付宝搜索体验,蚂蚁、北大基于层次化对比学习文本生成框架

,和每一个周围的

提升支付宝搜索体验,蚂蚁、北大基于层次化对比学习文本生成框架

之间都存在一条负边

提升支付宝搜索体验,蚂蚁、北大基于层次化对比学习文本生成框架

。基于这些关键词节点和他们直接的边,我们就可以构建一个 keyword graph

提升支付宝搜索体验,蚂蚁、北大基于层次化对比学习文本生成框架


我们使用 BERT embedding[7] 来作为每个节点

提升支付宝搜索体验,蚂蚁、北大基于层次化对比学习文本生成框架

的初始化,并使用一个 MLP 层来学习每条边的表示

提升支付宝搜索体验,蚂蚁、北大基于层次化对比学习文本生成框架

。我们通过一个 graph attention (GAT) 层和 MLP 层来迭代式地更新关键词网络中的节点和边,每个迭代中我们先通过如下的方式更新边的表示:

提升支付宝搜索体验,蚂蚁、北大基于层次化对比学习文本生成框架

这里

提升支付宝搜索体验,蚂蚁、北大基于层次化对比学习文本生成框架

可以是

提升支付宝搜索体验,蚂蚁、北大基于层次化对比学习文本生成框架

或者

提升支付宝搜索体验,蚂蚁、北大基于层次化对比学习文本生成框架


然后根据更新后的边

提升支付宝搜索体验,蚂蚁、北大基于层次化对比学习文本生成框架

,我们通过一个 graph attention 层来更新每个节点的表示:

提升支付宝搜索体验,蚂蚁、北大基于层次化对比学习文本生成框架

这里

提升支付宝搜索体验,蚂蚁、北大基于层次化对比学习文本生成框架

都是可学习的参数,

提升支付宝搜索体验,蚂蚁、北大基于层次化对比学习文本生成框架

为注意力权重。为了防止梯度消失的问题,我们在

提升支付宝搜索体验,蚂蚁、北大基于层次化对比学习文本生成框架

上加上了残差连接,得到该迭代中节点的表示

提升支付宝搜索体验,蚂蚁、北大基于层次化对比学习文本生成框架

。我们使用最后一个迭代的节点表示作为关键词的表示,记为 u。

  • 关键词对比

关键词粒度的对比来自于输入句子的关键词

提升支付宝搜索体验,蚂蚁、北大基于层次化对比学习文本生成框架

和一个伪装(impostor)节点

提升支付宝搜索体验,蚂蚁、北大基于层次化对比学习文本生成框架

。我们将输入句子的输出正样本中提取的关键词记为

提升支付宝搜索体验,蚂蚁、北大基于层次化对比学习文本生成框架

,它在上述关键词网络中的负邻居节点记为

提升支付宝搜索体验,蚂蚁、北大基于层次化对比学习文本生成框架

,则

提升支付宝搜索体验,蚂蚁、北大基于层次化对比学习文本生成框架

,关键词粒度的对比学习 loss 计算如下:

提升支付宝搜索体验,蚂蚁、北大基于层次化对比学习文本生成框架

这里

提升支付宝搜索体验,蚂蚁、北大基于层次化对比学习文本生成框架

用来指代

提升支付宝搜索体验,蚂蚁、北大基于层次化对比学习文本生成框架

或者

提升支付宝搜索体验,蚂蚁、北大基于层次化对比学习文本生成框架

,h(·) 用来表示距离度量,在关键词粒度的对比学习中我们选用了余弦相似度来计算两个点之间的距离。

  • 跨粒度对比学习

可以注意到上述句子粒度和关键词粒度的对比学习分别是在分布和点上实现,这样两个粒度的独立对比可能由于差异较小导致增强效果减弱。对此,我们基于点和分布之间的马氏距离(Mahalanobis distance)[8] 构建不同粒度之间对比关联,使得目标输出关键词到句子分布的距离尽可能小于 imposter 到该分布的距离,从而弥补各粒度独立对比可能带来的对比消失的缺陷。具体来说,跨粒度的马氏距离对比学习希望尽可能缩小句子的后验语义分布

提升支付宝搜索体验,蚂蚁、北大基于层次化对比学习文本生成框架

提升支付宝搜索体验,蚂蚁、北大基于层次化对比学习文本生成框架

之间的距离,同时尽可能拉大其与

提升支付宝搜索体验,蚂蚁、北大基于层次化对比学习文本生成框架

之间的距离,损失函数如下:

提升支付宝搜索体验,蚂蚁、北大基于层次化对比学习文本生成框架

这里

提升支付宝搜索体验,蚂蚁、北大基于层次化对比学习文本生成框架

同样用来指代

提升支付宝搜索体验,蚂蚁、北大基于层次化对比学习文本生成框架

或者

提升支付宝搜索体验,蚂蚁、北大基于层次化对比学习文本生成框架

,而 h(·) 为马氏距离。

实验 & 分析

实验结果

我们在三个公开数据集 Douban(Dialogue)[9],QQP(Paraphrasing)[10][11] 和 RocStories(Storytelling)[12] 上进行了实验,均取得了 SOTA 的效果。我们对比的基线包括传统的生成模型(e.g. CVAE[13],Seq2Seq[14],Transformer[15]),基于预训练模型的方法(e.g. Seq2Seq-DU[16],DialoGPT[17],BERT-GEN[7],T5[18])以及基于对比学习的方法(e.g. Group-wise[9],T5-CLAPS[19])。我们通过计算 BLEU score[20] 和句对之间的 BOW embedding 距离(extrema/average/greedy)[21] 来作为自动化评价指标,结果如下图所示:

提升支付宝搜索体验,蚂蚁、北大基于层次化对比学习文本生成框架

我们在 QQP 数据集上还采用了人工评估的方式,3 个标注人员分别对 T5-CLAPS,DialoGPT,Seq2Seq-DU 以及我们的模型产生的结果进行了标注,结果如下图所示:

提升支付宝搜索体验,蚂蚁、北大基于层次化对比学习文本生成框架

消融分析

我们对是否采用关键词、是否采用关键词网络以及是否采用马氏距离对比分布进行了消融分析实验,结果显示这三种设计对最后的结果确实起到了重要的作用,实验结果如下图所示。

提升支付宝搜索体验,蚂蚁、北大基于层次化对比学习文本生成框架

可视化分析

为了研究不同层级对比学习的作用,我们对随机采样的 case 进行了可视化,通过 t-sne[22] 进行降维处理后得到下图。图中可以看出,输入句子的表示与抽取的关键词表示接近,这说明关键词作为句子中最重要的信息,通常会决定语义分布的位置。并且,在对比学习中我们可以看到经过训练,输入句子的分布与正样本更接近,与负样本远离,这说明对比学习可以起到帮助修正语义分布的作用。

提升支付宝搜索体验,蚂蚁、北大基于层次化对比学习文本生成框架

关键词重要性分析

最后,我们探索采样不同关键词的影响。如下表所示,对于一个输入问题,我们通过 TextRank 抽取和随机选择的方法分别提供关键词作为控制语义分布的条件,并检查生成文本的质量。关键词作为句子中最重要的信息单元,不同的关键词会导致不同的语义分布,产生不同的测试,选择的关键词越多,生成的句子越准确。同时,其他模型生成的结果也展示在下表中。

提升支付宝搜索体验,蚂蚁、北大基于层次化对比学习文本生成框架

业务应用

这篇文章中我们提出了一种跨粒度的层次化对比学习机制,在多个文本生成的数据集上均超过了具有竞争力的基线工作。基于该工作的 query 改写模型在也在支付宝搜索的实际业务场景成功落地,取得了显著的效果。支付宝搜索中的服务覆盖领域宽广并且领域特色显著,用户的搜索 query 表达与服务的表达存在巨大的字面差异,导致直接基于关键词的匹配难以取得理想的效果(例如用户输入 query“新上市汽车查询”,无法召回服务 “新车上市查询”),query 改写的目标是在保持 query 意图不变的情况下,将用户输入的 query 改写为更贴近服务表达的方式,从而更好的匹配到目标服务。如下是一些改写示例:

提升支付宝搜索体验,蚂蚁、北大基于层次化对比学习文本生成框架

以上是提升支付宝搜索体验,蚂蚁、北大基于层次化对比学习文本生成框架的详细内容。更多信息请关注PHP中文网其他相关文章!

声明
本文转载于:51CTO.COM。如有侵权,请联系admin@php.cn删除
扩散+超分辨率模型强强联合,谷歌图像生成器Imagen背后的技术扩散+超分辨率模型强强联合,谷歌图像生成器Imagen背后的技术Apr 10, 2023 am 10:21 AM

近年来,多模态学习受到重视,特别是文本 - 图像合成和图像 - 文本对比学习两个方向。一些 AI 模型因在创意图像生成、编辑方面的应用引起了公众的广泛关注,例如 OpenAI 先后推出的文本图像模型 DALL・E 和 DALL-E 2,以及英伟达的 GauGAN 和 GauGAN2。谷歌也不甘落后,在 5 月底发布了自己的文本到图像模型 Imagen,看起来进一步拓展了字幕条件(caption-conditional)图像生成的边界。仅仅给出一个场景的描述,Imagen 就能生成高质量、高分辨率

GPT-4的研究路径没有前途?Yann LeCun给自回归判了死刑GPT-4的研究路径没有前途?Yann LeCun给自回归判了死刑Apr 04, 2023 am 11:55 AM

Yann LeCun 这个观点的确有些大胆。 「从现在起 5 年内,没有哪个头脑正常的人会使用自回归模型。」最近,图灵奖得主 Yann LeCun 给一场辩论做了个特别的开场。而他口中的自回归,正是当前爆红的 GPT 家族模型所依赖的学习范式。当然,被 Yann LeCun 指出问题的不只是自回归模型。在他看来,当前整个的机器学习领域都面临巨大挑战。这场辩论的主题为「Do large language models need sensory grounding for meaning and u

深度学习撞墙?LeCun与Marcus到底谁捅了马蜂窝深度学习撞墙?LeCun与Marcus到底谁捅了马蜂窝Apr 09, 2023 am 09:41 AM

今天的主角,是一对AI界相爱相杀的老冤家:Yann LeCun和Gary Marcus在正式讲述这一次的「新仇」之前,我们先来回顾一下,两位大神的「旧恨」。LeCun与Marcus之争Facebook首席人工智能科学家和纽约大学教授,2018年图灵奖(Turing Award)得主杨立昆(Yann LeCun)在NOEMA杂志发表文章,回应此前Gary Marcus对AI与深度学习的评论。此前,Marcus在杂志Nautilus中发文,称深度学习已经「无法前进」Marcus此人,属于是看热闹的不

科学家展示世界上有史以来超小的“螃蟹”遥控步行机器人,体积比跳蚤还小科学家展示世界上有史以来超小的“螃蟹”遥控步行机器人,体积比跳蚤还小Apr 09, 2023 pm 10:41 PM

日前,美国西北大学工程师开发出有史以来最小的遥控步行机器人,它以一种小巧可爱的螃蟹形式出现。这种微小的“螃蟹”机器人宽度只有半毫米,可以弯曲、扭曲、爬行、行走、转弯甚至跳跃,无需液压或电力。IT之家了解到,相关研究成果发表在《科学・机器人》上。据介绍,这种机器人是用形状记忆合金材料所制造的,然后可以变成所需的形状,当你加热后又会变回原来的形状,而热量消失时可以再次弹回变形时的样子。据介绍,其热量是由激光所带来的。激光通过“螃蟹”加热合金,但因为它们非常小,所以热量传播非常快,这使得它们的响应速度

用魔法打败魔法!一个叫板顶级人类棋手的围棋AI输给了它的同类用魔法打败魔法!一个叫板顶级人类棋手的围棋AI输给了它的同类Apr 12, 2023 am 08:40 AM

近几年,自我博弈中的强化学习已经在围棋、国际象棋等一系列游戏中取得了超人的表现。此外,自我博弈的理想化版本还收敛于纳什均衡。纳什均衡在博弈论中非常著名,该理论是由博弈论创始人,诺贝尔奖获得者约翰 · 纳什提出,即在一个博弈过程中,无论对方的策略选择如何,当事人一方都会选择某个确定的策略,则该策略被称作支配性策略。如果任意一位参与者在其他所有参与者的策略确定的情况下,其选择的策略是最优的,那么这个组合就被定义为纳什均衡。之前就有研究表明,自我博弈中看似有效的连续控制策略也可以被对抗策略利用,这表明

介绍全球首个基于自监督学习的分子图像生成框架ImageMol介绍全球首个基于自监督学习的分子图像生成框架ImageMolApr 23, 2023 pm 12:46 PM

分子是维持物质化学稳定性的最小单位。对分子的研究,是药学、材料学、生物学、化学等众多科学领域的基础性问题。分子的表征学习(MolecularRepresentationLearning)是近年来非常热门的方向,目前可分为诸多门派:计算药学家说:分子可以表示为一串指纹,或者描述符,如上海药物所提出的AttentiveFP,是这方面的杰出代表。NLPer说:分子可以表示为SMILES(序列),然后当作自然语言处理,如百度的X-Mol,是这方面的杰出代表。图神经网络研究者说:分子可以表示为一个图(G

参数少量提升,性能指数爆发!谷歌:大语言模型暗藏「神秘技能」参数少量提升,性能指数爆发!谷歌:大语言模型暗藏「神秘技能」Apr 11, 2023 pm 11:16 PM

由于可以做一些没训练过的事情,大型语言模型似乎具有某种魔力,也因此成为了媒体和研究员炒作和关注的焦点。当扩展大型语言模型时,偶尔会出现一些较小模型没有的新能力,这种类似于「创造力」的属性被称作「突现」能力,代表我们向通用人工智能迈进了一大步。如今,来自谷歌、斯坦福、Deepmind和北卡罗来纳大学的研究人员,正在探索大型语言模型中的「突现」能力。解码器提示的 DALL-E神奇的「突现」能力自然语言处理(NLP)已经被基于大量文本数据训练的语言模型彻底改变。扩大语言模型的规模通常会提高一系列下游N

用量子纠缠当GPS,无信号地区也能精准定位了用量子纠缠当GPS,无信号地区也能精准定位了May 04, 2023 pm 10:58 PM

量子纠缠(quantumentanglement)是指粒子之间发生的一种特殊耦合现象。在纠缠态下,我们无法单独描述各个粒子的性质,只能描述整体系统的性质的现象,这种影响不随距离的改变而消失,哪怕粒子之间相隔整个宇宙也不会变。一项新的研究表明,使用量子纠缠机制,传感器可以在检测运动时更加准确且更快。科学家们认为,这些发现可能有助于发展不依赖GPS的导航系统。在美国亚利桑那大学等机构在《NaturePhotonics》提交的一项新研究中,研究人员对光机械传感器(optomechanicalsenso

See all articles

热AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智能驱动的应用程序,用于创建逼真的裸体照片

AI Clothes Remover

AI Clothes Remover

用于从照片中去除衣服的在线人工智能工具。

Undress AI Tool

Undress AI Tool

免费脱衣服图片

Clothoff.io

Clothoff.io

AI脱衣机

AI Hentai Generator

AI Hentai Generator

免费生成ai无尽的。

热门文章

R.E.P.O.能量晶体解释及其做什么(黄色晶体)
2 周前By尊渡假赌尊渡假赌尊渡假赌
仓库:如何复兴队友
1 个月前By尊渡假赌尊渡假赌尊渡假赌
Hello Kitty Island冒险:如何获得巨型种子
4 周前By尊渡假赌尊渡假赌尊渡假赌

热工具

mPDF

mPDF

mPDF是一个PHP库,可以从UTF-8编码的HTML生成PDF文件。原作者Ian Back编写mPDF以从他的网站上“即时”输出PDF文件,并处理不同的语言。与原始脚本如HTML2FPDF相比,它的速度较慢,并且在使用Unicode字体时生成的文件较大,但支持CSS样式等,并进行了大量增强。支持几乎所有语言,包括RTL(阿拉伯语和希伯来语)和CJK(中日韩)。支持嵌套的块级元素(如P、DIV),

安全考试浏览器

安全考试浏览器

Safe Exam Browser是一个安全的浏览器环境,用于安全地进行在线考试。该软件将任何计算机变成一个安全的工作站。它控制对任何实用工具的访问,并防止学生使用未经授权的资源。

MinGW - 适用于 Windows 的极简 GNU

MinGW - 适用于 Windows 的极简 GNU

这个项目正在迁移到osdn.net/projects/mingw的过程中,你可以继续在那里关注我们。MinGW:GNU编译器集合(GCC)的本地Windows移植版本,可自由分发的导入库和用于构建本地Windows应用程序的头文件;包括对MSVC运行时的扩展,以支持C99功能。MinGW的所有软件都可以在64位Windows平台上运行。

记事本++7.3.1

记事本++7.3.1

好用且免费的代码编辑器

SublimeText3 Linux新版

SublimeText3 Linux新版

SublimeText3 Linux最新版