KDD2024最佳学生论文解读，中科大、华为诺亚：序列推荐新范式DR4SR

AIxiv专栏是本站发布学术、技术内容的栏目。过去数年，本站AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com

本工作由认知智能全国重点实验室 IEEE Fellow 陈恩红团队与华为诺亚方舟实验室完成。陈恩红教授团队深耕数据挖掘、机器学习领域，在顶级期刊与会议上发表多篇论文，谷歌学术论文引用超两万次。诺亚方舟实验室是华为公司从事人工智能基础研究的实验室，秉持理论研究与应用创新并重的理念，致力于推动人工智能领域的技术创新和发展。

8 月 25 日 - 29 日在西班牙巴塞罗那召开的第 30 届 ACM 知识发现与数据挖掘大会 (KDD2024) 上，中国科学技术大学认知智能全国重点实验室陈恩红教授、IEEE Fellow，和华为诺亚联合发表的论文 “Dataset Regeneration for Sequential Recommendation”，获 2024 年大会 Research Track 唯一最佳学生论文奖。论文第一作者为中科大认知智能全国重点实验室陈恩红教授，连德富教授，与王皓特任副研究员共同指导的博士生尹铭佳同学，华为诺亚刘勇、郭威研究员也参与了论文的相关工作。这是自 KDD 于 2004 年设立该奖项以来，陈恩红教授团队的学生第二次荣获该奖项。

• 论文链接: https://arxiv.org/abs/2405.17795
• 代码链接: https://github.com/USTC-StarTeam/DR4SR

研究动机

序列推荐系统（Sequential Recommender, SR）是现代推荐系统的重要组成部分，因为它旨在捕捉用户不断变化的偏好。近年来，研究者为了增强序列推荐系统的能力，已经付出了大量努力。这些方法通常遵循以模型为中心（Model-centric）的范式，即基于固定数据集开发有效的模型。然而，这种方法往往忽视了数据中潜在的质量问题和缺陷。为了解决这些问题，学界提出了以数据为中心（Data-centric）的范式，重点在于使用固定模型转而生成高质量的数据集。我们将其定义为 “数据集重生成” 问题。

为了获得最佳的训练数据，研究团队的关键思路是学习一个显式包含物品转移模式的新数据集。具体来说，他们将推荐系统的建模过程分为两个阶段：从原始数据集中提取转移模式 ，并基于 学习用户偏好。由于学习从 的映射涉及两个隐含的映射： ，因此这一过程具有挑战性。为此，研究团队探索了开发一个显式表示中的物品转移模式的数据集的可能性，这使得我们可以将学习过程明确地分为两个阶段，其中 相对更容易学习。因此，他们的主要关注点是学习一个有效的的映射函数，这是一个一对多的映射。研究团队将这一学习过程定义为数据集重生成范式，如图 1 所示，其中 “重生成” 意味着他们不引入任何额外信息，仅依赖原始数据集。

                                         ^图1

为了实现数据集重生成，研究团队提出了一种新颖的以数据为中心的范式 —— 用于序列推荐的数据集重生成（DR4SR），旨在将原始数据集重生成一个信息丰富且具有通用性的数据集。具体来说，研究团队首先构建了一个预训练任务，使得数据集重生成成为可能。接着，他们提出了一种多样性增强的重生成器，以在重生成过程中建模序列和模式之间的一对多关系。最后，他们提出了一种混合推理策略，以在探索与利用之间取得平衡，生成新的数据集。

数据集重生成过程虽具通用性，但可能不完全适合特定目标模型。为解决这一问题，研究团队提出了 DR4SR+，这是一个模型感知的重生成过程，它根据目标模型的特性定制数据集。DR4SR + 通过双层优化问题和隐式微分技术，个性化评分并优化重生成数据集中的模式，以增强数据集效果。

研究方法

在本项研究中，研究团队提出了一个名为 “用于序列推荐的数据重生成”（DR4SR）的以数据为中心的框架，旨在将原始数据集重生成一个信息丰富且具有通用性的数据集，如图 2 所示。由于数据重生成过程是独立于目标模型的，因此重生成的数据集可能不一定符合目标模型的需求。因此，研究团队将 DR4SR 扩展为模型感知版本，即 DR4SR+，以针对特定的目标模型定制重生成的数据集。

模型无感知的数据集重生成

                                        ^图2

为了开发一个信息丰富且具有通用性的数据集，研究团队旨在构建一个数据集重生成器，以促进数据集的自动重生成。然而，原始数据集中缺乏用于学习数据集重生成器的监督信息。因此，他们必须以自监督学习的方式来实现这一目标。为此，他们引入了一个预训练任务，以指导多样性增强重生成器的学习。在完成预训练后，研究团队进一步使用混合推理策略来重生成一个新数据集。

数据重生成预训练任务的构建：‍

                                                                                                                                                                                                                                                                     ^{Figure 3 Ensuite, le régénérateur} est nécessaire pour pouvoir régénérer dans le motif correspondant

. L'équipe de recherche désigne l'ensemble des données de pré-formation comme

Régénérateur qui favorise la diversité :

Avec tâches de pré-formation, les équipes de recherche peuvent désormais pré-former un régénérateur d'ensembles de données. Dans cet article, ils adoptent le modèle Transformer comme architecture principale du régénérateur, et sa capacité de génération a été largement vérifiée. Le régénérateur d'ensemble de données se compose de trois modules : un encodeur pour obtenir des représentations de séquence dans l'ensemble de données d'origine, un décodeur pour régénérer les modèles et un module d'amélioration de la diversité pour capturer les relations de mappage un à plusieurs. Ensuite, l'équipe de recherche présentera ces modules séparément.

L'encodeur se compose de plusieurs couches empilées d'auto-attention multi-têtes (MHSA) et de réseau à action directe (FFN). Quant au décodeur, il reproduira les modèles de l'ensemble de données X' en entrée. Le but du décodeur est de reconstruire le motif

étant donné la représentation de la séquence générée par l'encodeur. Cependant, plusieurs motifs peuvent être extraits d'une séquence. . mode, ce qui peut créer des défis lors de l’entraînement. Afin de résoudre ce problème de cartographie un-à-plusieurs, l’équipe de recherche a en outre proposé un module d’amélioration de la diversité.

Plus précisément, l'équipe de recherche module de manière adaptative l'influence de la séquence originale en intégrant les informations du modèle cible dans l'étape de décodage. Tout d’abord, ils projettent la mémoire

générée par l’encodeur dans

K

espaces vectoriels différents, soit

. Idéalement, différents modèles de cibles devraient correspondre à différents souvenirs. À cette fin, ils ont également introduit un encodeur Transformer pour encoder le modèle cible et obtenir
. Ils ont compressé

en un vecteur de probabilité :

où

,

sont les probabilités de sélection de la k-ème mémoire. Pour garantir que chaque espace mémoire est entièrement entraîné, nous n'effectuons pas de sélection stricte, mais obtenons plutôt la mémoire finale grâce à une somme pondérée :

En fin de compte, la mémoire acquise peut être exploitée pour faciliter le processus de décodage et capturer efficacement les relations complexes un-à-plusieurs entre les séquences et les modèles.

Régénération de l'ensemble de données sensible au modèle

En raison du processus de régénération précédent et du modèle cible agnostique, de sorte que l'ensemble de données reconstruit peut ne pas être optimal pour un modèle cible spécifique. Par conséquent, ils étendent le processus de reconstruction d’ensembles de données indépendant du modèle à un processus de reconstruction sensible au modèle. À cette fin, sur la base du régénérateur d'ensemble de données, ils introduisent un personnalisateur d'ensemble de données qui évalue le score de chaque échantillon de données dans l'ensemble de données régénéré. L’équipe de recherche a ensuite optimisé plus efficacement le personnalisateur d’ensemble de données grâce à une différenciation implicite.

Personnalisateur d'ensemble de données :

L'objectif de l'équipe de recherche est d'entraîner un paramètre basé sur le personnalisateur d'ensemble de données mis en œuvre par MLP pour évaluer le score de chaque échantillon de données W pour le modèle cible. Pour garantir la généralité du cadre, l’équipe de recherche a utilisé les scores calculés pour ajuster les poids des pertes d’entraînement, ce qui n’a pas nécessité de modifications supplémentaires du modèle cible. Ils commencent par définir la perte de prédiction de l'élément suivant d'origine :

Par la suite, la fonction de perte d'entraînement pour l'ensemble de données personnalisé peut être définie comme :

Conclusion expérimentale

Expérience principale

L'équipe de recherche a comparé les performances de chaque modèle cible avec les variantes « DR4SR » et « DR4SR+ » pour vérifier l'efficacité du cadre proposé. Figure 4

L'image globale présentée dans la figure 4 Performance, les conclusions suivantes peuvent être tirées :

DR4SR est capable de reconstruire un ensemble de données informatif et généralement applicable

Différents modèles cibles préfèrent différents ensembles de données

• Le débruitage n'est qu'un sous-ensemble du problème de reconstruction des données

以上是KDD2024最佳学生论文解读，中科大、华为诺亚：序列推荐新范式DR4SR的详细内容。更多信息请关注PHP中文网其他相关文章！