Application de l’apprentissage automatique graphique dans l’activité de recommandation d’Ant Group

Cet article présentera l'application de l'apprentissage automatique graphique dans le système de recommandation Ant. Dans l'activité actuelle d'Ant, il existe une grande quantité d'informations supplémentaires, telles que des graphiques de connaissances, les comportements des utilisateurs d'autres entreprises, etc. Ces informations sont généralement très utiles pour les activités de recommandation. Nous utilisons des algorithmes graphiques pour connecter ces informations et les systèmes de recommandation afin d'améliorer. intérêts des utilisateurs. Le texte intégral se concentre principalement sur les aspects suivants :

• Contexte
• Recommandations basées sur des graphiques
• Recommandations sociales et textuelles
• Recommandations inter-domaines

01 Contexte

En plus de la fonction de paiement principale, Alipay propose également un grand nombre de scénarios de recommandation, notamment des recommandations de ceinture, des recommandations de fonds, des recommandations de coupons de consommation, etc. La plus grande différence entre les recommandations du domaine Alipay et les autres recommandations est que le comportement des utilisateurs est clairsemé et que l'activité est faible. De nombreux utilisateurs ouvrent Alipay uniquement pour payer et ne prêtent pas attention à d'autres choses. Par conséquent, il y a très peu d'enregistrements du côté de l'interface utilisateur dans le réseau de recommandation, et nous nous concentrons également sur la recommandation de cibles à faible activité. Par exemple, afin d'augmenter le DAU, le contenu ne peut être placé que sur la ceinture des utilisateurs peu actifs, et les utilisateurs normaux ne peuvent pas le voir dans la section de recommandation de fonds, nous accordons plus d'attention aux utilisateurs qui le font ; n'ont pas de gestion financière ou ont des positions de gestion financière faibles, ce qui les incite à acheter des fonds pour le trading ; la recommandation de coupons de consommation est également de promouvoir la consommation hors ligne des utilisateurs peu actifs.

​Il existe très peu d'informations sur la séquence de comportement historique des utilisateurs peu actifs, et certaines méthodes de recommandation directement basées sur la séquence de comportement historique de l'interface utilisateur peuvent ne pas convenir à notre scénario. . Nous avons donc introduit les trois informations de scénario suivantes pour améliorer les informations sur la relation UI dans le domaine Alipay :

• Relation UU du réseau social
• II relation graphique
• Relations UI dans d'autres scénarios

Grâce à la relation UU des réseaux sociaux, les préférences de clic des amis des utilisateurs peu actifs peuvent être obtenues sur la base de l'homogénéité, les préférences de clic de l'utilisateur peuvent être obtenues. déduit et entre les éléments. La relation graphique peut découvrir et développer les informations de préférence de l'utilisateur pour des éléments similaires. Enfin, le comportement de l'utilisateur dans les scénarios inter-domaines est également très utile pour les tâches de recommandation dans le scénario actuel.

02Recommandation basée sur des graphiques

Le comportement des utilisateurs dans de nombreux scénarios de recommandation est clairsemé, en particulier lors de la caractérisation des nouveaux utilisateurs, il y a très peu d'informations comportementales disponibles, il est donc généralement nécessaire d'introduire beaucoup de informations auxiliaires, telles que les attributs, les contextes, les images, etc., ce que nous introduisons ici est un graphe de connaissances-graphe de connaissances. 1. Défis existants , le graphique lui-même n'est peut-être pas conçu pour cette entreprise, il contient donc beaucoup d'informations inutiles et le processus de formation prend également beaucoup de temps. Une solution courante consiste à conserver uniquement les arêtes du graphique qui peuvent être associées à nos produits et à supprimer toutes les autres arêtes, mais cela peut entraîner une perte d'informations, car d'autres arêtes sont également utiles.

Deuxièmement, lorsque le graphique est utilisé comme information auxiliaire, il n'existe aucun moyen de regrouper les préférences de l'utilisateur sur les bords du graphique. Comme le montre la figure ci-dessus, la raison pour laquelle l'utilisateur 1 aime le film 1 et le film 2 peut être parce qu'ils ont le même rôle principal, tandis que la raison pour laquelle l'utilisateur 2 aime le film 2 et le film 3 est qu'ils sont du même genre. Si vous utilisez uniquement les relations UI et II des modèles graphiques ordinaires pour modéliser, vous ne pouvez obtenir que la corrélation entre les utilisateurs et les films, mais il n'existe aucun moyen de regrouper ces intentions potentielles des utilisateurs dans le graphique.

Nous résoudrons donc principalement les deux problèmes de distillation de la carte et de raffinement de la carte plus tard.

2. Méthodes existantes

① Modèle basé sur l'intégration

La méthode basée sur l'intégration utilise d'abord la méthode d'apprentissage de la représentation graphique pour mettre le graphique dans le graphique . Le nœud est converti en intégration, puis connecte l'intégration directement au modèle d'interface utilisateur. Ce type de méthode apprend à l'avance la corrélation dans le graphique et la convertit en intégration, il est donc difficile de mesurer la similitude entre l'utilisateur et l'avantage des connaissances, et ne résout pas les problèmes de distillation et d'affinement des graphiques.

② Modèle basé sur le chemin

La méthode basée sur le chemin décompose le graphique en plusieurs méta-chemins en fonction des bords de connaissances dans le graphique, mais le processus de construction des méta-chemins nécessite beaucoup de connaissances d'experts, et cela ne reflète pas non plus la préférence de l'utilisateur pour les connaissances avancées.

③ Modèle basé sur GCN

La méthode basée sur GCN modélise les relations UI et II Généralement, différents poids sont pris en fonction de différents types d'arêtes via la méthode d'attention, mais le poids du bord n'est lié qu'à la représentation des nœuds aux deux extrémités du bord, et n'a rien à voir avec la représentation du nœud cible.

3. Solution

​Le modèle que nous avons proposé est principalement divisé en 4 parties. Premièrement, nous obtenons la représentation graphique grâce à l'apprentissage de la représentation graphique et utilisons la propagation des dépendances de connaissances pour apprendre et agréger. obtenez la représentation graphique des différentes arêtes d'importance, puis utilisez un module de distillation pour échantillonner et débruiter les arêtes du graphique, puis ajoutez une attention conditionnelle pour affiner le graphique, et enfin construisez un modèle à deux tours pour obtenir le résultat.

Les détails spécifiques de chaque partie sont présentés ci-dessous :

① Couche d'apprentissage de la représentation graphique

Nous l'utilisons voici la représentation traditionnelle du spectre TransH modèle, Parce qu'il y a de nombreuses arêtes plusieurs-à-un et un-à-plusieurs dans notre graphique. Chaque nœud est mappé sur l'espace correspondant au bord via TransH, et la similarité des deux bords est mesurée dans cet espace.

② Couche d'apprentissage de la représentation graphique

Après avoir appris la représentation du bord du graphe, la représentation du bord du graphe est agrégée au sein du voisin, et puis en recherchant différentes distances cos de l'espace de bord sert de représentation des points graphiques agrégés pondérés des points. Étant donné que les bords du graphique sont très bruyants, nous effectuerons un échantillonnage et un échantillon supplémentaires sur le sous-graphique cible en fonction des poids que nous avons appris. Le sous-graphe cible est le sous-graphe de second ordre des résultats d'échantillonnage combinés dans des sous-graphiques plus petits.

③ Couche d'apprentissage de représentation graphique

Après avoir obtenu le sous-graphe, nous effectuons une attention conditionnelle pour mesurer l'importance du bord compte tenu de l'utilisateur et du produit. L'importance d'un bord peut être divisée en deux parties. L'une est que le bord lui-même est très important, et l'autre est que l'utilisateur y prête une grande attention. L'importance du bord lui-même a été apprise lors de l'attention dépendante des connaissances à l'étape précédente. Aucune formation supplémentaire n'est nécessaire. L'importance de l'utilisateur pour le bord est déterminée en épissant les représentations de tous les ensembles cibles et les représentations des deux points finaux du bord. bord en attention Obtenez l'attention conditionnelle, puis effectuez une agrégation basée sur l'attention conditionnelle.

④Tours jumellesModèle

​Enfin, créez un modèle de tour jumelle pour mesurer la perte par paire et utilisez-le méthode pour optimiser la carte à en même temps Perte d'apprentissage de représentation et recommandation La perte cible du système, la complexité de notre algorithme est linéairement liée au nombre de points et d'arêtes.

4. Résultats expérimentaux

① Ensemble de données expérimentales et sélection du modèle de référence

Nous sélectionné Développement de quelques ensembles de données pour les systèmes de recommandation et les graphiques de connaissances Concernant Dans l'ensemble de données de recommandation de fonds de notre activité, la référence comprend principalement la méthode CKE basée sur la régularité, la méthode NMF basée sur la décomposition matricielle, la méthode de graphe hétérogène basée sur le chemin RippleNet et le KGAT basé sur GCN.

②Visualisation de l'attention

​Dans l'attention Connaissance à gauche, la valeur sur chaque bord est uniquement liée aux deux nœuds d'extrémité dans le coin supérieur droit, le U₅₃₂ et. i La valeur sur ₁₆₇₈ est très petite, il sera donc difficile de goûter ce bord plus tard. Les utilisateurs des deux images de droite sont tous deux U₀, mais les produits sont différents, donc le poids de l'image entière est complètement différent. En prédiction U₀-i₂₄₆₆ Et U₀- Lorsque la corrélation de i₇₈₀ est complètement différente, et U₀- i Le poids de le chemin le plus à droite de ₂₄₆₆ est plus grand car en prédisant U₀-i₂₄₆₆ le chemin le plus à droite est plus important pendant les rapports sexuels. Nous avons mesuré l'effet du modèle sur les tâches de recommandation Top-K et de clic CTR, qui sont bien meilleures que l'amélioration du modèle de base, Les expériences de tests A/B de recommandation de fonds en ligne entraînent également une amélioration de l’efficacité. Enfin, nous avons mené une expérience d'ablation et les résultats ont montré que l'effet de la suppression du modèle d'attention conditionnelle ou d'attention cognitive diminuerait, prouvant l'efficacité des améliorations que nous avons apportées.

03Recommandation basée sur les réseaux sociaux et le texteLa recommandation basée sur les réseaux sociaux et le texte ici n'est pas un scénario de recommandation au sens traditionnel. Il s'agit principalement d'aider les opérations à comprendre les intentions des utilisateurs et à créer du contenu. pour les utilisateurs. Du nouveau contenu et de nouvelles publicités pour guider la croissance des utilisateurs

. Par exemple, comment concevoir la couverture de la recommandation de ceinture ? Ce n'est qu'après avoir pleinement compris les intentions de l'utilisateur que l'opération peut concevoir un contenu qui répond aux attentes psychologiques de l'utilisateur.

1. Défis existants

Une manière naturelle consiste à utiliser le modèle de sujet pour mesurer la répartition des utilisateurs par rapport aux intentions et aux intentions par rapport aux produits. pour décomposer l’intention de l’utilisateur. Mais en réalité, les clics des utilisateurs sont rares, en particulier lorsque nos clients cibles sont des utilisateurs peu actifs, et les clics sur les produits suivent une distribution à longue traîne, ce qui rend difficile la capture des intérêts et des intentions des utilisateurs.

2. Solution

​Nous ajoutons d'abord la relation UU et la relation UI au GNN pour apprendre et mesurer le comportement de clic de l'utilisateur. Ensuite, nous utilisons l'intention de l'utilisateur apprise avant de faire une approximation de. la distribution, la distribution a priori du modèle thématique traditionnel est une distribution de Dirichlet. Ce que nous utilisons ici est une distribution normale logistique. Elle ressemble beaucoup à la distribution de Dirichlet et peut être utilisée via un travail de paramétrage lourd. distribution différenciable.

​Après avoir appris la relation entre les utilisateurs, l'étape suivante consiste à apprendre la relation entre les corpus. Il y a un petit programme dans l'image ci-dessus, qui contient une description textuelle. Il utilise le modèle skip-gram pour calculer la similarité entre l'élément et les échantillons positifs et négatifs, obtient la similarité du mot et cartographie la similarité du mot. mot à la représentation de l'intention de l'utilisateur via un DNN, et enfin la distribution des contraintes de divergence KL est ajustée à la forme souhaitée.

3. Résultats expérimentaux

Notre ensemble de données est constitué des données de clic de l'utilisateur pendant 7 jours consécutifs, qui comprend environ 500 000 utilisateurs, 9 206 éléments et le comportement de clic historique de 200 millions d'utilisateurs, y compris les réseaux sociaux avec 7 millions. bords, chaque utilisateur a en moyenne 14 à 15 nœuds voisins.

Nous avons effectué respectivement des tests expérimentaux hors ligne et en ligne. L'expérience hors ligne a mesuré la similitude entre les utilisateurs et la similitude entre la sémantique sous différents nombres de sujets. Les expériences en ligne renvoient aux opérations les intentions des utilisateurs prédites par notre modèle, et les opérations conçoivent des textes de description et affichent des pages en fonction des intentions des utilisateurs pour faire des recommandations en ligne. Le lien expérimental du modèle global peut être relativement long, car certains matériaux seront produits au milieu de l'opération. L'objectif de l'expérience A/B en ligne est divisé en deux parties. Une partie est l'opération de conception des matériaux basés. sur les commentaires de notre modèle, et l'autre partie consiste à utiliser l'expérience des experts historiques. Les résultats expérimentaux montrent que notre modèle a été considérablement amélioré dans les expériences hors ligne et en ligne par rapport à avant.

04Recommandation basée sur plusieurs domaines

​Notre cible de recommandation est constituée d'utilisateurs peu actifs, qui peuvent n'avoir aucune balise, aucune caractéristique et n'ont même jamais utilisé Alipay. Dans la figure ci-dessus, nous analysons d'abord la similitude entre les utilisateurs, où le bleu représente la similitude comportementale avec des étrangers et le rouge représente la similitude comportementale avec des amis. Les résultats montrent que les amis ayant des relations plus étroites ont un degré plus élevé de chevauchement comportemental, nous sommes donc l'ami de l'utilisateur. les informations sur le comportement peuvent être utilisées en complément des informations de l'utilisateur. Ensuite, nous avons analysé le nombre d'amis des utilisateurs actifs et des utilisateurs inactifs, et avons constaté que le nombre d'amis des utilisateurs actifs était bien supérieur à celui des utilisateurs inactifs. Nous nous sommes donc demandé si nous pouvions migrer les informations de clic des utilisateurs actifs vers leurs utilisateurs inactifs. informations sur les amis. Recommandations auxiliaires.

​Une idée centrale de notre modèle est donc d'aligner les espaces de fonctionnalités des utilisateurs actifs et des utilisateurs inactifs, car les utilisateurs inactifs sont sur de nombreuses fonctionnalités est manquant, il est donc essentiellement différent de l'espace de fonctionnalités des utilisateurs actifs. Ici, nous utilisons GNN pour apprendre la représentation de l'utilisateur et mapper la représentation de l'utilisateur dans un espace commun. Comme le montre la figure ci-dessus, la couche supérieure de la structure de CD-GNN est un utilisateur actif que nous voulons prédire, et la couche inférieure est un utilisateur inactif que nous voulons prédire. Ils sont appris par deux GNN puis mappés sur un. utilisateur partagé via une couche invariante de domaine. En termes de représentation, une prédiction d'étiquette est effectuée à la fois pour les utilisateurs actifs et les utilisateurs inactifs.

Plus précisément, le modèle graphique inclut le réseau social et le réseau de pages utilisateur. Les deux réseaux sont agrégés différemment, et les utilisateurs actifs et inactifs sont mappés sur le même espace via la couche invariante de domaine. = Perte de source + Perte de cible-Perte invariante de domaine. Les résultats expérimentaux A/B en ligne montrent que notre modèle a considérablement amélioré le CTR par rapport au GCN, et notre modèle peut toujours obtenir de bons résultats lorsque le comportement est clairsemé.

​Ceci ci-dessus sont quelques-uns des résultats récemment publiés par notre équipe. Je parle principalement du travail des trois articles ci-dessus.

05Questions et réponses interactives

Q1 : Les paramètres de la couche CD-GNN sont-ils partagés ?

A1 : Il n'est pas partagé, car certaines caractéristiques des utilisateurs actifs, comme les caractéristiques d'identification, sont bien plus que celles des utilisateurs inactifs. La répartition des caractéristiques des deux n'est pas cohérente, c'est ce que nous faisons. pas les partager ici.

Q2 : Dans le problème de la recommandation inter-domaines, le nombre d'étiquettes cibles pour les utilisateurs inactifs est très faible, ce qui fait que le modèle apprend mal l'intégration cible des utilisateurs inactifs. Comment de tels problèmes doivent-ils être pris en compte ?

A2 : Vous pouvez utiliser certaines méthodes pré-entraînées pour ajouter des informations de représentation à l'avance, ou compléter les fonctionnalités manquantes via certaines méthodes. Vous pouvez compléter les fonctionnalités lors de la construction du modèle graphique et compléter les fonctionnalités des voisins au lieu de simplement agréger les fonctionnalités voisines. L'ajout d'une perte similaire à la reconstruction de fonctionnalités peut aider à résoudre ce problème.

Q3 : La première méthode basée sur des graphiques a-t-elle été implémentée dans la scène de répétition fine ? Combien de niveaux le GNN atteint-il généralement ?

A3 : Notre section de recommandation de fonds n'expose que 5 fonds aux utilisateurs. Contrairement à d'autres scénarios où une liste est recommandée et où il peut y avoir des centaines d'informations en dessous, les utilisateurs peuvent voir ces 5 fonds en un coup d'œil. l'impact du réarrangement n'est pas très grand. Les résultats de notre modèle sont directement connectés en ligne, ce qui constitue un modèle raffiné. Généralement, le GNN en deux étapes est utilisé. Le GNN en troisième étape n'améliore pas beaucoup certaines tâches et le délai en ligne est trop long.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!