Le mécanisme de « plantation d'herbe » de Xiaohongshu est décrypté pour la première fois : comment la technologie du système d'apprentissage profond à grande échelle est appliquée

La nouvelle génération de technologies de l'information dirigée par l'IA est à l'origine d'une nouvelle vague technologique. En tant que plate-forme Internet mobile qui se développe le plus rapidement en Chine ces dernières années, Xiaohongshu a profité de cet élan et a désormais formé une très grande communauté UGC axée sur le contenu graphique, textuel et vidéo court. Dans cette communauté unique et active, des données multimodales massives et des retours sur le comportement des utilisateurs sont générés chaque jour, donnant lieu à de nouveaux problèmes à la fois précieux et stimulants.

De nombreux développements passionnants se produisent actuellement dans les systèmes d'apprentissage profond à grande échelle. Lors de l'événement « Xiaohongshu REDtech Youth Technology Salon » le 15 octobre, le vice-président de Technology Cage de Xiaohongshu a partagé « La technologie du système d'apprentissage profond à grande échelle et son application à Xiaohongshu » et a dévoilé pour nous « Mystère ».

Cage : Vice-président de la technologie de Xiaohongshu. Il est diplômé de l'Université Jiao Tong de Shanghai. Il a été vice-président de la technologie du YYY Times et architecte en chef de Baidu Fengchao, responsable du travail sur l'algorithme d'apprentissage automatique CTR de la publicité de recherche Baidu. Il a déjà été responsable technique en Chine du projet IBM Deep Question Answering (DeepQA).

Le contenu suivant est compilé sur la base du rapport sur site de Cage

1 Aperçu de l'activité de Xiaohongshu

Partage de l'expérience réelle de gens ordinaires

Xiaohongshu est une communauté de contenu en plein essor avec un grand nombre de personnes. qui comprennent la vie, les gens qui aiment partager échangent ici leurs expériences de vie et leurs attitudes et continuent d'attirer de plus en plus d'utilisateurs à nous rejoindre. Aujourd'hui, Xiaohongshu compte 200 millions d'utilisateurs actifs mensuels, dont plus de 70 % sont nés dans les années 1990, 50 % des utilisateurs viennent de villes de premier et de deuxième rang, et la moitié viennent de villes de troisième et quatrième rang. des utilisateurs est très riche et jeune.

Les « gens ordinaires » partagent leurs « vraies » « expériences de vie », ce qui constitue une très grande différence entre Xiaohongshu et les autres plateformes et communautés de contenu. Tout d'abord, les partageurs sont des « gens ordinaires ». Deuxièmement, « le partage sincère et l'interaction amicale » sont les conventions de la communauté de Xiaohongshu, et la « sincérité » est un point très important. Le partage dans ces communautés est étroitement lié à notre consommation de vie hors ligne, comme Treasure Bookstore, ou comment s'habiller, décorer, cuisiner, etc., qui sont « l'expérience de vie » quotidienne de chacun.

Nous pouvons également utiliser certains chiffres pour mesurer le développement de la communauté Xiaohongshu au fil des années. Nous constatons que le nombre de notes publiées augmente à un rythme très rapide chaque année de 2018 à 2021, et de 2020 à 2021. , le volume de publication des notes des utilisateurs de Xiaohongshu a augmenté de plus de 150 % d'une année sur l'autre.

Trois activités principales : la communauté, la commercialisation et le commerce électronique

Dans une communauté de contenu en développement si rapide, les trois activités les plus importantes sont la communauté, la commercialisation et le commerce électronique.

Tout d'abord, notre communauté de contenu et notre plateforme de contenu sont une communauté de contenu lifestyle couvrant toutes les catégories de la vie, principalement UGC. De plus, grâce à ce type de « partage sincère » qui correspond à la vie et à la consommation quotidienne, les utilisateurs ont un degré élevé de confiance dans le contenu de notre communauté. Tout le monde sera « semé » lorsqu'il verra de bons modes de vie, du contenu de consommation, des services et des produits, etc. "Grass", Nous apportons une transformation de marque et d'effet grâce à notre modèle commercial unique de "plantation d'herbe".

« Après avoir planté l'herbe, pouvez-vous l'arracher ? » Tout en consommant du contenu, tout le monde espère également acheter ses articles préférés de manière naturelle et pratique. C'est notre champ de consommation efficace en boucle fermée, c'est-à-dire la partie e-commerce.

2. Défi technique de Xiaohongshu

La technologie multimodale est l'une des directions technologiques qui a attiré une large attention et se développe rapidement dans l'ensemble du domaine de l'IA. La communauté UGC et l'écologie du contenu contiennent un grand nombre d'images, de vidéos, de textes et d'utilisateurs. comportements. Les utilisateurs aiment le bon contenu lorsqu'ils le voient, effectuent divers comportements de recherche, regardent une certaine vidéo, etc., ce qui constitue une grande quantité de commentaires réels des utilisateurs.

Aujourd'hui, le nombre d'échantillons de commentaires réellement générés chaque jour par le comportement des utilisateurs s'élève à des dizaines de milliards. Comment exploiter du contenu intéressant les utilisateurs et un bon contenu commercial dans des données multimodales massives À partir de cet objectif, de nombreux problèmes précieux et difficiles découlent.

Comment résolvons-nous ces technologies ?

Système de recommandation en temps réel pour des milliers de personnes

Lorsque vous ouvrez Xiaohongshu, la première chose que vous voyez est le flux en cascade ou le flux de contenu répertorié. Ce sont les contenus recommandés par le système de recommandation à tout le monde. Selon les statistiques, Xiaohongshu génère chaque jour des dizaines de milliards d'actions d'utilisateurs. Pour ces données, l'équipe technique de Xiaohongshu utilise un cadre d'apprentissage automatique basé sur LarC pour entraîner le modèle et, sur la base des règles de comportement de l'utilisateur, elle peut découvrir le contenu qui l'intéresse et le recommander à l'utilisateur.

L'image ci-dessous montre la structure générale du modèle de recommandation Xiaohongshu. Il s'agit d'un modèle d'apprentissage automatique multitâche qui peut prédire les clics de l'utilisateur, le temps d'attente, s'il souhaite aimer et collecter, etc. Compte tenu des paramètres de coefficients massifs générés par la plate-forme Xiaohongshu, Xiaohongshu met à jour et capture ces paramètres via un serveur de paramètres à grande échelle sans conflit.

La formation en ligne du système recommandé est la suivante. Lorsque les utilisateurs parcourent le flux d'informations, le système de recommandation capturera la navigation, les clics, les likes et autres comportements de l'utilisateur en temps réel. Ces comportements seront fusionnés sur la base du moteur informatique de traitement en temps réel de Flink pour générer des échantillons hautes performances. sera envoyé au modèle en temps réel pour prédiction. Dans le même temps, ces échantillons accumulés de courte durée seront également utilisés pour une très courte formation en ligne visant à mettre à jour les paramètres du modèle. Ces paramètres de modèle mis à jour seront immédiatement publiés en ligne pour répondre à la prochaine demande. L'ensemble du processus se déroule en quelques minutes.

Il y a aussi une question classique dans l'industrie. Par exemple, lorsque les gens parcourent le contenu recommandé, ils trouvent souvent : Pourquoi les choses que j'ai vues auparavant sont-elles intensément poussées ? Que dois-je faire si les choses que je regarde ne sont pas assez récentes ?

Dans le scénario de recommandation, se concentrer sur une période de temps plus courte entraînera de sérieux problèmes de chasse et de cocooning d'informations. L'équipe technique de Xiaohongshu a conçu différentes méthodes de modélisation de séquence pour les comportements diversifiés à long terme et à court terme des utilisateurs. des améliorations ont été réalisées dans de multiples dimensions. De plus, en ce qui concerne la question de la diversité dans la recommandation de contenu, l'équipe technique de Xiaohongshu a amélioré l'approche traditionnelle de la diversité, de l'algorithme DPP à l'algorithme SSD, et a calculé efficacement la fenêtre glissante dans le scénario de recommandation de flux d'informations, transformant ainsi le classement des valeurs des modèles d'articles uniques. Modélisez l’intégralité du cycle de navigation. Cela repose sur le réseau neuronal jumeau qui apprend la similitude du contenu à longue traîne.

Nous avons publié les résultats de travaux connexes lors de la conférence KDD 2021. Ils sont passés d'une estimation de la valeur d'un seul article à une estimation de la valeur d'une séquence, et de la diversité d'un seul article à la diversité de plusieurs. articles. Il est également basé sur l'algorithme SSD qui le sous-tend et sur l'évaluation de la similarité du contenu basée sur ce réseau neuronal siamois.

Moteur de recherche multimodal sur la vie généralisée

Parce que la communauté Xiaohongshu contient une grande quantité d'informations très utiles dans la vie réelle, de nombreux utilisateurs utiliseront Xiaohongshu comme moteur de recherche. Cela inclut certains défis, tels que la recherche dans plusieurs formulaires de données, de graves phénomènes de longue traîne et des problèmes de compréhension des intentions.

Les moteurs de recherche d'images et de texte existants peuvent rechercher des images via du texte, mais la méthode est relativement simple. Habituellement, les images sont étiquetées avec du texte, puis le texte est mis en correspondance. Le moteur de recherche pan-life multimodal de nouvelle génération construit par l'équipe de Xiaohongshu est basé sur une compréhension approfondie du contenu multimodal. Il peut véritablement rechercher du contenu visuel à travers des images, du texte et du texte, et peut également en créer davantage. résultats de recherche personnalisés en fonction des caractéristiques de la recherche de l'utilisateur.

Qu'est-ce qu'un moteur de recherche de connaissances pan-vie ? Par exemple, nous voyons un beau vêtement ou des chaussures sur Xiaohongshu et souhaitons rechercher ses combinaisons et à quoi il ressemble dans différentes situations. Il s’agit d’une recherche de connaissances sur la vie, mais aussi d’une recherche multimodale.

Cela montre la multimodalité prévue par l'équipe technique de Xiaohongshu, notamment pour l'architecture technique telle que la recherche d'images. L'une des dépendances les plus critiques est la fonctionnalité multi-module, qui nécessite des réseaux de neurones à grande échelle pour l'apprentissage des représentations. peut avoir une bonne représentation du contenu contenu dans l'image, qu'il s'agisse de vêtements, de chaussures ou d'autres produits. Il est très utile de récupérer les mêmes produits ou des produits similaires à partir d'une grande quantité de contenu multimodal. Il s'agit d'une application de notre réseau neuronal à grande échelle dans la recherche.

L'IA génère plus de contenu commercial natif

Par rapport à d'autres plateformes, le contenu commercial de Xiaohongshu a une grande différence : la native. La soi-disant nativeisation signifie que les utilisateurs apprécient beaucoup le contenu en raison des likes, des commentaires et d'autres comportements, et peuvent ne pas avoir du tout l'impression qu'il s'agit d'un contenu commercial. Mais pour les commerçants de la plateforme, le seuil pour produire un tel contenu commercial est très élevé. Comment trouver un bon équilibre entre les intentions commerciales des commerçants et la valeur utilisateur du contenu produit est une question cruciale.

À cette fin, l'équipe technique de Xiaohongshu utilise une technologie générative basée sur des réseaux de neurones à grande échelle pour aider les commerçants à générer de meilleurs titres et contenus en fonction du contenu. Par exemple, les commerçants peuvent choisir d'exprimer plusieurs arguments de vente, ou de mettre en évidence des groupes de clients cibles, ou leur style Xiaohongshu préféré. La machine proposera automatiquement des titres après avoir cité les titres créés par la machine, quels que soient les effets commerciaux, les clics ou les titres. La durée du séjour a été considérablement améliorée et les utilisateurs aiment également beaucoup ce type de contenu, ce qui permet d'obtenir un bon équilibre entre la valeur commerciale et la valeur utilisateur.

Ceci est en fait basé sur des modèles de pré-formation à grande échelle, y compris les principales architectures de modèles de l'industrie telles que T5, BERT et GPT. Ces architectures de modèles sont formées sur les données multimodales massives de Xiaohongshu. Une partie du modèle pré-entraîné est utilisée pour comprendre le contenu des notes, et une partie du modèle pré-entraîné est utilisée pour guider le modèle génératif afin de générer des titres. C'est ainsi que les technologies associées sont appliquées dans le domaine commercial.

Plateforme d'apprentissage automatique à grande échelle

Tout le contenu d'apprentissage automatique ci-dessus est en fait basé sur la plateforme d'apprentissage automatique LarC auto-développée par l'équipe technique de Xiaohongshu. Il a été lancé en 2019 et, en 2020 et 2021, les cadres et plates-formes d'apprentissage automatique associés ont été promus dans tous les domaines tels que la recherche, la recommandation et la publicité. En 2022, LarC deviendra une plateforme.

Actuellement, les capacités de la plateforme d'apprentissage automatique LarC sont assez complètes, couvrant plusieurs niveaux depuis l'infrastructure sous-jacente jusqu'au cadre informatique, en passant par la planification des ressources, les applications hors ligne et le déploiement en ligne (la partie jaune indique qu'elle a été implémentée).

Avec la plateforme d'apprentissage automatique LarC, l'équipe technique de Xiaohongshu espère aider tous les étudiants en algorithme à traiter rapidement et efficacement des données massives et à former des modèles d'apprentissage automatique et d'apprentissage profond à grande échelle.

3. Résumé

Xiaohongshu est une communauté de contenu en développement rapide. "Les gens ordinaires", "le partage réel" et "l'expérience de la vie" sont ses mots-clés.

Dans un tel scénario avec des données multimodales massives et des données de commentaires des utilisateurs, de nombreuses explorations technologiques de pointe ont vu le jour. Ce qui précède est une sélection de quelques points tirés d'une grande quantité de travaux techniques à partager avec vous. En fait, j'espère que vous pourrez comprendre la technologie de Xiaohongshu et l'apprentissage approfondi à grande échelle.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!