Pourquoi Weibo crée-t-il une dépendance ? Décryptage de l'algorithme de recommandation en coulisses

Le 13 juillet 2021, les jeunes qui ont travaillé dur pendant une journée sont sur le point de s'allonger et de sortir leur téléphone portable, d'ouvrir l'application familière Xiaopozhan et de se connecter aux dernières vidéos de leurs hôtes préférés en un seul clic.

En conséquence, j'ai soudainement découvert que ma vision s'assombrissait :

Après un an, la Station B a finalement révélé le secret : un "0 intrigant".

Cependant, avez-vous déjà réfléchi à la raison pour laquelle ce Weibo ne s'est pas effondré même après avoir connu un afflux fou d'utilisateurs ?

Quelle est la relation entre l'IA et Weibo ?

Avant de percer ce mystère, nous devons commencer par le développement de l’intelligence artificielle.

Le 27 juillet, la conférence New Wise 2022 « Écologie intégrée et co-création de valeur », guidée par l'Internet Society of China et hébergée par Weibo et Sina News, s'est tenue avec succès.

Dans le thème « L'intelligence est le moteur de toutes choses : l'IA favorise l'arrivée accélérée de l'Internet de tout », le COO de Weibo, le PDG de Sina Mobile et le doyen du Sina AI Media Research Institute, Wang Wei, ont prononcé un discours intitulé « Le cloud permet au intégration et application de la technologie de l'intelligence numérique" Un discours d'ouverture sur "La capacité de microbloger des scénarios commerciaux complexes".

Wang Wei a déclaré que si nous regardons en arrière l'histoire du développement de l'apprentissage automatique, nous pouvons voir que la tendance générale du développement de l'IA est la suivante : une quantification et une diversification massives des données de formation, de la complexité et complexité des modèles d’IA Généralisation, efficacité et ampleur de la puissance de calcul.

Le premier est la fusion de données multimodales.

Avec le développement rapide de la 5G, le contenu modal de type image et vidéo représente une proportion croissante du contenu en ligne, la fusion modale est donc très nécessaire.

Pour Weibo, si vous pouvez effectuer une fusion multimodale de texte, d'images et de vidéos en même temps, vous pourrez mieux comprendre le contenu de ce Weibo.

Deuxièmement, il s'agit du calcul graphique à très grande échelle.

Par rapport à d'autres modèles d'apprentissage automatique, le calcul graphique à très grande échelle présente un avantage particulier : il favorise le flux, l'agrégation et l'intégration des informations grâce à la transmission des informations dans le réseau.

Par exemple, pour un utilisateur débutant à froid avec peu de comportements, nous pouvons déduire les intérêts de l'utilisateur grâce à la diffusion d'informations à travers les personnes de sa liste de suivi et le contenu posté par ces personnes.

Le troisième est le mode haltère développé par l'IA.

L'objectif actuel de la recherche et du développement en IA est l'un des supermodèles de plus en plus grands, et l'autre la technologie de miniaturisation des modèles.

Nous savons tous qu'à mesure que l'échelle des paramètres du modèle devient de plus en plus grande, l'effet du modèle s'améliore de plus en plus et les modèles de haute précision continuent d'augmenter. Par exemple, lorsque Bert de Google est sorti pour la première fois en 2018. , l'échelle des paramètres du modèle était de 300 millions, ce n'est pas trop grand, mais ce nombre a augmenté rapidement depuis lors.

Le modèle GPT-2 développé par OpenAI a une taille de paramètre de 1,5 milliard, le modèle GPT-3 a une taille de paramètre de 175 milliards, et par le Switch Transformer publié par Google en 2021, la taille de paramètre a atteint 1,6 billion.

D'un autre côté, bien que plus le modèle soit grand, meilleur est l'effet, mais parce que le modèle est trop grand, il ne peut parfois pas être mis en œuvre dans des applications pratiques. Par conséquent, un autre objectif de recherche et développement consiste à miniaturiser et à alléger ces grands modèles, tels que la distillation de modèles, l’élagage de modèles et d’autres technologies.

Quatrièmement, le modèle d'IA passe d'un modèle spécialisé à un modèle général.

Google a dévoilé le cadre du modèle Pathways au second semestre 2021. Il a d'abord proposé cette idée, dans l'espoir d'atteindre l'objectif « un modèle peut faire des dizaines de millions de choses » en construisant un grand modèle général.

L'idée spécifique est qu'après la saisie de différentes données de tâche, une partie du chemin du réseau neuronal est sélectionnée via l'algorithme de routage pour atteindre la couche de sortie du modèle. Différentes tâches ont à la fois un partage de paramètres et des paramètres de modèle spécifiques à la tâche.

Un très grand graphe avec 1 milliard de nœuds + 10 milliards d'arêtes

Pourquoi parlez-vous de machine learning depuis si longtemps ? Parce que ce qui vient ensuite est le « système de recommandation en vedette Weibo ».

Comme nous le savons tous, en tant que plus grand réseau de médias sociaux en Chine, le nombre d'utilisateurs actifs mensuels actuels a atteint 582 millions ! Une telle échelle d'utilisateurs rendra inévitablement l'environnement réseau sur Weibo très compliqué.

Couplés à la grande actualité et à la grande diversité des contenus, les événements Internet majeurs d'aujourd'hui exploseront immédiatement sur Weibo.

De plus, Weibo est confronté à une variété de scénarios et doit distribuer le contenu qui les intéresse aux utilisateurs dans de nombreux scénarios tels que le flux relationnel, le flux de points chauds et le flux vidéo.

Je peux vivre sans doigts, mais je ne peux pas vivre sans mon téléphone

Face à des scénarios commerciaux complexes, comment Weibo utilise l'IA et le big data pour créer un système de recommandation capable de s'adapter à des circonstances changeantes ?

Wang Wei nous a présenté que le système de recommandation Weibo se compose de trois parties : la compréhension du contenu, la compréhension de l'utilisateur et le système de recommandation.

Tout d’abord, c’est la compréhension du contenu.

Si vous voulez comprendre ce que dit un Weibo, il ne suffit pas de comprendre simplement le contenu du texte. Vous devez utiliser la technologie de compréhension multimodale pour intégrer des articles de blog, des images, des vidéos et d'autres informations médiatiques.

À cette fin, Weibo a formé son propre modèle de pré-formation multimodale Weibo Grâce à « l'apprentissage contrasté », cette méthode d'apprentissage auto-supervisée est utilisée pour mener une pré-formation multimodale.

L'exemple ci-dessous montre comment Weibo utilise ses propres « sujets » pour construire automatiquement des données d'entraînement.

Par exemple, nous prenons deux publications Weibo qui disent toutes deux "Rashford en formation" comme exemples positifs, et sélectionnons au hasard certaines publications Weibo avec des sujets différents comme exemples négatifs, afin que nous puissions construire automatiquement des données d'entraînement.

Pour un certain Weibo, le contenu textuel est codé par Bert, le contenu image et vidéo est codé par ViT, puis les informations sont fusionnées via le sous-réseau de fusion pour former l'encodage d'intégration de Weibo. Il s'agit d'une sorte de processus de pré-formation.

Après la pré-formation, l'encodeur Weibo bien appris peut être utilisé pour encoder de manière multimodale le nouveau contenu Weibo afin de former une intégration, qui peut être utilisée dans des tâches en aval telles que la recommandation.

Deuxièmement, en termes de compréhension des utilisateurs, Weibo utilise le calcul graphique à très grande échelle pour mieux comprendre les intérêts de lecture des utilisateurs. Après tout, Weibo possède ses propres attributs de médias sociaux, ce qui lui correspond naturellement bien avec le calcul graphique à grande échelle.

En utilisant les utilisateurs et les articles de blog comme nœuds dans le graphique, et en construisant des bords dans le graphique en fonction de la relation d'attention entre les utilisateurs, la lecture de l'utilisateur et de l'article de blog, les re-commentaires et les likes, etc., Weibo a établi une échelle de 1 milliard de nœuds, très grands graphes avec 10 milliards d'arêtes.

Grâce à la diffusion, à l'agrégation et à l'intégration d'informations dans le calcul graphique à grande échelle, des vecteurs d'intégration représentant les intérêts des utilisateurs peuvent être formés pour mieux comprendre les intérêts des utilisateurs.

De cette manière, il est possible de gérer simultanément les relations suivantes entre les utilisateurs, les re-commentaires et les likes des utilisateurs et les articles de blog, etc.

Après avoir compris de quoi parlent les utilisateurs et compris leurs intérêts, le système de recommandation Weibo distribuera des publications Weibo de haute qualité aux utilisateurs intéressés de manière personnalisée.

Alors, comment construire un système de recommandation efficace dans un scénario aussi complexe ?

Weibo adopte une approche de modélisation multi-scènes. La situation idéale est de créer un seul modèle de recommandation et de l’utiliser pour servir plusieurs scénarios.

Alors, comment exprimer le point commun et l'individualité entre les scènes ? Les paramètres de réseau peuvent être partagés entre les scènes, ou la scène peut avoir des paramètres de réseau privé exclusifs pour refléter les points communs et l'individualité de la scène.

Par exemple, dans ce diagramme de modèle, dans la couche d'entrée de caractéristiques sous-jacente du modèle, et une partie du « sous-réseau expert » au milieu du réseau, ces paramètres de réseau sont partagés par divers scénarios ; tandis que d'autres paramètres de sous-réseau sont certains uniques à la scène

De cette façon, un modèle peut servir plusieurs scènes et économiser les ressources du modèle.

Incident de Tangshan : Que dois-je faire si le trafic double ?

Maintenant, revenons au "suspense" originel.

Pour Weibo, ce point chaud qui va "exploser" s'il n'est pas entièrement protégé a toujours été un très gros défi.

Par exemple, « l'incident de Tangshan » qui a récemment attiré l'attention nationale, la circulation intense le jour de l'incident a complètement doublé le pic de trafic quotidien.

À cet égard, Wang Wei a déclaré que Weibo a appliqué très tôt la technologie de conteneurisation microservices + Docker, ce qui améliore non seulement l'efficacité de l'exploitation et de la maintenance des services, mais réalise également les capacités dynamiques d'expansion et de contraction des services. Actuellement, Weibo a la capacité de planifier plus de 10 000 serveurs en 10 minutes et dispose de suffisamment de serveurs pour gérer un trafic intense.

De plus, Weibo a également mis en place un mécanisme de surveillance des points d'accès et un système de liaison de points d'accès. Grâce à la technologie Weibo Mesh développée par Weibo, il peut réaliser des appels multilingues efficaces entre différents services, améliorer les performances du service global et la liaison. efficacité d'expansion.

Enfin, Weibo adopte une technologie de déploiement hybride en temps réel hors ligne. La combinaison de la technologie de planification préemptive en temps réel du processeur et de la technologie de conteneurisation est utilisée pour obtenir des capacités de déploiement hybride en temps réel hors ligne des services Weibo.

Après avoir combiné les opérations ci-dessus, lorsque le trafic chaud arrive, vous pouvez prendre en charge le trafic chaud des services de base en quelques secondes. Enfin, revenons sur l’histoire du développement d’Internet.

Si l'Internet sur PC est le début du monde en ligne, alors l'essor de l'Internet mobile nous permet de mettre cet espace d'information invisible dans nos poches. Avec la superposition et l’intégration du Big Data, du cloud computing, de l’intelligence artificielle et d’autres technologies avec l’Internet mobile, nous sommes entrés dans l’ère de l’information intelligente.

Maintenant, le sujet le plus brûlant est le multivers. Depuis l’année dernière, le Metaverse a déclenché de nombreuses discussions, telles que les jumeaux numériques, les personnes numériques, la XR, la technologie blockchain, etc.

Wang Wei estime que les scénarios d'application actuels basés sur des technologies de pointe telles que l'IA, la blockchain et la XR ont déjà reflété certains prototypes du métaverse. Des domaines tels que les jeux et les réseaux sociaux sont de très bons scénarios d'application pour le métaverse, qui susciteront l'enthousiasme de chacun pour la participation au métaverse.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!