Kuaishou propose un système d'encyclopédie vidéo courte multimodale de niveau milliard - Kuaipedia

Introduction

Actuellement, de plus en plus d'utilisateurs de vidéos courtes espèrent non seulement utiliser leur temps fragmenté pour les loisirs et le divertissement, mais commencent également à espérer acquérir plus de connaissances sur la plateforme de vidéos courtes. En 2021, le volume de lecture de contenu pan-knowledge de Kuaishou a augmenté de 58,11 % d'une année sur l'autre, et la plateforme a enregistré plus de 33 millions de diffusions en direct pan-knowledge tout au long de l'année [1]. Afin de mieux comprendre et organiser les vidéos pan-connaissances, Kuaishou MMU s'est associé à l'Institut de technologie de Harbin et à d'autres pour proposer la première encyclopédie vidéo courte multimodale du secteur - "Kuaipedia": utilisant la technologie multimodale et de graphe de connaissances pour extraire des informations. à partir de courtes vidéos massives extrait des vidéos de connaissances à grande échelle et de haute qualité et les structure pour former une base de connaissances systématique encyclopédie vidéo courte , offrant aux utilisateurs une meilleure expérience d'acquisition de connaissances et inspirant les créateurs Créer de haute -un contenu de connaissances de qualité et construire un écosystème de partage de connaissances sain.

Lien papier : ​​https://www.php.cn/link/b0da9d8dd88178e3bb138e08742eb2e2​ ​

Page d'accueil du projet : ​ ​https://www.php.cn/link/1a725948eb0c738707b5c026a65ba618​​

de courtes vidéos massives et performer. Il a une structure structurée et a construit un système d'encyclopédie vidéo avec des dizaines de millions d'entrées et de points de connaissances. La proposition de « Kuaipedia » aide la communauté universitaire à promouvoir l'IA pour comprendre la connaissance du monde grâce à l'information multimodale, et elle offre un grand espace d'imagination pour sa mise en œuvre dans l'industrie.

Introduction

L'Encyclopédie, dont l'origine remonte à la Grèce et à Rome, est également une réalisation exceptionnelle des Lumières françaises aux XVIIe et XVIIIe siècles. L'encyclopédie des connaissances fait généralement référence à un ouvrage de référence ou à un recueil qui présente brièvement toutes les connaissances humaines ou un domaine ou un sujet spécifique. Avec le développement rapide d'Internet, l'encyclopédie en ligne est devenue un nouveau support de connaissances, comme Wikipédia, l'encyclopédie Baidu, etc. Cependant, ces encyclopédies utilisent généralement des images, des textes et des tableaux comme supports, ce qui rend difficile l'expression de certaines connaissances qui nécessitent une démonstration vivante, comme les connaissances didactiques (Comment faire). La figure 1 montre le dilemme lié à l'utilisation d'images et de textes pour transmettre la connaissance du "Shiba Inu" - "comment dessiner". Grâce à de courtes vidéos, nous pouvons très bien expliquer et apprendre ces connaissances.

Pour des vidéos spécifiques, voir ​​https://www.php.cn/link/70e9dbe24ba303f2d25ac34d3ae945c5​​ .

Image 1 : Le dilemme du transfert de connaissances dans la procédure à suivre avec des images et du texte, les images et le texte proviennent de captures d'écran de courtes vidéos

Avec l'itération continue de l'industrie du contenu et des formes médiatiques, les courtes vidéos deviennent de plus en plus le principal moyen de diffusion des connaissances, en particulier dans la diffusion des connaissances sur certaines compétences et expertises. présente certains avantages. De nos jours, bien qu'il existe des encyclopédies publiques en ligne avec du contenu vidéo, elles se présentent généralement sous la forme de brèves introductions (telles que l'Encyclopedia of Instant Understanding), et les courtes vidéos ne sont pas utilisées dans la plus grande mesure. Par conséquent, la capacité expressive des courtes vidéos est utilisée. les encyclopédies du savoir ont été gravement sous-estimées. Par exemple, lorsque les gens parlent de « Shiba Inu », en plus de « l'introduction », les gens font également attention à « comment choisir », « comment se coiffer », « comment corriger la protection alimentaire », etc. Par conséquent, nous pensons que structurer de courtes vidéos basées sur les connaissances dans une courte encyclopédie vidéo structurée est un moyen efficace de comprendre les connaissances du monde et d’aider les humains à diffuser les connaissances plus efficacement.

Norme nationale de référenceConnaissances scientifiques populaires # 🎜🎜#, la catégorie compétence (Comment) se résume à Tutorial Knowledge# 🎜🎜#, découvrez des vidéos de connaissances de haute qualité à partir des énormes vidéos de Kuaishou. De plus, nous utilisons l'essentiel des connaissances extraites de la courte vidéo comme entrée # 🎜🎜# Présenté sous la forme de (comme Shiba Inu), et extraire les points de connaissance# 🎜 expliqué dans la vidéo 🎜# (comme Shiba Inu-Selection, Shiba Inu-Food Care Correction, etc.) constitue en fin de compte un court système de connaissances encyclopédique vidéo, comme le montre la figure 2.

Figure 2 : Connaissance rapide - aperçu de l'encyclopédie vidéo courte multimodale

La proposition de "Kuaipedia" a les contributions suivantes :

#🎜🎜 ##🎜🎜 #La définition de "Quick Knowledge"

 : Nous avons été les pionniers de la définition Un tout nouveau multi -encyclopédie des connaissances modales, composée d'entrées, de points de connaissances, de courtes vidéos basées sur les connaissances et des relations entre elles. Il s'agit de la première encyclopédie vidéo courte, multimodale et structurée du secteur. Comment créer une encyclopédie vidéo courte à grande échelle

#🎜 🎜# : Nous proposons d'utiliser une combinaison de reconnaissance vidéo de connaissances, d'exploration de points de connaissances d'entrée et de liens de connaissances multimodaux pour créer une courte encyclopédie vidéo à grande échelle. Et a été le pionnier de la tâche de « liaison de connaissances multimodales » en tant qu'extension et extension de la liaison d'entités traditionnelle. Des applications pleines de potentiel et d'imagination

#🎜🎜 #

 : En termes académiques, "Kuaizhi" utilise une toute nouvelle forme d'organisation vidéo courte des points de connaissance, qui peut dépasser la limite supérieure de la capacité de la machine actuelle à comprendre la connaissance du monde uniquement en s'appuyant sur des graphiques de connaissances graphiques (KG ). Dans certaines tâches en aval de KG, il présente un grand potentiel pour les tâches en aval telles que la liaison d'entités, la classification d'entités ou la compréhension de contenu telle que la PNL et le CV. Dans l'industrie, des formulaires tels que « Kuaizhi » peuvent aider les plateformes de vidéos courtes à fonctionner efficacement, à organiser le contenu et à améliorer la compréhension des utilisateurs en matière de connaissances et d'efficacité de la consommation. ​

Aperçu technique#🎜 🎜 #

Afin d'obtenir la courte structure d'encyclopédie vidéo ci-dessus, la technologie de base comprend les trois étapes principales suivantes, comme le montre la figure 3.

Reconnaissance vidéo de connaissances : #🎜 🎜#Comprendre et identifier les vidéos basées sur les connaissances dans des vidéos massives grâce à des modèles de pré-formation vidéo multimodaux

 ;

Exploration d'entrées et de points de connaissance : Fusion via une base de connaissances multi-sources" "De haut en bas" construit le système d'entrée, puis "de bas en haut" construit la relation entre les entrées et les points de connaissance en exploitant les requêtes de recherche des utilisateurs pour former un arbre de points de connaissance d'entrée ； # 🎜🎜#

Lien de connaissances multimodal : Innovation Il étend de manière créative la tâche traditionnelle de « liaison d'entités » et propose la tâche de « liaison de connaissances multimodales » consistant à relier la vidéo à un certain point de connaissance (tel que la correction de la protection alimentaire) de l'entrée (comme Shiba Inu) grâce à une technologie de compréhension de contenu multimodale. .

Figure 3 : Lien technologique de construction de Kuai Zhi# 🎜 🎜#

Grâce à un grand nombre de révisions manuelles détaillées, les points de connaissances et les vidéos extraits par KuaiZhi ont une grande précision et qualité. Pour des algorithmes plus détaillés et des données expérimentales, veuillez vous référer à l'article ou à notre page d'accueil Github (voir le début de l'article).

​

APP

Tout d'abord, les systèmes d'encyclopédies vidéo courtes multimodales tels que « Kuaipedia » ont grandement contribué au développement technologique de la compréhension par l'IA du potentiel universitaire des connaissances mondiales. D'une part, « Quick Knowledge » dépasse les limites des graphiques, du texte et des tableaux et décrit une entité ou un concept à travers des points de connaissances plus riches et de courtes vidéos. Cette approche peut favoriser le développement de la technologie des graphes de connaissances multimodaux. D'un autre côté, ces points de connaissances et ces courtes vidéos aident l'IA à mieux comprendre les connaissances du monde, en particulier certaines connaissances pratiques difficiles à exprimer en images et en textes. Ce type de connaissances multimodales peut améliorer la compréhension du monde et des textes par l'IA. améliorer la compréhension du monde par l'IA. Les applications en aval dans les domaines de la KG, de la PNL, du CV et d'autres domaines sont très utiles. Concernant la tâche de liaison d'entités CCKS, nous avons prouvé que la simple introduction de connaissances multimodales de « connaissance rapide » peut améliorer efficacement les performances du BERT en matière de liaison d'entités et de classification d'entités.

De plus, "Kuaizhi" est très imaginatif dans sa mise en œuvre industrielle, et en train d'étendre l'écologie de la vidéo courte à " pan-knowledge" Parmi eux, le formulaire existant restreint sa méthode de communication. Grâce à un contenu structuré, "Kuaizhi" peut améliorer l'efficacité du fonctionnement et de la distribution de la plate-forme et mieux répondre aux demandes de connaissances des utilisateurs. Nous avons d'abord essayé de mettre en œuvre cette technologie dans la catégorie santé. L'équipe de Kuaishou Health avait précédemment extrait un lot de contenu PUGC de haute qualité de manière purement manuelle en utilisant les types de maladies comme dimension organisationnelle. Cependant, il existait des systèmes de connaissances sur les maladies imparfaits et des vidéos de connaissances faisant autorité. Avec de petits problèmes, il est difficile de créer efficacement un système vidéo complet, à grande échelle et structuré sur les maladies. Après avoir utilisé la technologie de "Kuaizhi", un lot de points de connaissances de haute qualité et de vidéos de connaissances présentant les caractéristiques de Kuaishou sont automatiquement extraits, ce qui enrichit le contenu de la maladie et est plus efficace qu'une construction purement manuelle # 🎜 🎜#des dizaines de fois. Actuellement, ce lot de contenu a été lancé sur la page sélectionnée de Kuaishou App : cliquez sur la « barre inférieure » d'une vidéo liée à une maladie dans le flux vidéo sélectionné pour évoquer la page demi-écran « Kuaishou Health », et les utilisateurs peuvent consommer du contenu associé sous l’entrée à laquelle appartient la vidéo. Les points de connaissances et les vidéos de connaissances associées sont présentés dans la figure 4.

Image 4 : Kuai Zhi est mis en œuvre sur la scène de la santé#🎜🎜 ## 🎜🎜#

En plus de la santé, "Kuaizhi" couvre également le contenu des connaissances dans de nombreux domaines tels que l'éducation, l'alimentation, l'agriculture, les zones rurales et les agriculteurs, les parents -L'enfant, le droit, la technologie, la finance, etc. , ont un grand potentiel d'application.

​

Conclusion

Face aux perspectives de développement des contenus de culture générale dans l'industrie de la vidéo courte, nous avons proposé la courte vidéo multimodale « Kuaipedia » Le système d'encyclopédie part d'un stock massif de contenu vidéo court, utilise la technologie de construction de graphes de connaissances multimodales pour extraire des centaines de millions de vidéos de connaissances de haute qualité et structure le contenu de connaissances pour créer la première bibliothèque de connaissances encyclopédiques vidéo courtes systématiques à grande échelle du secteur. , qui a un grand potentiel et une grande imagination dans le monde universitaire et industriel.

​

Présentation de l'auteur#🎜 🎜 #

Premier auteur : Pan Haojie

Kuaishou MMU Knowledge Map Center, chef de projet KuaiZhi, diplômé Il est diplômé de l'Université du Zhejiang et de l'Université des sciences et technologies de Hong Kong et était responsable des algorithmes et des cadres NLP à grande échelle chez Alibaba Cloud PAI. Il a publié plus de 10 articles dans des conférences et des revues de premier plan telles que ACL, EMNLP, KDD, AIJ, etc. ., ainsi que plusieurs brevets nationaux et américains. Voir Zhihu pour plus de détails. Rejoignez Kuaishou en 2021.

Auteur correspondant : Fu Ruiji

Il est à la tête du Kuaishou MMU Knowledge Graph Center. Il est diplômé de l'Institut de technologie de Harbin avec un diplôme. titulaire d'un baccalauréat, d'une maîtrise et d'un doctorat, et est chercheur postdoctoral à l'Université des sciences et technologies de Chine. Il a déjà été directeur adjoint de l'institut de recherche iFlytek AI de HKUST et a remporté le premier prix du Wu Wenjun Artificial Intelligence Technology Progress Award. Il a publié de nombreux articles académiques dans des conférences et revues internationales telles que ACL, EMNLP, Coling, IJCAI, TASLP, etc., et a déposé (obtenu) plus de 40 brevets d'invention nationaux. Rejoignez Kuaishou en 2021.

Enseignant coopérant : Liu Ming

Professeur/directeur de doctorat, Département d'informatique, Harbin Institute of Technology. Il a successivement présidé de nombreux projets de fonds tels que le projet de programme clé national de R&D, la Fondation nationale des sciences naturelles, la subvention spéciale de la Fondation postdoctorale des sciences de Chine, la subvention générale de première classe de la Fondation postdoctorale des sciences de Chine et le Fonds général provincial du Heilongjiang. A remporté le premier prix du prix scientifique et technologique de la province du Heilongjiang, du prix Harbin City Science and Technology Achievements et le premier prix de la 6e Conférence nationale sur l'innovation et l'entrepreneuriat de l'intelligence artificielle pour les jeunes. Ces dernières années, il a publié plus de 20 articles CCFA/B en tant que premier auteur ou auteur correspondant, a participé à l'édition d'un manuel et en a traduit un en anglais. Il est président du domaine des graphes de connaissances de NLPCC2020, CCKS2020 et COLING2022, président de publication CCKS2019, président d'évaluation CCKS2021 et président d'atelier CCKS2022.

Référence

[1] Kuaishou, 2022 Kuaishou Pan Knowledge contenu du rapport écologique.

[2] Comité national des normes : Cadre de gestion des connaissances, GB/T 23703. # 🎜 🎜#

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!