Kuaishou schlägt ein milliardenschweres multimodales Kurzvideo-Enzyklopädiesystem vor – Kuaipedia

Einführung

Derzeit hoffen immer mehr Kurzvideonutzer nicht nur, ihre fragmentierte Zeit für Freizeit und Unterhaltung zu nutzen, sondern beginnen auch, auf der Kurzvideoplattform mehr Wissen zu erlangen. Im Jahr 2021 stieg das Wiedergabevolumen von Kuaishous Pan-Knowledge-Inhalten im Vergleich zum Vorjahr um 58,11 %, und die Plattform verzeichnete das ganze Jahr über mehr als 33 Millionen Pan-Knowledge-Liveübertragungen [1]. Um übergreifende Wissensvideos besser zu verstehen und zu organisieren, hat sich Kuaishou MMU mit dem Harbin Institute of Technology und anderen zusammengetan, um die branchenweit erste multimodale Kurzvideo-Enzyklopädie – „Kuaipedia“ – vorzuschlagen: Nutzung multimodaler und Wissensgraphentechnologie zur Informationsextraktion aus massiven Kurzvideos baut umfangreiche und qualitativ hochwertige Wissensvideos ab und strukturiert sie, um eine systematische Kurzvideo-Enzyklopädie-Wissensdatenbank zu bilden , die Benutzern ein besseres Wissenserwerbserlebnis bietet und Schöpfer inspiriert, hohes Niveau zu schaffen -Qualität der Wissensinhalte und Aufbau eines gesunden Ökosystems für den Wissensaustausch.

Link zum Papier: ​​https://www.php.cn/link/b0da9d8dd88178e3bb138e08742eb2e2​ ​

Projekthomepage: ​ ​https://www.php.cn/link/1a725948eb0c738707b5c026a65ba618​​

Das Team hat Milliarden wissensbasierter Videos von Kuaishous gesammelt riesige kurze Videos und führe es aus verfügt über eine strukturierte Struktur und hat ein Video-Enzyklopädiesystem mit zig Millionen Einträgen und Wissenspunkten aufgebaut. Der Vorschlag von „Kuaipedia“ hilft der akademischen Gemeinschaft, KI zu fördern, um Weltwissen durch multimodale Informationen zu verstehen, und bietet großen Spielraum für die Umsetzung in der Industrie.

Einleitung

Enzyklopädie, die auf Griechenland und Rom zurückgeht, ist auch eine herausragende Errungenschaft der französischen Aufklärung im 17. und 18. Jahrhundert. Wissensenzyklopädie bezieht sich normalerweise auf ein Nachschlagewerk oder Kompendium, das das gesamte menschliche Wissen oder ein bestimmtes Gebiet oder Thema kurz vorstellt. Mit der rasanten Entwicklung des Internets ist die Online-Enzyklopädie zu einem neuen Wissensträger geworden, wie z. B. Wikipedia, Baidu-Enzyklopädie usw. Allerdings verwenden diese Enzyklopädien in der Regel Grafiken, Texte und Tabellen als Träger, was es schwierig macht, Wissen auszudrücken, das eine anschauliche Demonstration erfordert, wie etwa Tutorialwissen (How-to). Abbildung 1 zeigt das Dilemma, Bilder und Text zu verwenden, um das Wissen über „Shiba Inu“ – „wie man zeichnet“ zu vermitteln. Durch kurze Videos können wir dieses Wissen sehr gut erklären und erlernen.

Spezifische Videos finden Sie unter ​​https://www.php.cn/link/70e9dbe24ba303f2d25ac34d3ae945c5​​ .

Bild 1: Das Dilemma der Wissensvermittlung im How-to-Wissen mit Bild und Text, Bilder und Text stammen aus Frame-Screenshots von Kurzvideos

Mit der kontinuierlichen Weiterentwicklung der Content-Branche und der Medienformen sind Kurzvideos zunehmend zum Hauptmedium für Wissensvermittler geworden, insbesondere bei der Verbreitung von Wissen über bestimmte Fähigkeiten und Fachkenntnisse hat einige Vorteile. Obwohl es derzeit öffentliche Online-Enzyklopädien mit Videoinhalten gibt, handelt es sich meist um kurze Einführungen (z. B. Encyclopedia of Instant Understanding), und kurze Videos werden daher nicht optimal genutzt in Wissenslexika wird stark unterschätzt. Wenn zum Beispiel über „Shiba Inu“ gesprochen wird, achten die Leute neben der „Einleitung“ auch auf „wie man wählt“, „wie man die Haare kämmt“, „wie man den Lebensmittelschutz korrigiert“ usw. Daher glauben wir, dass die Strukturierung wissensbasierter Kurzvideos in einer strukturierten Kurzvideo-Enzyklopädie eine wirksame Möglichkeit ist, Weltwissen zu verstehen und Menschen dabei zu helfen, Wissen effizienter zu verbreiten.

Nationaler ReferenzstandardPopularwissenschaftliches Wissen # 🎜🎜#, die Fähigkeitskategorie (Wie) lässt sich auf reduzieren Tutorial-Wissen# 🎜🎜#, holen Sie sich hochwertige Wissensvideos aus Kuaishous umfangreichen Videos. Darüber hinaus verwenden wir den Hauptteil des aus dem kurzen Video extrahierten Wissens als Eintrag # 🎜🎜# Präsentiert in Form von (z. B. Shiba Inu) und extrahieren Sie die spezifischen Wissenspunkte# 🎜 erklärt im Video 🎜# (wie Shiba Inu-Selection, Shiba Inu-Food Care Correction usw.) stellt letztendlich ein enzyklopädisches Wissenssystem aus kurzen Videos dar, wie in gezeigt Abbildung 2.

Abbildung 2: Schnelles Wissen – Übersicht über multimodale Kurzvideo-Enzyklopädie

Der Vorschlag von „Kuaipedia“ hat folgende Beiträge:

#🎜🎜 ##🎜🎜 #Die Definition von „Quick Knowledge“

: Wir waren Vorreiter bei der Definition eines brandneuen Multis -modale Wissensenzyklopädie, bestehend aus Einträgen, Wissenspunkten, kurzen Wissensvideos und den Beziehungen zwischen ihnen. Dies ist die branchenweit erste strukturierte multimodale Kurzvideo-Enzyklopädie. So erstellen Sie eine umfangreiche Kurzvideo-Enzyklopädie

#🎜 🎜#: Wir schlagen vor, eine Kombination aus Wissensvideoerkennung, Entry Knowledge Point Mining und multimodalen Wissenslinks zu verwenden, um eine groß angelegte kurze Videoenzyklopädie aufzubauen. Und leistete Pionierarbeit bei der Aufgabe der „multimodalen Wissensverknüpfung“ als Erweiterung und Erweiterung der traditionellen Entitätsverknüpfung. Anwendungen voller Potenzial und Fantasie

#🎜🎜 #

: In akademischer Hinsicht verwendet „Kuaizhi“ eine brandneue Kurzvideo-Organisationsform von Wissenspunkten, die die Obergrenze der Fähigkeit der aktuellen Maschine, Weltwissen zu verstehen, nur durch die Verwendung grafischer Wissensgraphen (KG) durchbrechen kann ). In einigen nachgelagerten Aufgaben von KG besteht großes Potenzial für nachgelagerte Aufgaben wie Entitätsverknüpfung, Entitätsklassifizierung oder Inhaltsverständnis wie NLP und Lebenslauf. In der Branche können Formen wie „Kuaizhi“ dazu beitragen, dass Kurzvideoplattformen effizient funktionieren, Inhalte organisieren und das Wissensverständnis der Benutzer sowie die Konsumeffizienz verbessern. ​

Technische Übersicht#🎜 🎜 #

Um die obige kurze Video-Enzyklopädie-Struktur zu erreichen, umfasst die Kerntechnologie die folgenden drei Hauptschritte, wie in Abbildung 3 dargestellt.

Wissensvideoerkennung: #🎜 🎜#Wissensbasierte Videos in umfangreichen Videos durch multimodale Video-Pre-Training-Modelle verstehen und identifizieren;" „Top-down“ baut das Eintragssystem auf und dann „bottom-up“ baut die Beziehung zwischen Einträgen und Wissenspunkten auf, indem Benutzersuchanfragen ausgewertet werden, um einen Eintrags-Wissenspunktbaum zu bilden

； # 🎜🎜#Multimodaler Wissenslink: Innovation Es erweitert die traditionelle Aufgabe der „Entitätsverknüpfung“ auf kreative Weise und schlägt eine „multimodale Wissensverknüpfungs“-Aufgabe vor, die das Video mithilfe multimodaler Inhaltsverständnistechnologie mit einem bestimmten Wissenspunkt (z. B. Lebensmittelschutzkorrektur) des Eintrags (z. B. Shiba Inu) verknüpft .

Abbildung 3: Kuai Zhi Construction Technology Link# 🎜 🎜#

Durch eine große Anzahl detaillierter manueller Überprüfungen weisen die von KuaiZhi ermittelten Wissenspunkte und Videos eine hohe Genauigkeit und Qualität auf. Ausführlichere Algorithmen und experimentelle Daten finden Sie im Paper oder auf unserer Github-Homepage (siehe Anfang des Artikels).

​

APP

Erstens haben multimodale Kurzvideo-Enzyklopädiesysteme wie „Kuaipedia“ wesentlich zur technologischen Entwicklung des KI-Verständnisses des Weltwissens im akademischen Bereich beigetragen. Einerseits durchbricht „Quick Knowledge“ die Beschränkungen von Grafiken, Texten und Tabellen und beschreibt eine Entität oder ein Konzept durch umfangreichere Wissenspunkte und kurze Videos. Dieser Ansatz kann die Entwicklung der multimodalen Wissensgraphentechnologie fördern. Andererseits helfen diese Wissenspunkte und kurzen Videos der KI, das Weltwissen besser zu verstehen, insbesondere einige Anleitungswissen, die sich nur schwer in Bildern und Texten ausdrücken lassen. Diese Art von multimodalem Wissen kann das Verständnis der KI für die Welt verbessern Verbessern Sie das Verständnis der KI für die Welt. Nachgelagerte Anwendungen in KG, NLP, CV und anderen Bereichen sind sehr hilfreich. Bei der Aufgabe der CCKS-Entitätsverknüpfung haben wir bewiesen, dass die einfache Einführung von multimodalem Wissen mit „schnellem Wissen“ die Leistung von BERT bei der Entitätsverknüpfung und Entitätsklassifizierung effektiv verbessern kann.

Darüber hinaus ist „Kuaizhi“ sehr einfallsreich in seiner industriellen Umsetzung und im Prozess der Erweiterung der Kurzvideoökologie zu „ „Pan-Wissen“ Unter anderem schränkt die bestehende Form ihre Kommunikationsmethode ein. Durch strukturierte Inhalte kann „Kuaizhi“ die Betriebs- und Vertriebseffizienz der Plattform verbessern und den Wissensanforderungen der Benutzer besser gerecht werden. Wir haben zunächst versucht, diese Technologie in der Gesundheitskategorie zu implementieren. Das Team von Kuaishou Health hatte zuvor eine Reihe hochwertiger PUGC-Inhalte rein manuell unter Verwendung von Krankheitstypen als Organisationsdimension zusammengestellt. Es gab jedoch unvollständige Krankheitswissenssysteme und verlässliche Wissensvideos. Bei kleinen Schwachstellen ist es schwierig, effizient ein vollständiges, umfangreiches und strukturiertes Krankheitsvideosystem aufzubauen. Nach dem Einsatz der „Kuaizhi“-Technologie wird automatisch eine Reihe hochwertiger Wissenspunkte und Wissensvideos mit Kuaishou-Merkmalen abgebaut, was den Krankheitsinhalt bereichert und effektiver ist als eine rein manuelle Konstruktion

# 🎜 🎜#

zehnmal

. Derzeit wurde dieser Inhaltsstapel auf der ausgewählten Seite der Kuaishou-App gestartet: Klicken Sie auf die „untere Leiste“ eines krankheitsbezogenen Videos im ausgewählten Videostream, um die Halbbildseite „Kuaishou Health“ aufzurufen, und Benutzer können dies tun Konsumieren Sie verwandte Inhalte unter dem Eintrag, zu dem das Video gehört, und verwandte Wissensvideos sind in Abbildung 4 dargestellt. Bild 4: Kuai Zhi wird in der Gesundheitsszene umgesetzt#🎜🎜 ## 🎜🎜# Neben Gesundheit deckt „Kuaizhi“ auch Wissensinhalte in vielen Bereichen wie Bildung, Ernährung, Landwirtschaft, ländliche Gebiete und Landwirte, Eltern ab -Kind, Recht, Technologie, Finanzen usw. haben ein großes Anwendungspotenzial.

​

Fazit

Angesichts der Entwicklungsaussichten allgemeiner Wissensinhalte in der Kurzvideobranche haben wir das multimodale Kurzvideo-Enzyklopädiesystem „Kuaipedia“ vorgeschlagen beginnt mit dem riesigen Bestand an kurzen Videoinhalten, nutzt die Technologie zur Erstellung multimodaler Wissensgraphen, um Hunderte Millionen hochwertiger Wissensvideos zu durchsuchen, und strukturiert die Wissensinhalte, um die erste groß angelegte systematische Kurzvideo-Wissensbibliothek der Branche aufzubauen , das in Wissenschaft und Industrie über großes Potenzial und Fantasie verfügt.

​

Autorenvorstellung#🎜 🎜 #

Erster Autor: Pan Haojie

Kuaishou MMU Knowledge Map Center-Mitglied, KuaiZhi-Projektleiter, Abschluss von der Zhejiang University und der Hong Kong University of Science and Technology und war verantwortlich für groß angelegte NLP-Algorithmen und Frameworks bei Alibaba Cloud PAI. Er veröffentlichte mehr als 10 Artikel in Top-Konferenzen und Fachzeitschriften wie ACL, EMNLP, KDD, AIJ usw ., sowie mehrere inländische und US-amerikanische Patente. Weitere Informationen finden Sie unter Zhihu. Treten Sie Kuaishou im Jahr 2021 bei.

Korrespondierender Autor: Fu Ruiji

Er ist der Leiter des Kuaishou MMU Knowledge Graph Center. Er schloss sein Studium am Harbin Institute of Technology mit einem Abschluss ab Er verfügt über einen Bachelor-Abschluss, einen Master-Abschluss und einen Ph.D. und ist Postdoktorand an der Universität für Wissenschaft und Technologie Chinas. Er war einst stellvertretender Direktor des iFlytek AI Research Institute der HKUST und gewann den ersten Preis des Wu Wenjun Artificial Intelligence Technology Progress Award. Er hat zahlreiche wissenschaftliche Arbeiten auf internationalen Konferenzen und Fachzeitschriften wie ACL, EMNLP, Coling, IJCAI, TASLP usw. veröffentlicht und mehr als 40 nationale Erfindungspatente angemeldet (erhalten). Treten Sie Kuaishou im Jahr 2021 bei.

Kooperierender Lehrer: Liu Ming

Professor/Doktorvater, Fachbereich Informatik, Harbin Institute of Technology. Er leitete nacheinander zahlreiche Fondsprojekte wie das National Key R&D Program Project, die National Natural Science Foundation, den China Postdoctoral Science Foundation Special Grant, den China Postdoctoral Science Foundation General Grant First Class Grant und den Heilongjiang Provincial General Fund. Gewann den ersten Preis des Heilongjiang Province Science and Technology Award, der Harbin City Science and Technology Achievements und den ersten Preis der 6. National Youth Artificial Intelligence Innovation and Entrepreneurship Conference. In den letzten Jahren hat er als Erstautor oder korrespondierender Autor mehr als 20 CCFA/B-Artikel veröffentlicht, an der Herausgabe eines Lehrbuchs mitgewirkt und eines davon ins Englische übersetzt. Er fungiert als Knowledge Graph Field Chair von NLPCC2020, CCKS2020 und COLING2022, CCKS2019 Publishing Chair, CCKS2021 Evaluation Chair und CCKS2022 Workshop Chair.

Referenz

[1] Kuaishou, 2022 Kuaishou Pan Knowledge Inhaltlicher ökologischer Bericht.

[2] National Standards Committee: Knowledge Management Framework, GB/T 23703. # 🎜 🎜#

Das obige ist der detaillierte Inhalt vonKuaishou schlägt ein milliardenschweres multimodales Kurzvideo-Enzyklopädiesystem vor – Kuaipedia. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!