Kuaishou が 10 億レベルのマルチモーダル短編ビデオ百科事典システムを提案 - Kuaipedia

はじめに

現在、ますます多くのショートビデオユーザーが、断片的な時間を余暇や娯楽に使いたいと願うだけでなく、プラットフォームでより多くの知識を得るために短いビデオを使用できます。 2021 年、Kuaishou の汎ナレッジ コンテンツの再生量は前年比 58.11% 増加し、このプラットフォームでは年間を通じて 3,300 万回を超える汎ナレッジのライブ ブロードキャストが行われました [1]。汎知識ビデオをよりよく理解して整理するために、Kuaishou MMU はハルビン工業大学などと協力して、業界初のマルチモーダル短編ビデオ百科事典「Kuaipedia」を提案しました。マルチモーダルおよびナレッジ グラフ技術を使用して情報を抽出します。大量の短いビデオから中大規模で高品質のナレッジビデオをマイニングし、それらを構造化して体系的な短いビデオ百科事典ナレッジベースを形成します 、ユーザーに優れた知識獲得エクスペリエンスを提供すると同時に、クリエイターに高品質の知識コンテンツを作成し、健全な知識共有エコシステムを構築するよう促します。

論文リンク: https ://www.php.cn/link/b0da9d8dd88178e3bb138e08742eb2e2

##プロジェクトホームページ: ##https://www.php.cn/link/1a725948eb0c738707b5c026a65ba618 チームは、Kuaishou の巨大な短いビデオから数億のナレッジ ビデオをマイニングして構造化し、数千万のエントリとナレッジ ポイントからなるビデオ百科事典システムを構築しました。 「Kuaipedia」の提案は、学界がマルチモーダル情報を通じて世界の知識を理解する AI を促進するのに役立ち、業界での実装に大きな想像力の余地をもたらします。

はじめに

ギリシャとローマに遡る百科事典も 17 年目です - 素晴らしい成果です18世紀のフランス啓蒙思想。知識百科事典は通常、人類のあらゆる知識、または特定の分野や主題を簡潔に紹介する参考書や大要録を指しますが、インターネットの急速な発展に伴い、オンライン百科事典はウィキペディアや百度百科事典などの新しい知識の媒体となっています。しかし、これらの百科事典は通常、写真、テキスト、表を媒体として使用しているため、チュートリアル (ハウツー) 知識など、鮮やかなデモンストレーションが必要な一部の知識を表現することが困難です。図1は、「柴犬」の知識「描き方」を絵と文章で伝えることのジレンマを示しています。短いビデオを通じて、この知識を非常によく説明し、学ぶことができます。

特定のビデオを参照してください。

https://www.php. cn /link/70e9dbe24ba303f2d25ac34d3ae945c5 。

図 1: 画像とテキストを使用したハウツー知識における知識伝達のジレンマ、画像とテキストは次のようなものから来ています。短いビデオ フレームのスクリーンショット

コンテンツ産業とメディア形式の継続的な反復により、特に一部のスキルや専門知識に関する知識の普及において、短いビデオが知識の普及者にとっての主要なメディアとなってきています。利点。現在、ビデオコンテンツを含むオンライン百科事典は公開されていますが、それらは概して短い紹介の形式（瞬間理解大辞典など）であり、短いビデオが最大限に活用されていないため、短いビデオの表現力は不十分です。知識百科事典では過小評価されています。例えば、「柴犬」について語るとき、人々は「紹介」に加えて、「選び方」「毛のとかし方」「食事の守り方」などにも注目します。したがって、知識ベースの短いビデオを構造化された短いビデオ百科事典に構造化することは、世界の知識を理解し、人間がより効率的に知識を広めるのに役立つ効果的な方法であると私たちは信じています。

#参考国家基準 一般的な科学知識 、スキル (方法) カテゴリは、Kuaishou の膨大なビデオの ##チュートリアルの知識 に要約されます。高品質の知識ビデオをご覧ください。さらに、短いビデオから抽出した一連の知識を entries (柴犬など）、ビデオで説明されている特定の 知識ポイント を抽出します（柴犬など）犬の選択、柴犬 - 食品の保護と矯正など）、図 2 に示すように、最終的には短いビデオ百科事典の知識システムが形成されます。

図 2: クイックナレッジ - マルチモーダルショートビデオ百科事典の概要

「Kuaipedia」の提案には次の貢献があります:

#「Kuaipedia」の定義

: 私たちは、エントリ、知識ポイント、知識ベースの短いビデオ、およびそれらの間の関係に基づいた、新しいマルチモーダル知識百科事典を開拓しました。これは、業界初の構造化されたマルチモーダルな短編ビデオ百科事典です。

大規模な短編ビデオ百科事典を構築する方法

: 私たちは次のような使用法を提案します。ナレッジビデオの認識、エントリナレッジポイントマイニング、およびマルチモーダルナレッジリンクの組み合わせを使用して、大規模な短いビデオ百科事典を構築します。そして、従来のエンティティリンクの拡張および延長として「マルチモーダル知識リンク」というタスクを開拓しました。 #可能性と想像力に満ちたアプリケーション

: 学術的には「速い「知識」」は、まったく新しい短いビデオ構成形式のナレッジ ポイントを使用しており、グラフィック ナレッジ グラフ (KG) のみに依存することで、現在の機械による世界の知識の理解の上限を突破できます。エンティティのリンクなど、KG の下流タスクの一部では、 、エンティティ分類、または NLP、CV など。コンテンツ理解の下流タスクに大きな可能性を秘めています。業界では、「Kuaizhi」などのフォームは、短編ビデオ プラットフォームの効率的な運用、コンテンツの整理、ユーザーの知識の理解と消費効率の向上に役立ちます。

#技術概要

##上記の短いビデオ百科事典の構造を実現するため、コア技術には図 3 に示すように次の 3 つの主要なステップが含まれます。

ナレッジビデオ認識:

マルチモーダルビデオ事前トレーニングモデルを通じて、大量の動画の中から知識ベースの動画を理解して特定する;

マイニング エントリとナレッジ ポイント: マルチソースのナレッジの統合を通じて、エントリ システムを「トップダウン」で構築します。ベースを作成し、次に「ボトムアップ」でユーザー検索クエリをマイニングして、エントリ ナレッジ ポイント ツリーを形成することで用語とナレッジ ポイント間の関係を構築します。#;

##マルチモーダルナレッジリンク: 従来の「エンティティリンク」タスクを革新的に拡張し、マルチモーダルコンテンツ理解を通じてビデオを単語にリンクすることを提案します。記事（柴犬など）の特定の知識点（食品保護修正など）に関する「マルチモーダル知識リンク」タスク。

#図 3: クイック ナレッジ構築テクノロジのリンク

##KuaiZhi が採掘したナレッジ ポイントとビデオは、多数の詳細な手動評価を通じて、高い精度と品質を備えています。より詳細なアルゴリズムと実験データについては、論文または Github ホームページ (記事の冒頭を参照) を参照してください。

##まずはお申し込みください

とりわけ、「Kuaipedia」のようなマルチモーダルな短編ビデオ百科事典システムは、世界の知識を理解するための AI テクノロジーの開発を促進するために、学界において大きな可能性を秘めています。一方、「Quick Knowledge」は、グラフィック、テキスト、表の制限を打ち破り、より豊富なナレッジポイントと短いビデオを通じてエンティティや概念を説明し、マルチモーダルナレッジグラフテクノロジーの開発を促進します。一方で、これらの知識ポイントと短いビデオは、AI が世界の知識、特に写真やテキストで表現するのが難しい一部のハウツー知識をより深く理解するのに役立ちます。この種のマルチモーダルな知識は、AI の世界に対する理解を強化し、 AI による世界の理解を向上させるため、KG、NLP、CV、その他の分野の下流アプリケーションが非常に役立ちます。 CCKS エンティティ リンクのタスクに関して、「クイック ナレッジ」マルチモーダル知識の簡単な導入により、エンティティ リンクとエンティティ分類における BERT のパフォーマンスが効果的に向上できることを証明しました。

さらに、業界での「Kuaizhi」の実装は非常に想像力に富み、ショートビデオの生態を「汎知識」に拡張する過程で、 「Kuaizhi」は、コミュニケーション方法を制限することで、構造化されたコンテンツを通じてプラットフォームの運営と配布の効率を向上させ、ユーザーの知識に対する要求をより適切に満たすことができます。私たちは最初にこのテクノロジーを健康カテゴリーに実装しようとしました. Kuaishou Health チームは以前、疾患の種類を組織的側面として使用して純粋に手動で高品質の PUGC コンテンツのバッチをマイニングしていました. しかし、疾患の知識システムとレベルに不完全さがありました小さな問題点があるため、完全で大規模で構造化された疾患ビデオ システムを効率的に構築することは困難です。 「Kuaizhi」のテクノロジーを使用すると、Kuaishou の特徴を備えた高品質のナレッジ ポイントとナレッジ ビデオのバッチが自動的にマイニングされ、疾患のコンテンツが充実し、純粋に手動で構築するよりも効率的になります。

何十回も

。現在、このコンテンツのバッチは、Kuaishou アプリの選択したページで開始されています。選択したビデオ ストリーム内の疾患関連ビデオの「下部バー」をクリックすると、「Kuaishou Health」の半画面ページが呼び出され、ユーザーは次のことを行うことができます。ビデオが属するエントリの下にある関連コンテンツを消費します。ナレッジ ポイントと関連ナレッジ ビデオを図 4 に示します。 #図 4: Kuai Zhi は医療現場に導入されています

「快志」は健康だけでなく、教育、食、農村・農民、親子、法律、テクノロジー、金融など多分野の知識内容を網羅しており、応用可能性が高い。 。

結論

ショートビデオ業界における一般知識コンテンツの発展の見通しに直面して、私たちはマルチモーダルショートビデオ百科事典システム「Kuaipedia」を提案しました。ビデオ コンテンツでは、マルチモーダル ナレッジ グラフ構築技術を通じて数億の高品質ナレッジ ビデオをマイニングし、知識コンテンツを構造化して、業界初の大規模で体系的な短いビデオ百科事典の知識ベースを構築しました。これは学術界で非常に重要です。 . 世界と業界には大きな可能性と想像力の余地があります。

著者紹介

筆頭著者: Pan Haojie

Kuaishou MMU ナレッジ グラフ センターのメンバー、KuaiZhi プロジェクトのリーダー、浙江大学と香港科学技術大学を卒業し、学士号を取得しました。修士号を取得し、Alibaba Cloud PAI およびフレームワークで大規模な NLP アルゴリズムを担当し、ACL、EMNLP、KDD、AIJ などのトップカンファレンスやジャーナルで 10 以上の論文を発表し、国内および米国で多数の特許を取得しました。 、詳細については、Zhihuを参照してください。 2021年にクアイショウに参加します。

対応著者: Fu Ruiji

彼は、Kuaishou MMU Knowledge Graph Center の所長であり、ハルビン工業大学を卒業し、学士号、修士号、博士号を取得しました。 .D. であり、中国科学技術大学の博士研究員です。彼はかつて香港科学技術院 iFlytek AI 研究所の副所長を務め、呉文軍人工知能技術進歩賞の最優秀賞を受賞しました。彼は、ACL、EMNLP、Coling、IJCAI、TASLP などの国際会議やジャーナルに多くの学術論文を発表し、40 件を超える国内発明特許を申請 (取得) しています。 2021年にクアイショウに参加します。

協力教員: Liu Ming

ハルビン工業大学コンピューティング学科教授/指導教員。彼は、国家重点研究開発プログラムプロジェクト、国家自然科学財団、中国博士研究員科学財団特別助成金、中国博士研究員科学財団一般助成金第一級助成金、黒竜江省一般基金などの多くの基金プロジェクトを歴任して主宰してきました。黒竜江省科学技術賞、ハルビン市科学技術功績賞、第6回全国青少年人工知能イノベーション・起業家会議の一等賞を受賞。近年では、筆頭著者または責任著者として 20 を超える CCFA/B 論文を出版し、1 冊の教科書の編集に参加し、1 冊を英語に翻訳しました。 NLPCC2020、CCKS2020、COLING2022のナレッジグラフフィールドチェア、CCKS2019出版チェア、CCKS2021評価チェア、CCKS2022ワークショップチェアを務める。

#参考文献

[1] Kuaishou、2022年Kuaishou汎知識コンテンツ エコシステム レポート。

[2] 国家標準委員会: 知識管理フレームワーク、GB/T 23703。

以上がKuaishou が 10 億レベルのマルチモーダル短編ビデオ百科事典システムを提案 - Kuaipediaの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。