快手提出億級多模態短視訊百科體系－快知（Kuaipedia）

引言

當前，越來越多的短視頻用戶不僅希望利用碎片化的時間來休閒娛樂，也開始希望能夠在短視頻平台中獲取更多知識。 2021年，快手泛知識內容播放量年增58.11%，平台全年有超過3,300萬場泛知識直播 [1]。為了更好地理解和組織泛知識視頻，快手MMU聯合哈爾濱工業大學等提出業界首個多模態短視頻百科——“快知（Kuaipedia）”：通過多模態和知識圖譜技術從海量短視頻中挖掘大規模高品質的知識視頻，並將其結構化，形成體系化的短視頻百科知識庫，提供使用者更好的知識獲取體驗，同時激發創作者創造優質知識內容，建構良性的知識分享生態。

論文連結：## https://www.php.cn/link/b0da9d8dd88178e3bb138e08742eb2e2

##專案首頁：#專案主頁： ##https://www.php.cn/link/1a725948eb0c738707b5c026a65ba618

團隊從快手海量短視頻中挖掘出億級知識類視頻，並對其進行了結構化，構建了千萬級詞條和知識點視頻百科體系。 「快知（Kuaipedia）」的提出有助於學界推動AI透過多模態資訊理解世界知識，且在產業界落地有較大想像空間。 #####################介紹#############百科全書（Encyclopedia），可以追溯到希臘和羅馬，也是17- 18世紀法國啟蒙運動的一個傑出的成果。知識百科通常是指一個是概要介紹人類全部知識或某一特定領域或學科的工具書或綱要，在互聯網急速發展的當下，網絡百科成為知識新的載體，如維基百科、百度百科等。但這些百科通常以圖文、表格為載體，比較難以表達一些需要生動演示的知識，例如教程（How-to）類知識。圖一展示了使用圖文講述 “柴犬”-“怎麼畫” 這一知識的困境。而透過短視頻，我們能夠很好地對這些知識進行一個解釋和學習。 ##################具體影片請見###################https://www.php.cn /link/70e9dbe24ba303f2d25ac34d3ae945c5###################。 ###########################圖一：圖文在how-to類別知識上知識傳遞的困境，圖文來自短影片的幀截圖#########

隨著內容產業和媒體形態的不斷迭代，短影片已經越來越成為知識傳播者的主要媒介，尤其是在一些技能和特長類的知識傳播，天然就有它的一些優勢。而在當下，儘管有公開的網絡百科中有視頻的內容，但通常是偏簡介形式（如秒懂百科），沒有將短視頻最大程度的進行利用，因此短視頻在知識百科中的表達能力被嚴重低估。例如當人們講到“柴犬”，人們除了“簡介” 以外，還關注“怎麼挑”、“怎麼梳毛”、“怎麼糾正護食”等。因此我們認為將知識類的短影片結構化，構成結構化的短影片百科是一條理解世界知識、幫助人類以更高效率傳播知識的有效途徑。

參考國家標準#科普知識 ，技能（How）類別歸結為教程知識，在快手海量的影片中挖掘出高質的知識影片。此外，我們將短影片中抽取的知識主體以詞條形式呈現（如柴犬） ，並抽取影片中講解的該詞條具體的知識點（如柴犬-挑選、柴犬-護食糾正等），最終構成了一個短視頻的百科知識體系，如圖二所示。

圖二：快知－多模態短視訊百科概覽

#「快知（Kuaipedia）」的提出有以下幾個貢獻：

「快知」的定義：我們開創性地定義了一個全新的多模態知識百科庫，以詞條、知識點、知識類短視頻以及它們間的關係共同構成。這是業界首個結構化的多模態短視訊百科。

建立大規模短視頻百科的方法：我們提出使用知識視頻識別、詞條知識點挖掘、多模態知識連結的組合來建構大規模的短視頻百科。並開創性提出「多模態知識連結」任務，作為傳統實體連結的一個外延和擴展。

有潛力與想像空間的應用：在學術上，「快知」以嶄新的知識點短視頻化組織形式，能夠突破目前機器僅靠圖文知識圖譜（KG）理解世界知識的上限，在KG的一些下游任務如實體鏈接、實體分類，或者NLP、CV等內容理解下游任務上，有非常大的潛力。在產業界，「快知」這樣的形式能夠協助短視訊平台進行有效率地運作、組織內容，提升用戶對知識的理解與消費效率。

#技術概覽

為了實現上述的短視訊百科結構化，核心技術包括以下三個主要步驟，如圖三所示。

知識影片辨識：透過多模態影片預訓練模型，理解並辨識海量影片中知識類別影片；

詞條與知識點挖掘：#透過多源知識庫融合「自頂向下」建構詞條體系，再透過對使用者搜尋query挖掘「自底向上」建構詞條與知識點關係，形成詞條知識點樹;

多模態知識連結：創新地擴展傳統「實體連結」任務，提出透過多模態內容理解技術將影片連結到詞條（如柴犬）的某一個知識點（如護食糾正）上的「多模態知識連結」任務。

圖三：快知建構技術連結

透過大量詳實的人工評測，快知所挖掘的知識點與影片已具備較高的準確率與品質。更詳細的演算法和實驗數據具體參見論文或我們的Github主頁（見文章開頭）。

#應用

首先，「快知（Kuaipedia）」這樣的多模態短視頻百科體系，在學術界對於推動AI理解世界知識的技術發展有極大的潛力。一方面，「快知」突破圖文和表格的限制，透過更豐富的知識點和短視頻來描述某一個實體或概念，這種方式能夠推動多模態知識圖譜技術的發展。另一方面，這些知識點和短視頻有助於AI更好地理解世界知識，尤其是一些圖文難表述的How-to 類知識，這種多模態知識能夠增強AI對世界的理解，對KG、NLP、CV等領域的下游應用都很有幫助。我們在CCKS實體鏈指的任務上，證明「快知」多模態知識的簡單引入就能有效提升BERT在實體連結和在實體分類上的表現。

此外，「快知」在產業落地極具想像力，在短視頻生態向「泛知識」拓展的過程中，現有的形式約束了其傳播方式，「快知」透過結構化的內容，能提昇平台的營運與分送效率，更能滿足用戶的求知訴求。我們將該技術首先在健康垂類進行了落地嘗試，快手健康團隊此前以病種為組織維度，純人工挖掘了一批優質PUGC內容，但是存在疾病知識體係不完善、權威性知識視頻量級小等痛點，難以高效率建構完整、大規模、結構化的疾病錄影體系。利用「快知」的技術後，自動化地挖掘出了一批高質量、有快手特色的知識點和知識視頻，豐富了疾病類內容，比純人工構建提效#幾十倍。目前這批內容已經在快手App精選頁上線：點擊精選視頻流中某個疾病類視頻的“底部通欄”，喚起“快手健康”半屏頁，用戶可以消費該視頻所屬詞條下的相關知識點和相關知識視頻，如圖四所示。

圖四：快知在健康場景落地

除健康外，「快知」也涵蓋了教育、美食、三農、親子、法律、科技、金融等眾多領域的知識內容，有著較大的應用潛力。

結論

面對泛知識類內容在短視訊產業的發展前景，我們提出了「快知（Kuaipedia）」多模態短視訊百科體系，從存量的海量短視頻內容入手，透過多模態知識圖譜構建技術挖掘出億級別高質量的知識視頻，並將知識內容結構化，構建業界首個大規模體系化的短視頻百科知識庫，其在學術界和產業界有較大的潛力和想像空間。

#作者介紹

第一作者：潘浩傑

快手MMU知識圖譜中心成員，快知計畫負責人，本碩畢業於浙大和港科大，曾在阿里雲PAI負責大規模NLP演算法與框架，在ACL、EMNLP、KDD、AIJ等頂會頂刊中發表10餘篇論文，多項國內和美國專利，詳見知乎。 2021年加入快手。

通訊作者：付瑞吉

快手MMU知識圖譜中心負責人，本碩博畢業於哈工大，中科大博士後。曾擔任科大訊飛AI研究院副院長，獲吳文俊人工智慧科技進步獎一等獎。在ACL、EMNLP、Coling、IJCAI、TASLP等國際會議及期刊發表學術論文多篇，申請（取得）國家發明專利四十餘項。 2021年加入快手。

合作老師：劉銘

教授/博士生生導師，哈爾濱工業大學計算學部。先後主持國家重點研發計畫計畫議題、國家自然科學基金、中國博士後科學基金特別資助、中國博士後科學基金面上資助一等資助、黑龍江省面上基金等多項基金計畫。獲黑龍江省科學技術一等獎，哈爾濱市科技成果，第六屆全國青年人工智慧創新創業大會一等獎。近年來以第一作者或通訊作者發表CCFA/B類論文20餘篇，參編教材一部，英文譯作一部。擔任NLPCC2020、CCKS2020、COLING2022知識圖譜領域主席，CCKS2019出版主席、CCKS2021評測主席、CCKS2022講習班主席。

參考文獻

#[1] 快手，2022快手泛知識內容生態報告.

[2] 國家標準委員會：知識管理框架，GB/T 23703.

以上是快手提出億級多模態短視訊百科體系－快知（Kuaipedia）的詳細內容。更多資訊請關注PHP中文網其他相關文章！