Kuaishou는 10억 레벨의 다중 모드 단편 비디오 백과사전 시스템을 제안합니다 - Kuaipedia

소개

현재 점점 더 많은 단편 영상 사용자들이 단편적인 시간을 여가와 오락을 위해 활용하기를 희망할 뿐만 아니라 단편 영상 플랫폼에서 더 많은 지식을 얻기를 희망하기 시작했습니다. 2021년 Kuaishou의 범지식 콘텐츠 재생량은 전년 대비 58.11% 증가했으며, 플랫폼은 한 해 동안 3,300만 건 이상의 범지식 라이브 방송을 진행했습니다[1]. 범지식 비디오를 더 잘 이해하고 정리하기 위해 Kuaishou MMU는 Harbin Institute of Technology 및 다른 사람들과 협력하여 업계 최초의 다중 모드 짧은 비디오 백과사전인 "Kuaipedia"를 제안했습니다. "Kuaipedia"는 다중 모드 및 지식 그래프 기술을 사용하여 정보를 추출합니다. 대규모 단편 영상 중에서 대규모의 고품질 지식 영상을 채굴하고 이를 구조화하여 체계적인 단편 영상 백과사전 지식 베이스를 형성하여 사용자에게 더 나은 지식 습득 경험을 제공하고 창작자에게 영감을 주는 높은 창조 -양질의 지식 콘텐츠를 제공하고 건전한 지식 공유 생태계를 구축합니다.

문서 링크: ​​https://www.php.cn/link/b0da9d8dd88178e3bb138e08742eb2e2​ ​

프로젝트 홈페이지: ​ ​https://www.php.cn/link/1a725948eb0c738707b5c026a65ba618​​

팀은 Kuaishou'에서 수억 개의 지식 기반 비디오를 채굴했습니다. 대규모의 짧은 동영상과 공연을 선보입니다. 그것은 구조화된 구조를 가지고 있으며 수천만 개의 항목과 지식 포인트를 갖춘 비디오 백과사전 시스템을 구축했습니다. "Kuaipedia"의 제안은 학계가 다양한 형태의 정보를 통해 AI가 세계 지식을 이해하도록 장려하는 데 도움이 되며 업계에서 구현하기에 큰 상상력 공간을 제공합니다.

서문

그리스와 로마까지 거슬러 올라가는 백과사전 역시 17~18세기 프랑스 계몽주의의 뛰어난 성과입니다. 지식백과사전은 일반적으로 인간의 모든 지식이나 특정 분야나 주제를 간략하게 소개하는 참고서나 개요서를 일컫는다. 인터넷의 급속한 발전과 함께 온라인 백과사전은 위키피디아, 바이두백과사전 등 새로운 지식 전달 매체로 자리 잡았다. 그러나 이러한 백과사전은 일반적으로 그림, 텍스트, 표를 전달 수단으로 사용하므로 튜토리얼(How-to) 지식과 같이 생생한 시연이 필요한 일부 지식을 표현하기가 어렵습니다. 그림 1은 "시바견"에 대한 지식, 즉 "그림 그리는 방법"을 전달하기 위해 그림과 텍스트를 사용하는 데 따른 딜레마를 보여줍니다. 짧은 영상을 통해 우리는 이 지식을 아주 잘 설명하고 배울 수 있습니다. 특정 동영상의 경우

https : //www.php.cn/link/70e9dbe24ba303f2d25ac34d3ae945c5 를 참조하십시오.

그림 1: 그림과 텍스트가 포함된 노하우 지식 전달의 딜레마, 그림과 텍스트는 짧은 비디오의 프레임 스크린샷에서 나옵니다

콘텐츠 산업과 미디어 형식이 지속적으로 반복됨에 따라 짧은 비디오는 지식 전파자의 주요 매체가 되었으며, 특히 특정 기술과 전문성에 대한 지식을 전파하는 데 있어 당연히 몇 가지 장점이 있습니다. 요즘에는 동영상 콘텐츠를 담은 공개 백과사전이 있지만 대개 간략한 소개 형식(예: 즉각 이해 백과사전)을 갖고 있으며, 짧은 동영상은 최대한 활용되지 않습니다. 지식백과사전은 심각하게 과소평가되어 왔습니다. 예를 들어, 사람들은 '시바견'에 대해 이야기할 때 '소개' 외에 '선택 방법', '머리 빗는 방법', '식품 보호 교정 방법' 등에 주목합니다. 따라서 우리는 지식 기반의 짧은 비디오를 구조화된 짧은 비디오 백과사전으로 구성하는 것이 세계 지식을 이해하고 인간이 지식을 보다 효율적으로 전파하도록 돕는 효과적인 방법이라고 믿습니다.

국가표준 참조 대중과학지식, 스킬(How) 항목을 튜토리얼지식으로 요약 , 에서 파낸 Kuaishou의 방대한 동영상 고품질 지식 동영상. 또한, 짧은 영상에서 추출한 지식체를 entries(시바견 등) 형태로 제시하고, 해당 영상의 구체적인 지식포인트를 추출해 드립니다. 동영상 에 설명된 항목(예: 시바견 - 선택, 시바견 - 식품 보호 및 교정 등)은 그림 2와 같이 궁극적으로 짧은 동영상 백과사전 지식 시스템을 구성합니다.

그림 2: Kuaipedia - 다중 모드 단편 비디오 백과사전 개요

"Kuaipedia"의 제안은 다음과 같습니다:

"빠른"의 정의 지식": 항목, 지식 포인트, 짧은 지식 동영상 및 이들 간의 관계로 구성된 새로운 다중 모드 지식 백과사전을 개척했습니다. 이는 업계 최초의 구조화된 다중 모드 짧은 비디오 백과사전입니다.

대규모 단편 비디오 백과사전 구축 방법: 지식 영상 인식, 진입 지식 포인트 마이닝, 멀티모달 지식 링크를 조합하여 대규모 구축을 제안합니다. 짧은 비디오 백과사전. 그리고 전통적인 개체 연결의 확장과 확장으로서 "다중 지식 연결" 작업을 개척했습니다.

잠재력과 상상력이 풍부한 애플리케이션: 학문적으로 말하면 "Kuaizhi"는 지식 포인트의 새로운 짧은 비디오 구성 형식을 사용합니다. 그림과 텍스트에 의존(KG)은 세계 지식의 상한선을 이해하고 엔터티 연결, 엔터티 분류 또는 NLP 및 CV와 같은 콘텐츠 이해 다운스트림 작업과 같은 KG의 일부 다운스트림 작업에서 큰 잠재력을 가지고 있습니다. 업계에서는 'Kuaizhi'와 같은 형식을 통해 짧은 동영상 플랫폼을 효율적으로 운영하고 콘텐츠를 구성하며 사용자의 지식 이해와 소비 효율성을 향상시킬 수 있습니다.

​

기술 개요

위의 짧은 동영상 백과사전 구조를 구현하기 위한 핵심 기술은 그림 3과 같이 다음과 같은 세 가지 주요 단계를 포함합니다.

지식 비디오 인식: 다중 모드 비디오 사전 훈련 모델을 사용하여 대규모 비디오에서 지식 기반 비디오를 이해하고 식별합니다.

항목 및 지식 포인트 마이닝: 다중 소스 지식 기반의 통합을 통해 항목 시스템 "하향식"을 구축한 다음 사용자 검색 마이닝을 통해 "상향식" 항목 및 지식 구축 쿼리 포인트 관계, 용어 지식 포인트 트리 형성

다중 모드 지식 링크: 기존의 "엔티티 연결" 작업을 혁신적으로 확장하고 다중 모드 콘텐츠 이해 기술을 비디오는 항목(예: 시바견)의 특정 지식 포인트(예: 식품 보호 교정)에 연결되며, 이는 "다중 모드 지식 링크" 작업입니다.

그림 3: KuaiZhi가 기술 링크 구축

수많은 상세한 수동 평가를 통해 KuaiZhi가 채굴한 지식 포인트와 비디오는 높은 정확도와 품질을 갖습니다. 보다 자세한 알고리즘 및 실험 데이터는 논문이나 Github 홈페이지(글의 시작 부분 참조)를 참조하세요.

​

Application

우선, "콰이피디아"와 같은 다중 모드 단편 비디오 백과사전 시스템은 세계 지식을 이해하기 위한 AI 기술 개발을 촉진하는 데 중요한 역할을 했습니다. 학계에서는 잠재력이 크다. 한편, "빠른 지식"은 그래픽, 텍스트, 표의 한계를 뛰어넘고 보다 풍부한 지식 포인트와 짧은 비디오를 통해 개체나 개념을 설명합니다. 이러한 접근 방식은 다중 모드 지식 그래프 기술의 개발을 촉진할 수 있습니다. 반면, 이러한 지식 포인트와 짧은 동영상은 AI가 세계 지식, 특히 그림과 텍스트로 표현하기 어려운 일부 How-to 지식을 더 잘 이해하는 데 도움이 됩니다. KG, NLP, CV 및 기타 분야의 다운스트림 애플리케이션은 AI의 세계 이해를 향상시키는 데 매우 도움이 됩니다. CCKS 엔터티 연결 작업에서 우리는 "빠른 지식" 다중 모드 지식의 간단한 도입이 엔터티 연결 및 엔터티 분류에서 BERT의 성능을 효과적으로 향상시킬 수 있음을 입증했습니다.

또한, 업계에서 '콰이지'를 구현하는 것은 매우 상상력이 풍부합니다. 단편 영상 생태학이 '범지식'으로 확장되는 과정에서 기존 형식은 '콰이지'의 의사소통 방식을 제한합니다. 전문화된 콘텐츠는 플랫폼의 운영 및 유통 효율성을 향상시키고 사용자의 지식 요구를 더 잘 충족시킬 수 있습니다. 우리는 처음에 건강 카테고리에서 이 기술을 구현하려고 시도했습니다. Kuaishou Health 팀은 이전에 질병 유형을 조직적 차원으로 사용하여 고품질 PUGC 콘텐츠 배치를 채굴했지만 불완전한 질병 지식 시스템과 권위 있는 지식 비디오가 있었습니다. 작은 문제점으로 인해 완전하고 대규모이며 구조화된 질병 비디오 시스템을 효율적으로 구축하기가 어렵습니다. "Kuaizhi" 기술을 사용하면 Kuaishou 특성을 지닌 일련의 고품질 지식 포인트와 지식 비디오가 자동으로 채굴되어 질병 콘텐츠가 풍부해지고 순수 수동 구축보다 수십 배 더 효과적입니다 . 현재 이 콘텐츠 모음은 Kuaishou 앱의 선택한 페이지에 출시되었습니다. 선택한 비디오 스트림에서 질병 관련 비디오의 "하단 표시줄"을 클릭하면 "Kuaishou Health" 절반 화면 페이지가 표시되며 사용자는 다음을 수행할 수 있습니다. 동영상이 속한 항목 아래에서 관련 콘텐츠를 소비합니다. 지식 포인트 및 관련 지식 동영상은 그림 4에 표시됩니다.

사진 4: KuaiZhi는 건강 현장에서 구현됩니다.

"Kuaizhi"는 건강 외에도 교육, 식품, 농업, 농촌 및 농민, 부모-자녀, 법률, 기술, 금융 등 많은 분야의 지식 콘텐츠는 큰 응용 잠재력을 가지고 있습니다.

​

결론

단편 영상 산업의 일반 지식 콘텐츠 발전 전망에 직면하여, 우리는 단편 영상 콘텐츠의 방대한 재고에서 시작하여 다중 모드를 통해 "콰이피디아" 다중 모드 단편 비디오 백과사전 시스템을 제안했습니다. 동적 지식 그래프 구축 기술은 수억 개의 고품질 지식 영상을 마이닝하고 지식 콘텐츠를 구조화하여 업계 최초의 대규모 체계적 단편 영상 백과사전 지식 베이스를 구축하며, 이는 학계와 산업계 상상력에 큰 잠재력을 갖고 있습니다.

​

저자 소개

제1저자: Pan Haojie

Kuaishou MMU 지식 그래프 센터 회원, KuaiZhi 프로젝트 리더, 절강대학교 졸업 홍콩대학교 학사 및 석사 학위를 취득한 그는 Alibaba Cloud PAI에서 대규모 NLP 알고리즘 및 프레임워크를 담당했으며 ACL, EMNLP, KDD, AIJ 등과 같은 최고의 컨퍼런스 및 저널에 10개 이상의 논문을 발표했습니다. 자세한 내용은 Zhihu를 참조하세요. 2021년에는 Kuaishou에 합류하세요.

교신저자: Fu Ruiji

Kaishou MMU 지식 그래프 센터 소장. 하얼빈 공과대학에서 학사, 석사, 박사 학위를 취득했으며, 대학에서 박사후 연구원입니다. 중국 과학기술부. 그는 한때 HKUST의 iFlytek AI 연구소 부소장을 역임했으며 Wu Wenjun 인공 지능 기술 발전상에서 1등상을 받았습니다. ACL, EMNLP, Coling, IJCAI, TASLP 등 국제학술대회 및 저널에 다수의 학술논문을 발표하였고, 40개 이상의 국내발명특허를 출원(취득)하였습니다. 2021년에는 Kuaishou에 합류하세요.

협력교사: Liu Ming

하얼빈공업대학 컴퓨터학과 교수/박사 지도교수. 그는 국가 핵심 R&D 프로그램 프로젝트, 국가 자연과학 재단, 중국 박사후 과학 재단 특별 보조금, 중국 박사후 과학 재단 일반 보조금 1등급 보조금, 헤이룽장성 일반 기금 등 많은 기금 프로젝트를 연속적으로 주재했습니다. 흑룡강성 과학기술상 1등상, 하얼빈시 과학기술 성과상, 제6회 전국 청년 인공지능 혁신 및 기업가 정신 대회 1등상을 수상했습니다. 최근에는 20편 이상의 CCFA/B 논문을 제1저자 또는 교신저자로 출판했으며, 1권의 교과서 편집에 참여하고, 1권의 영어 번역을 맡았다. NLPCC2020, CCKS2020, COLING2022의 지식 그래프 분야 의장, CCKS2019 출판 의장, CCKS2021 평가 의장, CCKS2022 워크숍 의장을 맡고 있다.

참고자료

[1] Kuaishou, 2022 Kuaishou 범지식 콘텐츠 생태 보고서.

[2] 국가 표준 위원회: 지식 관리 프레임워크, GB/T 23703.

위 내용은 Kuaishou는 10억 레벨의 다중 모드 단편 비디오 백과사전 시스템을 제안합니다 - Kuaipedia의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!