小紅樹の「草を植える」メカニズムが初めて解読される：大規模な深層学習システム技術がどのように適用されるか

AI が主導する新世代の情報技術は、科学技術の新たな波を引き起こしています。近年、中国で最も急速に発展しているモバイル インターネット プラットフォームの 1 つである Xiaohongshu は、その勢いを利用し、現在、グラフィック、テキスト、短いビデオ コンテンツに焦点を当てた非常に大規模な UGC コミュニティを形成しています。このユニークで活発なコミュニティでは、膨大なマルチモーダル データとユーザー行動のフィードバックが毎日生成され、貴重かつ困難な新たな問題が生じています。

現在、大規模な深層学習システムで多くのエキサイティングな開発が行われています。 10月15日に開催されたイベント「小紅樹REDtech Youth Technology Salon」イベントで、Technology Cageの小紅樹副社長は「小紅樹における大規模深層学習システム技術とその応用」を共有し、LarCを披露しました。

ケージ: 小紅書技術担当副社長、上海交通大学卒業、かつては環居時報技術担当副社長、百度鳳潮のチーフアーキテクトを務め、百度検索広告CTR機械学習アルゴリズムを担当仕事。彼はかつて、IBM Deep Question Answering (DeepQA) プロジェクトの中国技術リーダーを務めていました。

以下の内容はケージ氏の現地レポートを基にまとめたものです

1. 小紅書事業概要

実生活経験の共有

Xiaohongshu は、人生を理解し、共有することを愛する多くの人々がお互いの人生経験や態度を交換し、さらに多くの人々を魅了し続ける急成長中のコンテンツ コミュニティです。ますます多くのユーザーが参加しています。現在、Xiaohongshu の月間アクティブユーザー数は 2 億人で、その 70% 以上が 1990 年代生まれで、ユーザーの 50% は 1 級都市と 2 級都市、残りの半分は 3 級都市と 4 級都市の出身です。ユーザーの多くは非常に裕福で若いです。

「普通の人々」が「本当の」「人生経験」を共有しているという点が、Xiaohongshu と他のコンテンツ プラットフォームやコミュニティとの大きな違いです。第一に、共有者は「一般人」であること、第二に、「誠実な共有と友好的な交流」が小紅書コミュニティの慣例であり、「誠実さ」は非常に重要なポイントです。これらのコミュニティでの共有は、トレジャーブックストアのようなオフラインの生活消費、または服装、飾り方、料理の仕方など、誰もが日常的に行う「生活経験」と密接に関係しています。

また、いくつかの数字を使用して、Xiaohongshu コミュニティの長年にわたる発展を測定することもできます。ノートのリリース数が毎年非常に高い割合で増加していることがわかります。その速度は急速に伸びており、2020年から2021年にかけて小紅書ユーザーが公開したノートの数は前年比150%以上増加しました。

コミュニティ、商用化、電子商取引の 3 つの主要事業

このように急速に発展するコンテンツ コミュニティにおいて、最も重要な 3 つのビジネスは、コミュニティ、商業化、電子商取引です。

まず第一に、当社のコンテンツ コミュニティおよびコンテンツ プラットフォームは、すべてのライフ カテゴリ (

主に UGC) をカバーするライフスタイル コンテンツ コミュニティです。また、こうした生活や日常消費に寄り添った「誠実な共有」により、コミュニティコンテンツに対するユーザーの信頼も高く、良いライフスタイルや消費者向けコンテンツ、サービスや商品などを目にしたとき、誰もが「シード」されることになります。 「草」、当社は独自の「草を植える」ビジネスモデルでブランドと効果の変革を実現します。 「草を植えたら抜いてくれる？」コンテンツを消費しながら、好きなアイテムも自然に、そして便利に買えるようにしたい、これが私たちの

効率的なクローズドループ消費フィールド#です。 ##、つまり電子商取引の部分です。

2. 小紅樹の技術的課題

マルチモーダル技術は、広く注目を集めている技術の方向性の 1 つであり、AI 分野全体で急速に発展しています。テキスト、ビデオ、テキスト、およびユーザーの行動情報は、大量の高品質のマルチモーダル データを生成するため、優れた実用的なシナリオになります。ユーザーは、優れたコンテンツを見たとき、さまざまな検索行動を実行したとき、特定のビデオを視聴したときなどに好感を持ちます。これらは実際のユーザーからの大量のフィードバックを構成します。

現在、ユーザーの行動を通じて毎日実際に生成されるフィードバック サンプルの数は数百億に上ります。

大規模なマルチモーダル データからユーザーの関心のあるコンテンツと優れた商用コンテンツをマイニングする方法

この目標から出発して、多くの貴重かつ困難な問題が導き出されます。

これらのテクノロジをどのように解決するか:

数千人向けのリアルタイム レコメンデーション システム

Xiaohongshu を開くと、最初に目に入るのはウォーターフォール フローまたはコンテンツ フローです。 all レコメンドシステムにより皆様にお勧めするコンテンツです。統計によると、Xiaohongshu は毎日数百億のユーザー アクションを生成します。このデータに対して、Xiaohongshu の技術チームは LarC に基づく機械学習フレームワークを使用してモデルをトレーニングし、ユーザーの行動ルールに基づいて、ユーザーが興味のあるコンテンツを見つけてユーザーに推奨します。

下の図は、Xiaohongshu 推奨モデルの一般的な構造を示しています。これは、ユーザーのクリック数、滞在時間、いいねをするか収集するかなどを予測できるマルチタスク機械学習モデルです。 Xiaohongshu プラットフォームによって生成される大量の係数パラメータを考慮して、Xiaohongshu は非常に大規模な競合のないパラメータ サーバーを通じてこれらのパラメータを更新およびキャプチャします。

推奨システムのオンライントレーニングは以下の通りです。ユーザーが情報フローを閲覧すると、レコメンデーション システムはユーザーの閲覧、クリック、いいね! などの行動をリアルタイムでキャプチャし、これらの行動は Flink のリアルタイム処理コンピューティング エンジンに基づいて結合され、高性能サンプルが生成されます。予測のためにリアルタイムでモデルに送信されます。同時に、これらの短期間に蓄積されたサンプルは、モデル パラメーターを更新するための非常に短いオンライン トレーニングにも使用されます。これらの更新されたモデル パラメーターは、次のリクエストに対応するために直ちにオンラインで公開されます。プロセス全体は数分以内に完了します。

#業界では古典的な質問もあります。たとえば、人々がおすすめのコンテンツを閲覧すると、「なぜ前に見たことがあるコンテンツが集中的にプッシュされているのですか?」ということがよくあります。視聴しているコンテンツが十分に新鮮でない場合はどうすればよいですか?

推奨シナリオでは、より短い期間に焦点を当てると、追跡と情報の繭化という深刻な問題が発生します。Xiaohongshu の技術チームは、長期と短期の多様化を懸念しています。ユーザーの用語行動 さまざまなシーケンス モデリング手法が設計され、多面的に大幅な改善がもたらされました。さらに、コンテンツ推奨の多様性問題に関して、Xiaohongshu の技術チームは、従来の多様性アプローチを DPP から SSD アルゴリズムに改善し、情報フロー推奨シナリオのスライディング ウィンドウを効率的に計算し、単一記事モデルの価値ランキングを変革しました。閲覧サイクル全体。これが依存しているのは、ロングテール コンテンツの類似性を学習するツイン ニューラル ネットワークです。

私たちは、KDD 2021 カンファレンスで関連する研究結果を発表しました。これは、単一の論文の価値の推定からシーケンスの価値の推定に、また単一の論文の多様性から、舞台裏では、SSD アルゴリズムと、このツイン ニューラル ネットワークに基づくコンテンツの類似性の評価にも基づいています。

マルチモーダル汎用生活検索エンジン

小紅書コミュニティには実生活で非常に役立つ情報が大量に含まれているため、多くのユーザーが小紅書を参照します。検索エンジンとして。これには、複数のデータ形式での検索、深刻なロングテール現象、意図の理解の問題など、いくつかの課題が含まれます。

既存の画像検索エンジンやテキスト検索エンジンでもテキストから画像を検索できますが、その方法は比較的単純で、通常は画像にテキストのタグを付けてからテキストを照合します。 Xiaohongshu チームによって構築された次世代のマルチモーダル パンライフ検索エンジンは、マルチモーダル コンテンツの深い理解に基づいており、画像、テキスト、およびテキストを通じてビジュアル コンテンツを真に検索でき、さらに多くのコンテンツを作成することもできます。ユーザーの特性に基づいたパーソナライズされた検索。

パンライフナレッジ検索エンジンとは何ですか?たとえば、Xiaohongshu で素敵な服や靴を見て、その組み合わせやさまざまな状況でどのように見えるかを検索したいとします。これは人生の知識の探求であり、複合的な探求でもあります。

これは、Xiaohongshu 技術チームによって計画されたマルチモダリティ、特に画像検索などの技術アーキテクチャを示しています。最も重要な依存関係の 1 つは、大規模なニューラル ネットワークへの依存を必要とする機能マルチモジュールです。表現学習を行うには、衣服、靴、その他の商品など、写真に含まれるコンテンツを適切に表現できます。大量のマルチモーダル コンテンツから同じ商品や類似商品を検索するのは非常に優れており、これは当社の大規模ニューラル ネットワークの検索への応用です。

AI はより独創的な商業コンテンツを生成します

他のプラットフォームと比較して、Xiaohongshu の商業コンテンツには大きな違いがあります。それは独自の生化学です。いわゆるネイティブ化とは、「いいね！」やコメントなどの行動の観点から、ユーザーがコンテンツを非常に高く評価しており、商用コンテンツであるとはまったく感じない可能性があることを意味します。しかし、プラットフォーム上の販売者にとって、そのような商業コンテンツを制作する敷居は非常に高いです。販売者のビジネス上の意図と、制作されたコンテンツのユーザー価値とのバランスをいかに取るかが重要な課題です。

この目的を達成するために、Xiaohongshu 技術チームは大規模なニューラル ネットワークに基づく生成テクノロジーを使用して、販売者がコンテンツに基づいてより良いタイトルとコンテンツを生成できるように支援します。たとえば、販売者は複数のセールス ポイントを表現することを選択したり、ターゲットの顧客グループやお気に入りの小紅書スタイルを強調したりすることを選択できます。機械が自動的に提案するタイトルを提示します。機械が作成したタイトルを引用した後、ビジネス効果に関係なく、クリック数や滞在時間も大幅に向上しており、ユーザーからもこの手のコンテンツは非常に好まれており、ビジネス価値とユーザー価値のバランスが取れています。

これは実際には、業界をリードする T5、BERT、GPT、その他のモデル アーキテクチャを含む大規模な事前トレーニング モデルに基づいています。これらのモデル アーキテクチャはすべて Xiaohonshu で利用できます。マルチモーダルデータでトレーニングされました。事前学習済みモデルの一部はメモの内容を理解するために使用され、事前学習済みモデルの一部は生成モデルを誘導してタイトルを生成するために使用され、関連する技術がビジネス分野でどのように適用されるかがわかります。

#大規模な機械学習プラットフォーム

上記のすべての機械学習コンテンツは、実際には小規模なプラットフォームに基づいています。 LarC 機械学習プラットフォームは、Red Book 技術チームによって自社開発されました。 2019 年に開始され、2020 年から 2021 年までに、関連する機械学習フレームワークとプラットフォームが検索、レコメンデーション、広告などのあらゆる分野に推進されました。 2022 年には LarC がプラットフォームになります。

現在、LarC 機械学習プラットフォームの機能は非常に完成しており、基盤となるインフラストラクチャからコンピューティング フレームワーク、リソース スケジューリング、オフライン アプリケーション、オンライン デプロイメント (入札 黄色の部分は実現済みを表します。

Xiaohongshu 技術チームは、LarC 機械学習プラットフォームの助けを借りて、すべてのアルゴリズム学習者が大量のデータを迅速かつ効率的に処理し、大規模な機械学習および深層学習モデルをトレーニングできるようにしたいと考えています。 。

3. 概要

Xiaohongshu は、「普通の人々」、「リアルな共有」、「人生経験」をキーワードに、急速に発展しているコンテンツ コミュニティです。

大量のマルチモーダル データとユーザー フィードバック データを伴うこのようなシナリオでは、多くの最先端テクノロジーの探求が生まれています。上記は、膨大な技術成果の中からいくつかのポイントを抜粋してご紹介しましたが、実際にはさらに多くの内容があり、Xiaohongshu のテクノロジーとそれを使った大規模ディープラーニングについて理解していただければ幸いです。

以上が小紅樹の「草を植える」メカニズムが初めて解読される：大規模な深層学習システム技術がどのように適用されるかの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。