今後、どのように情報検索を行っていくのでしょうか？

ゲスト | ドゥ・ジチェン

企画 | 張鳳

企画 | 徐潔誠

# 検索エンジンが誕生してから 20 年以上が経ちますが、その形式や構造はあまり変わっていません。インターネット技術の継続的な発展により、今後の検索環境はより複雑かつ多様化し、ユーザーの情報入手方法も大きく変化し、単純なキーワードに代わって自然言語、音声、視覚などの多様な入力形式が登場することは避けられません。 ; 回答、高度な知識、分析結果、生成されたコンテンツなどの複数のモーダル コンテンツ出力が、単純な結果リストを置き換えます。インタラクション方法も、単一ラウンドの検索から複数ラウンドの自然言語インタラクションに移行する可能性があります。

それでは、新しい検索環境において、将来のインテリジェント検索テクノロジーはどのような特徴を示すのでしょうか?最近、51CTO が主催する AISummit Global Artificial Intelligence Technology Conference で、ヒルハウス人工知能大学院副学部長の Dou Zhicheng 氏は次のように述べました。中国人民大学「次世代インテリジェント検索技術」の基調講演を通じて、新世代インテリジェント検索技術の開発動向と核となる機能を聴衆と共有するとともに、インタラクティブ、マルチモーダル、説明可能な検索を実現、大規模モデル中心のインデックス解除検索やその他のテクノロジーが詳細に分析されています。この記事は、皆様に新たなインスピレーションをもたらすことを願って、Dou Zhicheng 氏のスピーチの内容を編集、整理したものです。

今後の検索の主な特徴

私たちは、将来の検索には少なくとも次の 5 つの特性がある可能性があります:

• 会話型、人々と検索エンジンは自然言語による複数ラウンドの対話です。
• パーソナライゼーション、 は、型にはまった方法で全員に同じ結果を与えるのではなく、さまざまなユーザーのニーズに応じてさまざまな結果をフィードバックします。
• マルチモーダル、返されるコンテンツと入力方法は、媒体または方法としてテキストを使用することに限定されない場合があります。
• 豊富な知識、 検索によって返される情報は、結果リストの形式だけでなく、さまざまな表示形式、さまざまな知識、物理的に表示されます。
• インデックスの削除,転置インデックスまたは密インデックスも、早急に大きな変更を加える必要があります。

会話型

今日の検索エンジンで一般的に使用されているモードは、ボックスに 1 つまたは 2 つの単語を入力して検索することです。将来の検索には、会話形式で検索エンジンと対話することが含まれる可能性があります。

従来の検索エンジンで使用されているキーワード検索方法では、キーワードを通じて探しているすべての核となる情報を記述したいと考えています。つまり、単一のクエリで完了し、この情報の必要性を正確に表現してください。しかし、より複雑な情報を表現する場合、キーワードではニーズを満たすのが実際には困難です。会話型検索では、複数回の対話を通じて情報ニーズを完全に表現できます。これは、人々がコミュニケーションを行う際の漸進的な情報対話方法とより一致しています。

この種の対話型検索を実現するには、システムまたはアルゴリズムに大きな課題が伴います。検索エンジンは、複数回の自然言語対話からユーザーの意図を正確に理解する必要があります。・・・と同時に、理解した意図とユーザーが欲しい情報を一致させる必要があります。

従来のキーワード検索と比較して、会話型検索では、ユーザーの真の検索意図を復元するために、より複雑なクエリの理解 (現在のクエリの省略や相互参照などを解決する必要性など) が必要です。 。最も簡単な方法は、すべての履歴クエリを結合し、事前トレーニングされた言語モデルを使用してエンコードすることです。

単純なスプライシング ダイアログの方法は単純ですが、ノイズが発生する可能性があります。すべての履歴クエリが現在のクエリの理解に役立つわけではないため、それに関連するクエリのみを選択します。依存関係コンテキスト。長さの問題も解決できます。

#会話型密検索モデル COTED

上記の考え方に基づいて、主に次の 3 つの部分からなる会話型密検索モデル COTED を提案しました。

1. ダイアログ クエリ内の依存関係を特定することで、ダイアログ内のノイズを除去し、ユーザーの意図をより適切に予測できるようになります。

2. 対照学習に基づくデータ強化 (さまざまなノイズ状況の模倣) とノイズ除去損失関数により、モデルは無関係なコンテキストを無視することを学習し、それを最終的なマッチング損失関数ジョイントと組み合わせることができます。 、マルチタスク学習。

3. コース学習を通じてモデルのマルチタスク学習の学習の難しさを軽減し、最終的にモデルのパフォーマンスを向上させます。

ただし、会話型検索モデルのトレーニングに十分なデータは実際には非常に限られており、サンプルが限られている場合、会話型検索モデルの検索は困難になります。モデルのトレーニングは非常に難しいです。

この問題を解決するにはどうすればよいですか?出発点は、検索エンジンのログを会話型検索エンジンのトレーニング用に移行できるかどうかです。この考えに基づいて、大規模な Web 検索ログが会話型検索ログに変換され、変換されたデータに基づいて会話型検索モデルがトレーニングされます。しかし、この方法には 2 つの明らかな問題もあります:

第一に、従来の Web 検索はキーワード検索を使用し、会話型検索は自然言語の会話方法です。クエリ フォームが異なるため、クエリを使用できません。直接移行されました。次に、クエリ自体には多くのノイズが含まれているため、検索ログ内のユーザー データを会話型検索で使用する前に、クリーニング、フィルタリング、変換する必要があります。

会話型検索学習モデル ConvTrans

これらの課題を解決するために、会話型検索学習モデル ConvTrans を作成し、以下の機能を実装しました。

まず、従来の Web 検索エンジンのログはグラフに整理され、クエリとクエリ、クエリとドキュメントの間の接続を確立することによってグラフが構築されます。グラフに基づいて、T5 に基づく 2 段階のクエリ書き換えモデルを使用して、キーワード クエリを質問の形式に書き換えます。書き換え後、グラフ内の各クエリは自然言語を使用して新しいクエリを表現し、グラフ上でランダム ウォークを実行して会話セッションを生成するサンプリング アルゴリズムを設計し、このデータに基づいて会話モデルをトレーニングします。

実験によると、この自動生成されたトレーニング データを使用してトレーニングされた会話型検索モデルは、高価な人工データや手動でラベル付けされたデータを使用した場合と同じ効果を達成でき、時間が経つにつれて自動生成されたデータのサイズが大きくなるにつれて、トレーニング データが増加すると、パフォーマンスは向上し続けます。このアプローチにより、大規模な検索ログに基づいて会話型検索モデルをトレーニングすることが可能になります。

会話型検索モデルは検索において大きな進歩を遂げましたが、この会話型手法は依然として受動的であり、検索エンジンは常に受動的でした。検索エンジンは、ユーザー入力を受け入れ、その入力に基づいて結果を返します。検索エンジンは、何を探しているのかをユーザーに積極的に尋ねることはありません。しかし、人と人とのコミュニケーションの過程で、質問されたとき、明確にするために率先して質問することがあります。

たとえば、Bing 検索で、クエリが「Headaches」の場合、頭痛になります。症状、治療、診断、原因や引き金など、「この病状について何を知りたいですか」、「この病気について何を知りたいですか」と尋ねます。 Headaches 自体は非常に広範なクエリであるため、この場合、システムは検索したい情報をさらに明確にしたいと考えています。

ここには 2 つの問題があります。1 つ目は、ユーザーに明確にしてもらいたい具体的な項目の候補です。 2 つ目は質問を明確にすることで、検索エンジンが率先してユーザーにこの質問を投げかけます。コアワードは問題を明確にする上で最も重要な部分です。

探索のこの側面では、最初に、クエリ ログとナレッジ ベースを通じてクエリが与えられたときに、いくつかの明確化候補を生成します。第二に、この説明質問のいくつかの核となる単語は、ルールに基づいて検索結果から予測できます。同時に、一部のデータにもラベルが付けられ、教師ありモデルを使用してテキスト ラベルが分類されます。 3 番目に、この注釈付きデータに基づいてエンドツーエンドの生成モデルをさらにトレーニングします。

パーソナライゼーション

パーソナライゼーションとは、今後の検索はユーザー中心になりますを指します。今日の検索エンジンは、誰が検索しても同じ結果を返します。これは、ユーザーの特定の情報ニーズを満たしていません。

現在のパーソナライズされた検索モデルは、まずユーザー履歴を通じてユーザーが精通している知識や情報を学習し、クエリに対してパーソナライズされたエンティティの曖昧さ回避を実行するモデルを採用しています。第 2 に、曖昧さのないクエリ エンティティによってパーソナライズされたマッチングが強化されます。

さらに、製品カテゴリに基づいたユーザーの多関心モデルの構築も調査しました。ユーザーはすべてのカテゴリにわたって何らかのブランド (仕様、モデル) 傾向を持っていると想定されますが、この傾向はあり得ません。 be simple. は 1 つまたは 2 つのベクトルによって特徴付けられます。ユーザーのショッピング履歴に基づいてナレッジ グラフを構築し、さまざまなカテゴリに対するさまざまな興味をナレッジ グラフを通じて学習し、最終的にはより正確にパーソナライズされた検索結果をプッシュできるようにする必要があります。

同じパーソナライズされた方法を使用してチャットボットを構築することもできます。中心となるアイデアは、ユーザーの過去の会話を通じてユーザーのパーソナライズされた興味と言語パターンを学習し、パーソナライズされた対話モデルをトレーニングすることです。 （エージェント）ユーザーが発言します。

マルチモーダル

今日の検索エンジンには、マルチモーダル情報を処理する際に実際にはかなりの制限があります。将来的には、ユーザーが取得する情報はテキストや Web ページだけでなく、写真、ビデオ、より複雑な構造情報も含まれる可能性があります。したがって、将来の検索エンジンは、マルチモーダルな情報を取得するためにまだ多くの作業を行う必要があります。

現在の検索エンジンには、クロスモーダル検索の理解や実行、つまり、テキストによる説明を与え、それに対応する画像を検索するという点では、まだ多くの欠陥があります。同様の検索が携帯電話に移行されると、制限はさらに大きくなります。

いわゆるマルチモーダルとは、探している言語、画像、写真、ビデオ、その他のモダリティが統一された空間にマッピングされ、写真を見つけることができることを意味します。テキストを通じて、テキストを検索するための画像、画像を検索するための画像など。

これに関して、私たちは大規模なマルチモーダル事前トレーニング モデル、Wenlan を作成しました。これは、大量のインターネット画像と近くのテキストの弱く教師された相関関係によってもたらされる情報に基づくトレーニングに焦点を当てています。ツインタワー モードを使用すると、最終的なトレーニングはピクチャ エンコーダとテキスト エンコーダです。これら 2 つのエンコーダはエンドツーエンドのマッチング最適化学習プロセスを通過するため、最終的な表現ベクトルは、絵の細かい粒子と文字の細かい粒子をつなぎ合わせます。

このクロスモーダル検索機能は、実際には、Web 検索エンジンを使用するときにユーザーにエンドツーエンドでより多くのスペースを提供するだけでなく、同時に、ソーシャルメディアであろうと、文化的および創造的なカテゴリーであろうと、創作などの多くのアプリケーションをサポートするために使用することもできます。

豊富な知識

現在、検索エンジンは Web ページを検索するのが一般的ですが、将来的には、検索エンジンが処理する単位は Web ページだけではなく、Web ページに基づいたものになるはずです。返された結果を含む単元も、ページごとのリストではなく、高度な知識である必要があります。多くの場合、ユーザーは実際に検索エンジンを使用して複雑な情報ニーズを満たしたいと考えているため、結果を 1 つずつ分析させるのではなく、検索エンジンが結果の分析に役立つことを望んでいます。

この考えに基づいて、詳細なテキスト分析を提供し、高度な知識を効率的かつ迅速に取得できる検索エンジンに相当する分析エンジンを構築しました。ユーザーが大規模な文書を読んで理解できるようにし、そこに含まれる重要な情報や知識を抽出、マイニング、要約するのを支援します。最後に、ユーザーはインタラクティブな分析プロセスを通じて、マイニングされた高度な知識を閲覧および分析して、ユーザーに提供できます。意思決定サポート付き。

たとえば、ユーザーがヘイズに関連する情報を検索したい場合、「ヘイズ」と直接入力できます。豊富な知識モデルは、従来の検索エンジンが返す結果とは異なり、タイムライン上でのスモッグに関する情報の分布などをユーザーに伝えるタイムラインを返したり、スモッグや機関に関するサブトピックを要約したりすることもあります。どれに、どんなキャラクターがいるのか。もちろん、検索エンジンのように結果の詳細なリストを提供することもできます。

#分析とインタラクティブな分析を直接提供するこの機能は、ユーザーが複雑な情報を取得するのに役立ちます。ユーザーに提供されるのは、単なる検索結果のリストではなくなりました。もちろん、このようなインタラクティブな多次元知識分析は単なる表示方法であり、将来的にはさらに多くの方法が使用される可能性があります。

インデックスに移動

現在、検索エンジンはインデックス作成を中心とした段階的アプローチを広く採用しており、多数のインターネット Web ページから必要なコンテンツをクロールバックしてインデックスを構築します。逆インデックスまたは密ベクトルインデックス。ユーザーのクエリが来ると、まずリコールが実行され、リコール結果に基づいて絞り込みソートが実行されます。

このモデルは段階に分ける必要があるため、ある段階で問題がある場合、リコール段階で意図した結果が見つからないなど、多くの欠点があります。並べ替えの段階でどれだけ優れていたとしても、あまり良い結果が得られる可能性は低いです。

将来の検索エンジンでは、この構造が壊れる可能性があります。新しいアイデアは、大規模なモデルを使用して現在のインデックス スキーマを置き換えることであり、すべてのクエリはモデルを通じて満たされます。これにはインデックスを使用する必要がなくなり、このモデルを通じて目的の結果が直接フィードバックされます。

これに基づいて、結果のリストを直接提供したり、ユーザーが必要とする回答を直接提供したりできます。また、回答はモードはより適切に統合されています。インデックスを削除し、モデルを通じて結果を直接フィードバックするということは、モデルがドキュメント ID を直接返すか、直接返すことができることを意味します。モデル中心の検索を構築するには、ドキュメント ID をモデルに埋め込む必要があります。

概要

今日の検索エンジンは、入力としてキーワード、出力としてドキュメント リストという単純なモデルを広く使用しています。人々の複雑な情報取得ニーズを満たすには、すでにいくつかの問題があります。将来の検索エンジンは、会話型でパーソナライズされ、ユーザー中心であり、固定概念を打ち破ることができるものになります。同時に、マルチモーダルな情報を処理し、知識を処理し、知識を返すことができます。アーキテクチャ的には、将来的には転置インデックスや密ベクトルインデックスを用いた既存のインデックス中心モデルを確実に打破し、段階的にモデル中心モデルに移行していきます。

ゲスト紹介

Dou Zhicheng, 人民大学中国ヒルハウス人工知能研究所副所長、北京知源人工知能研究所「インテリジェント情報検索とマイニング」プロジェクトマネージャー。 2008 年にマイクロソフト リサーチ アジアに入社し、インターネット検索関連の業務に従事し、情報検索技術の研究開発で豊富な経験を積みました。彼は 2014 年に中国人民大学で教え始めました。彼の主な研究方向はインテリジェントな情報検索と自然言語処理です。情報検索に関する国際会議 (SIGIR 2013) で最優秀論文ノミネート賞、情報検索に関するアジア会議 (AIRS 2012) で最優秀論文賞、情報検索に関する全国学術会議 (AIRS 2012) で最優秀論文賞を受賞しています。 CCIR 2018、CCIR 2021)。 SIGIR 2019 (短い記事) のプログラム委員長、情報検索評価会議 NTCIR-16 のプログラム委員長、中国コンピュータ連盟ビッグデータ専門家委員会の副事務局長を務める。 。過去 2 年間、彼は主に、パーソナライズされた多様な検索ランキング、対話型および会話型の検索モデル、情報検索の事前トレーニング方法、検索および推奨モデルの解釈可能性、パーソナライズされた製品検索などに焦点を当ててきました。

以上が今後、どのように情報検索を行っていくのでしょうか？の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。