事前トレーニングされたモデルに基づく金融イベントの分析とアプリケーション

#1. 金融イベント分析の主なタスク

金融イベント分析分析 主なタスクは 3 つの部分に分けることができます。

① 最初の部分は、非構造化データのインテリジェントな分析です。金融分野の情報は、インターネットの情報とは異なる特徴があります。金融分野の情報は構造化されていない形式で存在することが多く、PDF などの特殊なファイル形式が存在するため、ファイルやデータからクリーンで正確なデータを抽出することがより困難になります。 PDF 形式は植字および印刷形式であり、他のファイル形式ほど明確な段落はありません。 PDF は植字に特化しているため、ファイル内にはいくつかの位置情報しかありません。非構造化データから正確にフォーマットされ、意味的に明確なテキストを解析することはより困難です。さらに、ドキュメント内の形式のセマンティクスが不明瞭な場合、イベント分析によってノイズが発生し、これらのダーティなデータがモデルのトレーニングと推論に多大な干渉を引き起こす可能性があります。したがって、モデルの精度を向上させるには、最初に非構造化データを解析する必要があります。

② 2 番目の部分はイベント セマンティクスの理解であり、技術的に重要な部分です。これには主に、イベント検出、イベント要素抽出、イベント関係抽出が含まれます。

③ イベントの理解に基づいて、このタスクでより重要な 3 番目のモジュールであるイベント グラフ分析が導入されます。これには、イベント チェーン分析とイベント予測が含まれます。

上記のタスクを完了するために、さらに 2 つの重要なシステムが導入されます。 1 つ目は金融イベント システムであり、金融​​イベント システムには金融分野の関連エンティティが含まれており、これらのエンティティにもさまざまな適用シナリオがあります。これらの主題とシナリオをより適切にサポートするには、対応するイベント システムを確立する必要があります。これには多くのドメイン知識が含まれ、ドメイン専門家が対応する知識を入力として提供する必要があります。これは、対応するシナリオをカバーできる、より完全で科学的なシステムを構築するのに役立ちます。もちろん、専門知識に加えて、完全なシナリオベースでスケーラブルなイベント システムを提供できる帰納的学習にもテクノロジーが必要になります。

専門知識の導入は、主に現場のより重要なイベントを対象としているためです。一部の中規模およびロングテール イベントの場合、主に学習に基づくいくつかのテクノロジーによって解決されます。金融イベントグラフでは、イベント抽出技術を組み合わせ、イベント抽出、イベント関係分類、イベント表現の学習を行った後、分析と予測のためのグラフを構築できます。

明確なタスクと技術サポートがあれば、ニュースや文書を処理し、多くの質問を要約して答えることができます。例えば、どの企業でどのようなイベントが発生し、そのイベントにどのような要素が関与したか、共通要素である時刻、場所、人物、あるいはイベントの種類に関連する要素など、例えば「自社の株式の発行」というイベントには、要素の発行価格、発行部数など。さらに、このイベントに対する人々の評価（感情分析）などの情報にも注目することができます。特定の種類のイベントが発生した後に会社に将来何が起こるかを予測します。上記の質問に答えることができれば、多くのシナリオで役に立ちます。

具体的な例を見てみましょう。

#上図は金融イベント システムを 2 つのレベルに分けており、最初のレベルには主に特定の項目に基づいた 5 つのカテゴリがあります。企業イベント、株式イベント、業界およびマクロ イベント、債務イベント、ファンド イベントなどを区別します。異なるイベント オブジェクトに対して異なるイベント タイプが定義されます。これらは金融において最も一般的なオブジェクトです。第 2 レベルでは、各タイプのオブジェクトをさらに細分化します。たとえば、株主還元など、企業内の一般的なイベントです (上の図を参照)。株主による株式の減額などのイベントを例に挙げると、そのイベント要素には、減額の時刻、減額を行った株主、減額時の取引価格などが含まれます。シナリオを対象とした完全なイベント システムを定義することは、イベント分析が目的を達成するための重要な前提条件です。イベント システムの定義の詳細度によって、最終的なイベント分析で得られる詳細なイベント情報の程度が決まります。成し遂げる。

#イベントグラフを以下に紹介します。

イベント グラフはグラフに属し、ノードとエッジが含まれます。イベント グラフでは、イベント ノードはイベントまたはイベント内のエンティティ (会社など) になります。エッジは、イベント間の関係、イベントとエンティティ間の関係、またはエンティティ間の関係です。

例を見てみましょう。上の写真は、AmazonによるiRobot買収を紹介するニュース記事です。このニュースレポートには合計 4 つの出来事が記載されており、そのうち 2 つは買収であり、異なる時期に発生しました。残りの 2 つは、会社設立のイベントと協力のイベントです。これらの出来事は、発生の時系列順に関連付けられています。このニュースには出来事だけでなく、他の実体や時刻も含まれており、これらの実体や時刻も対応関係で結ばれている。

#このように、構造化されていない Web ページの情報のように見えますが、文書内のテキストと段落を解析し、段落の意味解析を実行することで、イベント エンティティと関係を抽出すると、イベント グラフを構築できます。それは、非構造化データを構造化情報に変換することです。情報が構造化されていると、情報の理解と処理が容易になります。これらの情報は、検索や質疑応答などの情報取得シーンや、金融分野におけるリスクモニタリングや定量的投資などのビジネスシーンで活用できます。

#イベント チェーンは、特殊なイベント グラフおよびイベント グラフの簡略化されたモードです。主に、参加者に発生する一連のイベントとイベント間の関係に焦点を当てます。上の図からわかるように、左側のイベント グラフは右側の 2 つのイベント チェーンに単純化できます。イベントチェーンには簡略化されたノードのみが含まれており、その他の要素はイベントチェーンの属性情報とみなすことができます。この単純化は、イベント グラフの実際の適用に役立ちます。イベント グラフの関係とノードが単純化された後、モデルのグラフの学習と処理は 1 種類のノードとイベント間の 1 種類の関係のみに焦点を当てるため、この問題の複雑さが軽減されます。簡略化されていますが、イベントの種類、イベントの件名、その他の情報など、イベント内の主要な情報は引き続き保持されます。

イベントチェーンがどのように予測されるかを見てみましょう。

#上の図は、イベント チェーンの予測モデルです。これは主に 3 つの部分で構成されており、最初の部分はイベントの表現であり、現在の出来事、歴史的な出来事、そして最終的には予測したいテキスト内の出来事が存在します。歴史的出来事と予測される出来事、それらが表すトリガーワードとイベント要素をつなぎ合わせて、歴史的情報をより適切に捉えることができます。イベントのコンテキスト表現と履歴表現を組み合わせて、イベントのシーケンス表現である 2 番目の部分に入ります。ここでは、イベント間の時間的関係をキャプチャし、イベント シーケンス情報をイベント表現に統合できる LSTM ネットワーク構造が使用されます。最後に、時系列関係を含むイベント表現が動的ネットワークに供給され、これを使用して候補イベントや特定のニュース内のイベントを予測できます。たとえば、候補となるイベント タイプが数十ある場合、現在のニュースで見たイベント タイプに基づいて、どのイベントが将来この主題に起こるより大きなイベント タイプであるかを予測できます。その結果、イベント タイプの分布が得られます。

ここで強調しなければならないのは、このモデルの予測結果は、将来社内で確実に起こる事象を予測するものではなく、分析のための補助的な情報を提供するものであるということです。 、予測、研究と判断の根拠を提供します。

#上記のイベントチェーンとイベント予測は、まだ起こっていない状況についての予測と判断です。イベント予測は実際に、すでに発生したイベントに対して役立つ助けを提供します。

別の例を見てみましょう。この例は、役立つヘルプを提供するためにすでに発生したイベントに基づいています。

イベント ライブラリに基づくこの種のイベントの質問と回答は、イベントの自然言語検索をサポートできます。まずコーパスから抽出し、構造化イベント ライブラリを構築します。イベントの種類ごとにテーブルが作成されます。テーブルの各フィールドは、異なるイベント要素を表します。NL2SQL テクノロジと組み合わせると、クエリ ステートメントをデータベース クエリ ステートメントに変換できます。このようにして、作成したばかりのテーブルで正確なイベント タイプを見つけることができます。これは、現在市販されている一般的な検索エンジンでイベントを検索する体験とは異なります。検索エンジンによって返される結果は、このイベント タイプに関するさまざまな種類のニュースです。関連するニュースが見つかったとしても、表示される結果は、特定のイベントに関する具体的な情報ではなく、完全なレポートです。イベントデータベースをベースとしたイベントQ&Aにより、より正確にイベントのQ&A検索を行うことができます。

#上記の例を通じて、特定のシナリオでイベント分析をどのように実行できるかを確認できます。市場では企業の株価変動が注目されている。イベントベースの株価変動も、イベント分析においてNLPと金融分野を組み合わせたシナリオであり、市場情報と株価変動の変革を実現できます。上図はモデル内の 2 つの特徴を示しており、1 つは特定の企業を表し、もう 1 つは企業間の関係を表しています。イベントの種類とイベントに関与するさまざまな企業を抽出するイベント分析を紹介します。抽出されたイベント タイプと、企業が提供できる 2 種類の情報。1 つはイベントの表現であり、これは機能となり、企業の機能と統合できます。企業とイベントとの間の関係は、企業間の関連関係モジュールを構築することができる。次に、企業固有のテクニカル指標や企業関係マップなどの既存の機能を追加します。 2 つを組み合わせると、企業情報と関係情報を含むグラフを構築できます。このグラフに基づいて、企業間の関係が企業の株価変動パフォーマンスに及ぼす影響をグラフ・アテンション・ネットワークを用いて捉えます。株価変動をモデル学習の対象としてモデルをトレーニングすることで得られたモデルネットワーク構造は、ニュース業界マップや企業関係マップなどの特徴から企業の将来の特徴を判断することができます。アテンションモデルの分析を通じて、イベントタイプモジュールかイベント関係モジュールかにかかわらず、変動が主にどのモジュールに由来しているかを知ることもできます。また、企業間の関係をモデル化することで、この影響が関連企業にどのように波及するかを分析することもできます。これは金融分野におけるモメンタム波及効果ともいえる。

#以前に紹介したさまざまなイベント分析テクノロジとシナリオの包括的な内容です。完全なイベント分析フレームワークを要約しました。 (以下に示すように)

いくつかの主要な機能を提供します:

① まず、特定のイベントや特定の主題のさまざまなイベントを検索できます。

② 次に、産業チェーンを通じて、同じ業界の企業のさまざまな関連イベントの検索を提供できます。産業チェーンは、産業チェーンまたは企業にすることができます。鎖。

③ このフレームワークは、企業の検索結果に基づいて将来起こり得るイベントを予測することもできます。

このフレームワークの利点は、事前トレーニングされたモデルに基づいており、学習を転移する機能があり、ゼロショット/少数の攻撃をサポートできることです。ショットトレーニングに適しており、コールドスタートが速いです。さらに、この体系的な方法は比較的包括的な機能を備えており、さまざまなシナリオをサポートできます。

#すべてのシナリオでフレームワーク内のすべてのモジュールが必要なわけではなく、モジュールは必要に応じて分割して個別に使用できます。

2. 金融イベント分析テクノロジー

金融イベント分析テクノロジーでさらに重要な 2 つのコンテンツはイベントです。そしてイベント抽出。

イベント検出タスクの目標は、テキストからイベントを抽出し、分類することです。通常はトリガーワードを抽出してイベントを検出しますが、トリガーワードを抽出せずにイベントを検出する方法もあります。このタイプの問題の課題は、トリガー ワードのラベル付けです。また、セマンティック マイグレーション、イベント分割、イベント定義の変更などの問題が発生した場合、データのラベルを再設定する必要があります。この種の問題は実際のシナリオでもよく発生します。当社は独自のイベント検出ソリューションのセットを持っていますが、さまざまな分野に適用したり、さまざまな顧客ニーズに直面したりすると、イベント システムは大きく異なります。既存のモデルとデータをより適切に組み合わせる方法は、イベント システムの変更をサポートすることが当社の最大の課題です。現在の顔。現在のアプローチは、キューワードと事前トレーニングされたモデルに基づくイベント検出です。イベント タイプのプロンプトに従って、数ショットのシナリオでデータ移行やモデル トレーニングをより適切に実行できます。

#上の図は、トリガーワードに基づくモデルと手法を示しています。イベントタイプのプロンプトに従って、モデルの入力にトークンレベルで注釈を付けることができるため、対応するイベントのトリガーワードを抽出できます。トリガー ワードが現在のプロンプトに基づいて変換される場合、対応するイベント タイプとトリガー ワードもそれに応じて変更できます。公開データセットでのデータ比較を通じて、データ全体において、以前の手法と比較してモデルのパフォーマンスが大幅に向上していることがわかります。少数ショットの場合でも、モデルのパフォーマンスは優れています。他のモデルよりも。

#イベント抽出タスクは、イベント検出タスクの機能を拡張したものです。イベントの種類やトリガーワードを特定するだけでなく、イベント内の対応する要素も抽出します。これは、イベント分析に比較的完全な情報が必要なシナリオに大きな影響を与えます。上図の例では、より詳細な情報を抽出できます。イベント抽出の課題には、完全なイベント システムでは多数のイベント要素が存在すること、データ アノテーションを完了するにはドメインの専門家が必要であること、コストが比較的高いこと、多くのイベント タイプに拡張することが難しいことなどが挙げられます。現在のソリューションは、事前トレーニングされたモデルとプロンプトを使用することです。

に基づく生成手法は、注釈付きデータが少ないシナリオでも良好なモデル パフォーマンスを達成でき、データ利用率と柔軟性が高く、拡張が容易になります。新しいイベントタイプへ。

#イベント抽出タスクは、イベント検出タスクの機能を拡張したものです。イベントの種類やトリガーワードを特定するだけでなく、イベント内の対応する要素も抽出します。これは、イベント分析に比較的完全な情報が必要なシナリオに大きな影響を与えます。上図の例では、より詳細な情報を抽出できます。イベント抽出の課題には、完全なイベント システムでは多数のイベント要素が存在すること、データ アノテーションを完了するにはドメインの専門家が必要であること、コストが比較的高いこと、多くのイベント タイプに拡張することが難しいことなどが挙げられます。私たちの現在のソリューションは、事前トレーニングされたモデルとプロンプトを使用することです。生成手法は、注釈付きデータが少ないシナリオでも良好なモデル パフォーマンスを達成でき、データ利用率と柔軟性が高く、新しいイベント タイプへの拡張が容易です。

#上図は、テンプレートベースの生成イベント抽出手法です。この抽出方法では、いくつかの重要な概念が定義されます。まず、抽出する前にテンプレートを事前に定義する必要があります。テンプレートを使用すると、トレーニング中にモデルに提供できます。新しいイベントを定義するとき、一部の要素は以前のイベントに関連します。この情報は、次のイベントに提供することもできます。事前にモデルを指定します。このようにして、モデルは少量のデータで新しいイベント タイプを学習できます。

上記の方法でイベント抽出の問題はある程度解決できますが、まだ改善の余地が多くあります。改善。例えば、現在のメソッドのトリガーワードとイベント要素のつながりが弱い、推論中にすべてのイベントタイプをポーリングする必要があり、大量の計算と長い推論時間を必要とする、イベント検出モジュールとイベント要素抽出モジュールが組織化されている、などです。パイプラインによるものであり、エラーの伝播につながります。

#上記で提起された質問に基づいてモデルを改善しました。別の生成強化されたトリガワード検出に基づくイベント抽出手法TDE-GTEEを提案する。

（Ge Shi、Yunyue Su、Yongliang Ma、Ming Zhou (2023)。イベント抽出用に個別のエンコーダを備えたハイブリッド検出および生成フレームワーク。議事録中(計算言語学協会のヨーロッパ支部の第 17 回会議: メインボリューム。計算言語学協会。)

この方法では、イベント検出モジュールは以下を提供します。イベントトリガーワードに関する情報。入力内のトリガーワードをマークし、イベントタイプ情報に基づいて対応するテンプレートを選択します。この入力とイベント テンプレートは後で結合されて、イベント検出モジュールの表現を形成します。この表現はトピック モデルに入力され、最終的に埋め込まれたテンプレートが取得されます。このモデルと以前のモデルの違いは、このモデルには追加のトリガー ワード表現があり、コンテキスト情報も結合されていることです。これにより、最初に挙げたトリガーワードとトリガーワード抽出要素とのつながりが少ないという問題が解決される。このモデルは、2 つの間の表示関係を構築できます。同時に、トリガーワードの入力により、トリガーワードに関連するイベントの種類を知ることができます。このようにして、無関係なイベント タイプを除外できます。イベント検出モジュールは、関連するイベント タイプのイベントのみを抽出します。最後に、イベント検出モジュールとイベント抽出モジュールは、エンドツーエンドの共同トレーニングを形成できます。このモデルは、上記の他の 2 つの問題を解決できます。

TDE-GTEE モデルは、公開データセット ACE と ERE の両方で SOTA レベルに達しました。実験では全量のデータを使用しました。少数のサンプルでこのモデルのパフォーマンスを検証するために、元の多重分類メソッドをプロンプトベースのメソッドに置き換えるなど、イベント検出モジュールにいくつかの調整も加えました。モデルは、ゼロショット/少数ショットでも良好な結果を達成できます。このモデルは実用的なシナリオで広く使用できると考えています。

3. 概要と展望

##イベント分析テクノロジーは金融分野で広く使用されており、多くのシナリオがあります。包括的なイベント分析システムのフレームワークは、金融分野の情報理解に強力な技術サポートを提供します。

Lanzhou Technology が金融イベント分析の分野で提案している TDE-GTEE などの手法は、SOTA レベルに達することができ、少数サンプルでも非常に優れています。ゼロサンプルシナリオ、パフォーマンス。当社は今後も金融イベント分析分野の技術進歩と製品化を推進していきます。

#4. 質疑応答セッション

#Q1: イベント グラフ専用のデータベースはありますか? 従来のグラフ データベースです。 Neo4j などのイベント グラフを保存および管理しますか?

#A1: イベント グラフ専用のデータベースがあり、一部のデータ プロバイダーがそのようなデータベースを提供しています。たとえば、Lanzhou Technology や Ant Group などの企業も、自社内に独自のデータベースを構築することになります。 Neo4j を使用して、イベント グラフを保存および管理できます。使用シナリオに応じて、Neo4j は複雑なシナリオでのストレージと管理により適しています。イベント チェーンに単純化すると、イベントの表現がより柔軟になる可能性があり、テキストからデータを抽出して、モデルのトレーニング データとしてイベント チェーンを生成します。トレーニングにはグラフ操作は含まれません。

Q2: 株価変動分析の効果はどのように評価すればよいですか？

#A2: 主に 2 つの方法があります。特定のモデルを構築および評価するプロセスでは、株式市場からの情報にさらに依存します。クオンツ取引におけるバックテストとして理解され、トレーニングと評価のために過去のデータが使用されます。もう1つは、実際のシナリオでは、企業ニュースや株式の出来高や価格取引などのテクニカル指標を基に翌月の株価変動を予測するなど、人手による判断が必要になることです。今月は実際に株価の変動が起こるのか具体的に見ていきます。変動が発生した場合には、対応するイベントの種類、対応する株価の出来高や価格情報などを分析し、強い因果関係があるかどうかを判断します。

以上が事前トレーニングされたモデルに基づく金融イベントの分析とアプリケーションの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。