Tencent Financial ユーザー成長シナリオにおける深い UPLIFT モデルの適用

今日の共有は主にディープ UPLIFT モデルに焦点を当てており、このタイプのモデルの主な技術的課題や開発コンテキストを含め、テンセントの FinTech ユーザーの成長を支援するディープ UPLIFT モデルの古典的なケースも紹介します。

1. UPLIFT モデルの紹介

まず UPLIFT モデルを紹介します。

古典的なシナリオ: マーケティング活動に最適な顧客グループを見つけるにはどうすればよいでしょうか?あるいは、最適なマーケティングインセンティブの方法を見つけるにはどうすればよいでしょうか?

一般的なアイデアは、意欲の高いユーザー (上の図の「Sure Things」と「説得力のある」象限) をターゲットにすることですが、このアイデアの最大の問題は、ユーザーの自然な流れ、ユーザーのコンバージョン。まず、一部の志向の高いユーザー (Sure Things 象限ユーザー) は、広告なしでも自然にコンバージョンを達成できますが、さらに、割引クーポン マーケティング モデルでは、志向の高いユーザーへの直接広告は、多くの場合、高額な損失につながります。意欲の低いユーザー (Do Note Disturbs および Lost Causes 象限) に切り替えることは可能ですか?広告を通じて消費意欲を高めるには?実際、意欲の低いユーザーの場合、コンバージョンに至る確率は非常に低く、いくら投資してもコンバージョンに至らない、あるいは永久に失われてしまう可能性もありますが、それには多大なマーケティングコストがかかります。

したがって、この種のマーケティング問題を解決する前に、マーケティングの概念、つまり「マーケティング利益」に立ち戻る必要があります。 「マーケティングゲイン」とは、ユーザーのスタンスを変えられる部分に焦点を当てたマーケティング活動を行うことを意味します。平たく言えば、私たちが探しているターゲット顧客グループは、マーケティング前にはコンバージョンしないが、マーケティング後にコンバージョンする人々のグループ (説得可能な象限グループ) であり、UPLIFT モデルは、マーケティングに敏感なこれらの人々のグループを見つけることです。マーケティングのインセンティブ。

1. UPLIFTモデル VS レスポンス（Response）モデル

(1) レスポンスモデル

ユーザーにマーケティングを行った後、ユーザーがコンバージョンするかどうかを判断する際のモデルは、各ユーザーのコンバージョン率を予測したレスポンスモデルを構築し、一連のデータ分析やコスト見積りなどに基づいてコンバージョン率の閾値を設定し、それより高いと予測されるユーザーに配信します。換算率のしきい値です。応答モデルはシンプルかつ効率的であり、現在主流の機械学習/深層学習モデルをすべて使用して直接構築できますが、最大の問題は、マーケティングなしで変換できる自然なコンバージョン トラフィックの部分が考慮されていないことです。したがって、モデリングの目標とビジネスの目標は同じではなく、完全に一致するわけではありません。

(2) UPLIFT モデル

UPLIFT モデルは、1 つ以上のモデルを使用して、マーケティング下および非マーケティング下でのユーザーのコンバージョン率をそれぞれ予測します。 、これら 2 つの値の差が UPLIFT です。最終的には UPLIFT 値の大きさに基づいて起動するかどうかを決定します。

上図の応答モデルと UPLIFT モデルの曲線を比較すると、UPLIFT モデルの方が介入時間が早まることがわかります。ユーザー チャーンの早期警告シナリオでは、運用は、失いそうなユーザーを事前に維持する必要があります。実際のアプリケーションでは、ユーザーが失われる具体的な時間を予測することは意味がありません。これらのユーザーに維持措置を適用すると、最適な介入時期を逃した可能性があり、運用上の措置によって維持できるユーザーを予測することには実用的な価値があります。

2. UPLIFT モデルと因果推論

UPLIFT モデル自体は因果推論の分野に属しており、上図は、以下に基づく因果推論を簡単にまとめたものです。観察研究。第一に、古典的な因果推論手法が含まれています。このタイプの手法は主に平均的な介入効果を研究し、戦略効果の全体的な方向性評価を形成します。たとえば、一部の学者は「喫煙が健康に有害かどうか」を研究し、長期的な影響はあると結論付けています。喫煙は平均余命を縮めるが、結論は方向性があり、具体的な戦略を立てられないことが多く、因果推論手法をどのように実装するかが実務で直面する問題である。一方、UPLIFTモデルは、不均一な因果効果を研究するモデルであり、異なるグループや異なる個人に対する介入の効果が異なることを発見し、介入メカニズムの法則を発見し、個別化された戦略を形成します。 次に、いくつかの定義を紹介します。

(1) ネイマン-ルービンの潜在的な結果のフレームワーク: 個人 (サンプル) は、自身の固有の属性に基づいて潜在的な結果を提示します。この潜在的な結果は、多くの場合、現実世界では 1 つの側面のみを持ちます。ここで、誘導バイアスという大きな問題が発生します。

(2) CATE: UPLIFT モデルのモデリング目標。

(3) 交絡のなさ（Unconfoundedness） : 不偏 CATE は、推定において交絡因子を制御する (未発見の交絡因子がない) 場合にのみ得られます。

3. UPLIFT モデルの業界応用

UPLIFT モデルは幅広い業界応用があり、応用方法は大きく 2 つに分類されます。 : 1 つは、介入の不均一効果 HTE を評価することです。 A/B テストを例にとると、観察された全体的な介入効果は有意ではない可能性がありますが、UPLIFT モデルをドリルダウンすると、有意な介入効果を持つサブグループを見つけることができます。 1 つ目のカテゴリは戦略の最適化で、公共サービスやパーソナライズされたインターネット マーケティングの分野での戦略のカスタマイズが含まれます。

2. 技術的な課題

1. UPLIFT モデルのモデリング プロセス

UPLIFT モデリングはデータ収集から始まります。通常、最初にランダム化対照実験を作成し、すべての実験グループに介入を行います。対照群には何も介入せず、サンプルが収集され、UPLIFT モデルを使用してモデル化されます。

T-Leaner を例にとると、介入サンプルでは応答モデルを構築でき、非介入サンプルでは応答モデルを構築できます。最終的なスコアの差は UPLIFT 値です。

2. UPLIFT モデリングの 2 つの中心的な問題

UPLIFT モデリングには 2 つの中心的な問題があります:

(1) 混乱因子のバイアス交絡バイアス

介入メカニズムによって引き起こされる選択バイアスにより、介入サンプルと非介入サンプルの特徴的な分布が一致せず、その結果、交絡因子が発生します。この種の交絡因子は介入と結果の両方に影響を与えます。交絡因子が存在するため、明確な因果関係を得ることができません。特定のケースは次のとおりです:

① 人気バイアス: 露出は人気のある介入に集中しています。

② 選択バイアス: さまざまな人々のグループ間でのアイテムの露出の違い。

このようなサンプルに基づいてモデリングを行っても、信頼性の高い結論は得られない可能性があります。

主な解決策:

① 損失における傾向スコア正則化項を導入します。

② 傾向連鎖と対立構造をモデル構造に導入します。

③ 傾向スコア逆加重サンプリング。

④ 解離表現: 交絡因子項をベクトルに解離してみます。

(2) 帰納的バイアス

下の図に示すように: サンプル/個人がそれぞれ介入/非介入モデルでスコア付けされる場合最終的な分布が一貫していない場合、介入スコアと非介入スコアの差 (CATE) の分布統計を実行すると、ジッターが非常に大きく、異なる個人/グループ間の UPLIFT の差を区別することが困難であることがわかります。これは、UPLIFT モデルの予測が基本的に無効であることを示しています。

このケースは、誘導バイアスの問題を示しています。モデル アーキテクチャの観点から見ると、反事実の結果の推定は監視されていません。信号、つまり潜在的な結果の推定値の正則化の程度が一貫していないため、最終的な UPLIFT 推定値が不安定になります。

ネイマン・ルービンの潜在的結果の枠組みに戻ると、さまざまな個人について、私たちは介入の結果か介入なしの結果しか知りません。介入と非介入の結果を同時に知ることは不可能です。 , これは 2 つの潜在的な結果予測につながります。推定値の分布には一貫性がありません。ディープ モデルのモデリング目標は多くの場合 CTR または CVR であり、それ自体ではゲイン スコア (UPLIFT) を直接取得できません。その結果、モデリング目標と最終評価指標が決まります。矛盾していること。この図では、CATE の分布が潜在的な結果推定スコアの分布と完全に一致していないことがわかります。この一連の問題を誘導バイアス問題としてまとめます。帰納的パラノイアの問題は UPLIFT モデルの中核的な問題であり、現在、学術コミュニティは次の 4 つの解決策を提案しています。

① 反事実的な出力ベクトルの一貫性、MMD およびその他の分布調整方法;

② 合理的な共有パラメータ アーキテクチャの設計、FlexTENet、S-Net;

③ 反事実的なパラメータの差異制限;

④ モデル構造 EUEN に再パラメータ化を導入します。

3. UPLIFT モデルのアプリケーションの課題

UPLIFT の中核的な問題を紹介した後、UPLIFT モデルのアプリケーションの課題について簡単に説明します。金融分野には 2 つの主要なカテゴリがあります。 1 つは多値/継続的価値介入であり、もう 1 つは継続的結果予測です。

3. 深い UPLIFT モデルの開発

UPLIFT モデルの 2 つのラインに沿って、提案 学界と産業界は、交絡因子バイアスと帰納的バイアスという大きな中核問題に対して多くの解決策を提案してきました。

最初の最も基本的なものは Meta-Learner であり、代表的なモデリング ソリューションは S-Learner と T-Learner であり、深層学習を経て、混合バイアスの解決に代表される DragonNet、DESCN、S へと進化しました。 -Net、CFRNetなど、誘導性バイアスの解決に代表されるFlexTENet、S-Net、EUEN、DESCN、GANITE、CFRNetなど。

4. 適用事例:クレジットカード返済伝票マーケティング

次に、金融テクノロジー分野におけるUPLIFTモデルの適用事例を紹介します。 UPLIFT モデルの適用には、多くの場合、運用上の対策とモデルの反復の組み合わせが必要です。運用活動では、介入・非介入サンプルを収集するための小規模なトラフィックのランダム配信から始まり、実現可能性検証と実験設計、戦略的な顧客グループ配信、UPLIFTモデルの構築と配信評価を実施しました。

UPLIFT モデル ソリューションは 3 つの反復を完了しました:

(1) 第一世代のソリューション: Meta-Learner

First 現在のソリューションは主にメタラーナーであり、ビジネス目標を達成するために迅速に起動できますが、ビジネスの課題はマーケティング ROI を制御し、ボリュームを増やすことです。

(2) 第 2 世代ソリューション: CFRnet から EFIN

第 2 世代は主に深層学習アーキテクチャに基づいており、その主な目的は次のとおりです。マルチバウチャーのパーソナライズされた運用を実現するには、多値介入の問題が発生します。使用される主なモデルは、CRFnet と自社開発の EFIN (Explicit Feature Interaction uplift Network) です。

ここでは、自社開発の EFIN モデルに焦点を当てます。このアルゴリズムには主に 3 つのモジュールがあります:

最初のモジュールは自己対話層で、Self-Attetion ネットワークを使用して大規模なユーザー機能を完全に学習します。

2 番目のモジュールはアルゴリズム全体の鍵であり、介在変数 T は明示的に表現され、個別に学習されるため、多値介入問題を解くのに役立ちます。介入Tと特徴また、再パラメータ化手法が推定出力として使用されるため、潜在的な結果のスコア分布が一貫していないという問題が軽減されます。

3 番目のモジュールは、交絡バイアスの問題を解決するために、介入制約を使用して、サンプルが介入されているかどうかをモデルが区別することを困難にします。

#

(3) 第 3 世代ソリューション: 多目的 UPLIFT モデル

多目的 UPLIFT モデルは、Ctr-Lift と Value-Lift を同時にモデル化するように設計されており、ROI の達成が期待されます>1 を達成しながら GMV の成長を達成します。最大の難点は、量自体の 2 つの反事実推定値の分散が非常に大きく、それを差し引いて得られる UPLIFT の分散がさらに大きいため、UPLIFT の量をモデル化することが難しいことです。 UPLIFT は安定しています。現在、まだ解決中です。

5. 概要

この講義では、UPLIFT モデリングの 2 つの中心的な問題と、2 つのアプリケーションの課題と 3 世代のソリューションを紹介しました。自社開発のEFINモデルに重点を置いています。今後は、多目的 UPLIFT モデリング、ROI 制約、動的 UPLIFT モデリング、観測データ補正などの一連の方向でさらに詳細な研究を実施していきます。

6. 質疑応答セッション

Q1: DragonNet のようなネットワークを使用して、非ランダム実験から得られた偏りのあるサンプルの Y と T を同時にモデル化するのは効果的ですか?

A1: これは間違いなく効果的です。通常、観測データをモデル化するにはこの傾向スコア手法を選択します。傾向スコア手法の適用には、DragonNet などのモデル構造が使用される場合があります。モデル構造に傾向スコアを直接追加します。 。もう 1 つのより直接的な方法は、傾向スコアの分布に基づいてサンプル加重サンプリングを直接実行することです。

Q2: 潜在的な結果に帰納的バイアスが存在すると、UPLIFT の推定にどのような影響がありますか?

A2: 実際、先ほど作成した図でそれがより明確になりました。なぜなら、私たちの深層学習モデルは 2 つの反事実 CTR をそれぞれ推定しており、そのモデリング目標は実際には 2 つの CTR であるからです。これは、2 つの CTR の差を見つけた場合、この差の分散が比較的大きいことがわかります。

Q3: ニューラル ネットワークの入力は一般的にどのように処理されますか? 連続特徴と離散特徴の違いは何ですか?

A3: この問題は UPLIFT の問題ではなく、一般的には Embedding が使用され、カテゴリには One-Hot が使用されます。

Q4: 第 2 世代のソリューションでは、Meta-Learner が EFIN を除く他の NN モデルよりも優れていますが、S-Learner の基本モデルもこのモデルですか?

A4: はい、S-Learner には DNN も含まれています。

Q5: 因果フォレストや UPLIFT-Tree モデルと比較したディープ ラーニング モデルの長所と短所は何ですか?

A5: ディープ モデルの最大の利点は、特徴の交差やアテンション メカニズムなどの複雑なネットワーク構造を使用して特徴を完全に学習できることです。フォレスト モデルとツリー モデルの最大の利点は安定性です。フォレスト モデルのモデリング ターゲットは直接 CATE です。

Q6: 観測データしかない場合、UPLIFT モデルの精度を評価するにはどうすればよいですか?

A6: オフラインでは主に AUUC と QINI を使用して指標を評価しますが、オンラインでは主にミッション目標に応じてマーケティングによってもたらされる ROI を確認するために財務指標に変換する場合があります。

Q7: 財務シナリオにおける因果推論の応用と、検索やプロモーションにおける応用の違いは何ですか?

A7: 実際には財務シナリオには検索とプロモーションがありますが、財務シナリオには独自性があるのは事実です。この独自性は、信用付与、検証、承認を含む非常に長いコンバージョン リンクにあります。カードなどの手続きや金融の金額の見積もりも難しい。

Q8: UPLIFT モデルと DML の長所と短所は何ですか?

A8: UPLIFT モデルと DML の両方が CATE を解決するために使用されます。 UPLIFT Modelはツリーモデルやディープラーニングなどの機械学習をメインツールとしており、因果推論の考え方も取り入れています。 DML モデルは、計量経済学の考え方を使用して、機械学習ツールが CATE を推定できるようにします。 UPLIFT モデルはより大きなカテゴリであり、一部のモデルは DML のアイデアも利用しています。

Q9: UPLIFT モデルは主に新規顧客に使用されますか? それとも古い顧客に使用されますか? 古い顧客の数が 100 万人しかいない場合、モデルは使用できますか?

A9: 規模の問題は実際には重要です。非常に重要な問題です。しかし、実際に最も重要なのは暴露レベルではありません。最も重要なことは、陽性サンプルがどれだけあるかということです。陽性サンプルは、モデル化できるかどうかを決定する鍵となります。

Q10: EFIN コードはオープンソースですか?

A10: この論文は審査後、オープンソースになります。

以上がTencent Financial ユーザー成長シナリオにおける深い UPLIFT モデルの適用の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。