Anwendung des Deep-UPLIFT-Modells im Benutzerwachstumsszenario von Tencent Financial

Der heutige Beitrag konzentriert sich hauptsächlich auf das Deep-UPLIFT-Modell, einschließlich der wichtigsten technischen Herausforderungen und der Entwicklungsgeschichte dieses Modelltyps, und stellt auch den klassischen Fall des Deep-UPLIFT-Modells vor, das das Nutzerwachstum von Tencent FinTech unterstützt.

1. Einführung in das UPLIFT-Modell

Lassen Sie uns zunächst das UPLIFT-Modell vorstellen.

Ein klassisches Szenario: Wie findet man die optimale Kundengruppe für Marketingaktivitäten? Oder wie findet man die optimale Marketing-Incentive-Methode?

​Die gängige Idee besteht darin, Benutzer mit hoher Bereitschaft anzusprechen (Quadranten „Sichere Dinge“ und „Überzeugbar“ in der Abbildung oben), aber das größte Problem bei dieser Idee besteht darin, dass sie die Benutzerkonvertierung bei natürlichem Datenverkehr ignoriert. Erstens können einige Benutzer mit hoher Kaufabsicht (Sure Things-Quadranten) auf natürliche Weise ohne Werbung konvertieren. Darüber hinaus führt Direktwerbung an Benutzer mit hoher Kaufabsicht häufig zu hohen Kostenverlusten. Ist ein Wechsel zu Nutzern mit geringer Bereitschaft möglich (Quadranten „Störungen beachten“ und „Ursachen entgangen“)? Ihre Konsumbereitschaft durch Werbung steigern? Tatsächlich ist die Conversion-Wahrscheinlichkeit für Benutzer mit geringer Konvertierungsbereitschaft sehr gering. Sie konvertieren möglicherweise nicht, egal wie viel Sie investieren, oder sie gehen möglicherweise sogar dauerhaft verloren, was jedoch hohe Marketingkosten verursacht.

Bevor wir diese Art von Marketingproblemen lösen, müssen wir daher zum Konzept des Marketings zurückkehren – „Marketinggewinn“. „Marketinggewinn“ bedeutet, dass sich unsere Marketingaktivitäten auf den Teil der Nutzer konzentrieren sollten, der seine Haltung ändern kann. Laienhaft ausgedrückt ist die Zielkundengruppe, nach der wir suchen, die Gruppe von Menschen, die vor der Vermarktung nicht konvertieren, aber nach der Vermarktung konvertieren (Persuadable-Quadrantengruppe), und das UPLIFT-Modell besteht darin, diese Personengruppen zu finden, die dafür sensibel sind Marketinganreize. ​

1. UPLIFT-Modell VS Antwortmodell

(1) Antwortmodell

Bei der Beurteilung, ob der Benutzer nach dem Marketing zum Benutzer konvertieren wird, wird häufig ein Antwortmodell (Antwortmodell) erstellt, und das Modell erstellt eine Vorhersage Die Conversion-Rate jedes Benutzers wird ermittelt. Anschließend definieren wir einen Schwellenwert für die Conversion-Rate auf der Grundlage einer Reihe von Datenanalysen, Kostenschätzungen usw. und beliefern Benutzer, bei denen eine höhere Conversion-Rate als dieser Schwellenwert prognostiziert wird. Das Antwortmodell ist einfach und effizient und kann direkt unter Verwendung aller gängigen maschinellen Lern-/Deep-Learning-Modelle erstellt werden. Das größte Problem besteht jedoch darin, dass es den Teil des natürlichen Conversion-Verkehrs nicht berücksichtigt, der ohne Marketing konvertiert werden kann Modellierungsziele und Geschäftsziele sind nicht dasselbe.

(2) UPLIFT-Modell

Das UPLIFT-Modell verwendet ein oder mehrere Modelle, um die Conversion-Rate des Benutzers unter Marketing bzw. die Conversion-Rate unter Nicht-Marketing vorherzusagen. Die Differenz zwischen diesen beiden Werten ist UPLIFT . Am Ende entscheiden wir anhand der Größe des UPLIFT-Werts, ob wir starten.

Ein Vergleich der Reaktionsmodell- und UPLIFT-Modellkurven in der obigen Abbildung zeigt, dass das UPLIFT-Modell zu einer früheren Interventionszeit führt. Im Frühwarnszenario zur Benutzerabwanderung muss der Betrieb Benutzer behalten, die kurz vor einem Verlust stehen. In praktischen Anwendungen ist es bedeutungslos, den spezifischen Zeitpunkt des Benutzerverlusts vorherzusagen. Durch die Anwendung von Bindungsmaßnahmen auf diese Benutzer wurde möglicherweise der beste Interventionszeitpunkt verpasst, und die Vorhersage von Benutzern, die durch betriebliche Maßnahmen gehalten werden können, ist von praktischem Wert.

2. UPLIFT-Modell und kausale Schlussfolgerung

Das UPLIFT-Modell selbst liegt im Bereich der kausalen Schlussfolgerung. Die obige Abbildung fasst die kausale Schlussfolgerung basierend auf Beobachtungsforschung kurz zusammen. Erstens umfasst es klassische kausale Schlussfolgerungsmethoden. Diese Art von Methode untersucht hauptsächlich den durchschnittlichen Interventionseffekt und bildet eine allgemeine Richtungsbewertung des Strategieeffekts. Einige Wissenschaftler untersuchten beispielsweise, „ob Rauchen gesundheitsschädlich ist“ und kamen zu dem Schluss, dass dies langfristig ist Die Schlussfolgerungen sind oft richtungsweisend und können keine spezifische Strategie bilden. Dies ist ein Problem, mit dem wir in der praktischen Arbeit konfrontiert sind – nämlich die Frage, wie die kausale Schlussfolgerungsmethode umgesetzt werden kann. Andererseits ist das UPLIFT-Modell ein Modell, das heterogene kausale Effekte untersucht. Es wird festgestellt, dass die Auswirkungen von Interventionen auf verschiedene Gruppen oder verschiedene Personen unterschiedlich sind, wodurch die Regeln des Interventionsmechanismus ermittelt und personalisierte Strategien entwickelt werden. Als nächstes stellen wir ein paar Definitionen vor:

(1) Neyman-Rubin-Rahmen für potenzielle Ergebnisse: Individuen (Stichproben) präsentieren potenzielle Ergebnisse basierend auf ihren eigenen inhärenten Eigenschaften. Dieses potenzielle Ergebnis existiert in der realen Welt oft nur auf einer Seite, was ein großes Problem verursacht: Induktive Verzerrung.

(2) CATE: Das Modellierungsziel des UPLIFT-Modells.

(3) Unbegründetheit: Ein unverzerrtes CATE kann nur erhalten werden, indem Störfaktoren (und keine unentdeckten Störfaktoren) für die Schätzung kontrolliert werden.

3. Branchenanwendung des UPLIFT-Modells

Das UPLIFT-Modell verfügt über ein breites Spektrum an Branchenanwendungen, und die Anwendungsmethoden sind grob in zwei Kategorien unterteilt: Eine besteht darin, die heterogene Wirkung von Interventions-HTE zu bewerten. Am Beispiel von A/B-Tests ist der insgesamt beobachtete Interventionseffekt möglicherweise nicht signifikant, aber bei genauerer Betrachtung des UPLIFT-Modells können Untergruppen mit signifikanten Interventionseffekten gefunden werden. Die erste Kategorie ist Strategieoptimierung, einschließlich Strategieanpassung im Bereich öffentlicher Dienstleistungen und personalisiertes Internetmarketing.

2. Technische Herausforderungen

1. Der UPLIFT-Modellierungsprozess beginnt im Allgemeinen mit der Datenerfassung, bei der alle Versuchsgruppen einbezogen werden und die Kontrollgruppe nicht einbezogen wird Anschließend werden Proben gesammelt und mithilfe des UPLIFT-Modells modelliert.

Nehmen Sie T-Leaner als Beispiel. Interventionsproben können ein Reaktionsmodell bilden, und Nicht-Interventionsproben können ein Reaktionsmodell bilden. Der endgültige Bewertungsunterschied ist der UPLIFT-Wert.

2. Zwei Kernprobleme bei der UPLIFT-Modellierung

Die UPLIFT-Modellierung hat zwei Kernprobleme:

(1) Confounding Bias

Auswahlverzerrung aufgrund des Interventionsmechanismus, der zu Interventionsstichproben führt. Die charakteristische Verteilung stimmt nicht mit der von überein die Nicht-Interventionsstichprobe, was zu Störfaktoren führt. Diese Art von Störfaktoren beeinflusst sowohl die Intervention als auch das Ergebnis. Aufgrund des Vorhandenseins von Störfaktoren können wir keinen eindeutigen kausalen Effekt erzielen. Spezifische Fälle wie:

① Popularitätsbias:

Die Exposition konzentriert sich auf populäre Interventionen.

② Auswahlverzerrung:

Unterschiede in der Artikelexposition zwischen verschiedenen Personengruppen. Eine auf solchen Stichproben basierende Modellierung wird höchstwahrscheinlich nicht zu einer Schlussfolgerung mit hoher Zuverlässigkeit führen.

Die Hauptlösung:

​① Einführung des Propensity-Score-Regularisierungsterms im Verlust.

② Tendenzketten- und Konfrontationsstrukturen in die Modellstruktur einführen.

③ Propensity Score inverse gewichtete Stichprobe.

④ Dissoziationsdarstellung: Versuchen Sie, die Störfaktorterme in einen Vektor zu dissoziieren. ​

(2) Induktive Verzerrung

Wie in der folgenden Abbildung dargestellt: Wenn die Verteilung der unter dem Interventions-/Nicht-Interventions-Modell bewerteten Stichproben/Personen inkonsistent ist, bewerten wir Intervention-Nicht-Intervention. Wenn der Unterschied ( CATE) wird für die Verteilungsstatistik verwendet. Es wird festgestellt, dass der Jitter sehr stark ist und der UPLIFT-Unterschied zwischen verschiedenen Personen/Gruppen schwer zu unterscheiden ist, was zeigt, dass die Vorhersage des UPLIFT-Modells grundsätzlich ungültig ist.

Dieser Fall zeigt das Problem der induktiven Verzerrung: Aus Sicht der Modellarchitektur wird das unbeaufsichtigte Signal des kontrafaktischen Ergebnisses geschätzt, oder der Grad der Regularisierung der potenziellen Ergebnisschätzung ist inkonsistent, was dazu führt endgültige UPLIFT-Vorhersage Die Schätzung ist instabil.

Zurück zum potenziellen Ergebnisrahmen von Neyman-Rubin: Für verschiedene Personen kennen wir nur das Ergebnis einer Intervention oder das Ergebnis einer Nichtintervention. Es ist unmöglich, das Ergebnis einer Intervention und einer Nichtintervention gleichzeitig zu kennen, was dazu führt Inkonsistente Verteilungen der beiden potenziellen Ergebnisschätzungen. Darüber hinaus sind unsere tiefgreifenden Modellierungsziele oft CTR oder CVR, die selbst keinen Gewinnwert (UPLIFT) ermitteln können, was dazu führt, dass unsere Modellierungsziele und endgültigen Bewertungsindikatoren inkonsistent sind. In der Abbildung können wir sehen, dass die Verteilung von CATE völlig im Widerspruch zur Verteilung der potenziellen Ergebnisschätzungswerte steht. Wir fassen diese Reihe von Problemen als das induktive Bias-Problem zusammen. Das Problem der induktiven Paranoia ist ein Kernproblem des UPLIFT-Modells. Derzeit hat die akademische Gemeinschaft grob die folgenden vier Lösungen vorgeschlagen:

① Kontrafaktische Ausgabevektorkonsistenz, MMD und andere Verteilungsausrichtungsmethoden;

② Entwerfen Sie eine angemessene gemeinsame Parameterarchitektur, FlexTENet, S-Net;

③ Kontrafaktische Parameterdifferenzgrenze

④ Führen Sie eine starke Parameterstruktur in die Modellstruktur ein ), EUEN.

3. Herausforderungen bei der Anwendung des UPLIFT-Modells

Nachdem wir die Kernthemen von UPLIFT vorgestellt haben, sprechen wir kurz über die Anwendungsherausforderungen des UPLIFT-Modells. Im Finanzbereich gibt es zwei Hauptkategorien: Eine ist die mehrwertige/kontinuierliche Wertintervention und die andere ist die kontinuierliche Ergebnisvorhersage.

3. Entwicklungskontext des tiefen UPLIFT-Modells

​ Zusammen mit den beiden Kernproblemen des gerade vorgeschlagenen UPLIFT-Modells – dem Störfaktor qualitativer Bias und dem induktiven Bias – haben viele akademische und industrielle Kreise vorgeschlagen Lösung.

Die erste und grundlegendste ist Meta-Learner. Die repräsentativen Modellierungslösungen sind S-Learner und T-Learner. Nach dem Einstieg in das Deep Learning entwickelte es sich zu DragonNet, DESCN, S-Net und CFRNet, dargestellt durch die Lösung gemischter Vorurteile . usw. und FlexTENet, S-Net, EUEN, DESCN, GANITE, CFRNet usw. werden durch Lösen der induktiven Vorspannung dargestellt. ​

4. Anwendungsfall: Marketing für Kreditkartenrückzahlungscoupons

Als nächstes stellen wir Anwendungsfälle des UPLIFT-Modells im Bereich Finanztechnologie vor. Die Anwendung des UPLIFT-Modells erfordert häufig eine Kombination aus operativen Maßnahmen und Modelliteration. Bei den operativen Aktivitäten begannen wir mit der zufälligen Lieferung von kleinem Verkehr, um Interventions-/Nicht-Interventions-Proben zu sammeln, und führten dann die Machbarkeitsüberprüfung und den experimentellen Entwurf, die Lieferung strategischer Kundengruppen, den Aufbau des UPLIFT-Modells und die Lieferungsbewertung durch.

Unter diesen hat die UPLIFT-Modelllösung drei Generationen von Iterationen abgeschlossen:

(1) Lösung der ersten Generation: Meta-Learner

Die Lösung der ersten Generation ist hauptsächlich Meta-Learner, der schnell gestartet werden kann um Geschäftsziele zu erreichen, ist der Wunsch, den Marketing-ROI zu kontrollieren und das Volumen zu steigern.

(2) Lösung der zweiten Generation: von CFRnet zu EFIN

Die zweite Generation basiert hauptsächlich auf einer Deep-Learning-Architektur. Der Hauptzweck besteht darin, einen mehrwertigen personalisierten Betrieb zu erreichen und eine mehrwertige Interventionsfrage zu stellen. Die wichtigsten verwendeten Modelle sind CRFnet und das selbst entwickelte EFIN (Explicit Feature Interaction uplift Network).

Hier konzentrieren wir uns auf das selbst entwickelte EFIN-Modell. Dieser Algorithmus besteht hauptsächlich aus drei Modulen:

Das erste Modul ist die Selbstinteraktionsschicht, die ein Self-Attetion-Netzwerk verwendet, um umfangreiche Benutzerfunktionen vollständig zu erlernen.

Das zweite Modul ist der Schlüssel zum gesamten Algorithmus. Die intervenierende Variable T wird explizit separat dargestellt, was für die Lösung mehrwertiger Interventionsprobleme von Vorteil ist. Der Eingriff T und das Merkmal Und die Neuparametrisierungsmethode wird als geschätzte Ausgabe verwendet, was das Problem der inkonsistenten Bewertungsverteilung potenzieller Ergebnisse lindert.

Das dritte Modul verwendet Interventionsbeschränkungen, um es dem Modell zu erschweren, zu unterscheiden, ob eine Stichprobe interveniert wurde, um das Problem der verwirrenden Verzerrung zu lösen.

(3) Die Lösung der dritten Generation: UPLIFT-Modell mit mehreren Zielen

Das UPLIFT-Modell mit mehreren Zielen ist für die gleichzeitige Modellierung von Ctr-Lift und Value-Lift konzipiert und soll einen ROI > 1 bei gleichzeitigem GMV-Wachstum erzielen. Die größte Schwierigkeit liegt in der Modellierung des Betrags von UPLIFT, da die Varianz der beiden kontrafaktischen Schätzungen des Betrags selbst sehr groß ist und die Varianz des durch Subtrahieren erhaltenen UPLIFT noch größer ist stabiler UPLIFT. Derzeit wird noch an der Lösung gearbeitet.

5. Zusammenfassung

In diesem Vortrag stellten wir die beiden Kernthemen der UPLIFT-Modellierung sowie zwei Anwendungsherausforderungen und drei Lösungsgenerationen vor und konzentrierten uns auf das selbst entwickelte EFIN-Modell. In Zukunft werden wir eingehendere Forschung in einer Reihe von Richtungen durchführen, wie z. B. UPLIFT-Modellierung mit mehreren Zielen, ROI-Beschränkungen, dynamische UPLIFT-Modellierung und Beobachtungsdatenkorrektur.

6. Frage- und Antwortsitzung

F1: Ist es effektiv, ein Netzwerk wie DragonNet zu verwenden, um Y und T gleichzeitig auf voreingenommenen Stichproben zu modellieren, die aus nicht zufälligen Experimenten stammen?

A1: Dies ist auf jeden Fall effektiv, wenn wir diese Neigungsbewertungsmethode zum Modellieren von Beobachtungsdaten verwenden und diese direkt zur Modellstruktur hinzufügen. Eine andere, direktere Möglichkeit besteht darin, eine stichprobengewichtete Stichprobe direkt auf der Grundlage der Verteilung des Neigungswerts durchzuführen.

F2: Welchen Einfluss wird das Vorhandensein einer induktiven Verzerrung in potenziellen Ergebnissen auf die UPLIFT-Schätzungen haben?

A2: Tatsächlich habe ich dies gerade im Bild deutlicher erklärt, da unser Deep-Learning-Modell jeweils zwei kontrafaktische CTRs schätzt und ihre Modellierungsziele tatsächlich zwei CTRs sind dieser Unterschied ist größer.

F3: Wie werden die Eingaben neuronaler Netze im Allgemeinen verarbeitet? Was ist der Unterschied zwischen kontinuierlichen Merkmalen und diskreten Merkmalen?

A3: Bei diesem Problem handelt es sich nicht um ein UPLIFT-Problem. Im Allgemeinen wird Einbettung und One-Hot für Kategorietypen verwendet.

F4: In Ihrer Lösung der zweiten Generation ist Meta-Learner besser als andere NN-Modelle außer EFIN. Ist das Basismodell in S-Learner auch dieses Modell?

A4: Ja, S-Learner enthält auch ein DNN.

F5: Was sind die Vor- und Nachteile von Deep-Learning-Modellen im Vergleich zu Causal Forest- und UPLIFT-Tree-Modellen?

A5: Der größte Vorteil von Tiefenmodellen ist die Verwendung komplexer Netzwerkstrukturen wie Merkmalsüberschneidungen, Aufmerksamkeitsmechanismen usw., um Merkmale vollständig zu erlernen. Der größte Vorteil von Wald- und Baummodellen ist die Stabilität und die Modellierungsziele von Waldmodelle sind unkompliziert. Es ist CATE.

F6: Wie lässt sich die Genauigkeit des UPLIFT-Modells bewerten, wenn nur Beobachtungsdaten verfügbar sind?

A6: Wir verwenden AUUC und QINI hauptsächlich, um die Indikatoren offline auszuwerten. Online können wir sie hauptsächlich in einen Finanzindikator umwandeln, um den ROI zu sehen, der durch das Marketing erzielt wird, abhängig von unseren Missionszielen.

F7: Was ist der Unterschied zwischen der Anwendung kausaler Schlussfolgerungen in Finanzszenarien und der Anwendung bei Suche und Werbung?

A7: Es gibt tatsächlich Suche und Werbung im Finanzszenario, aber es stimmt, dass das Finanzszenario seine eigene Einzigartigkeit hat. Diese Einzigartigkeit liegt in seinem sehr langen Konvertierungslink, der seine Kreditkarte, seine Verifizierungskarte usw. einbezieht. Ein Typ Der Genehmigungsprozess und die Schätzung des Finanzierungsbetrags stellen ebenfalls eine Schwierigkeit dar.

F8: Was sind die Vor- und Nachteile von UPLIFT Model und DML?

A8: Zur Lösung von CATE werden sowohl das UPLIFT-Modell als auch DML verwendet. Das UPLIFT-Modell verwendet als Hauptwerkzeug maschinelles Lernen, z. B. Baummodelle und Deep Learning, und integriert auch die Idee der kausalen Schlussfolgerung. Das DML-Modell verwendet ökonometrische Ideen, um maschinelle Lerntools bei der Schätzung von CATE zu unterstützen. Das UPLIFT-Modell ist eine größere Kategorie und einige Modelle basieren auch auf den Ideen von DML.

F9: Wird das UPLIFT-Modell hauptsächlich für Neukunden oder Altkunden verwendet? Kann das Modell verwendet werden? Die Größe der Exposition ist nicht das Wichtigste, wie viele positive Proben Sie haben. Positive Proben sind der Schlüssel zur Bestimmung, ob eine Modellierung durchgeführt werden kann.

F10: Ist der EFIN-Code Open Source?

A10: Das Papier wird nach der Begutachtung Open Source sein.

Das obige ist der detaillierte Inhalt vonAnwendung des Deep-UPLIFT-Modells im Benutzerwachstumsszenario von Tencent Financial. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!