Application du modèle UPLIFT profond dans le scénario de croissance des utilisateurs de Tencent Financial

Le partage d'aujourd'hui se concentre principalement sur le modèle Deep UPLIFT, y compris les principaux défis techniques et l'historique de développement de ce type de modèle, et présente également le cas classique du modèle Deep UPLIFT aidant la croissance des utilisateurs de Tencent FinTech.

1. Introduction au modèle UPLIFT

Tout d'abord, présentons le modèle UPLIFT.

Un scénario classique : Comment trouver le groupe de clients optimal pour les activités marketing ? Ou comment trouver la méthode d’incitation marketing optimale ?

​L'idée courante est de cibler les utilisateurs ayant une forte volonté (quadrants Sure Things et Persuadable dans la figure ci-dessus), mais le plus gros problème de cette idée est qu'elle ignore la conversion des utilisateurs dans le cadre d'un trafic naturel. Tout d'abord, certains utilisateurs très intentionnels (utilisateurs du quadrant Sure Things) peuvent se convertir naturellement sans publicité ; Est-il possible de passer à des utilisateurs peu disposés (quadrants Noter les perturbations et les causes perdues) ? Augmenter leur volonté de consommer grâce à la publicité ? En fait, pour les utilisateurs peu disposés, leur probabilité de conversion est très faible. Ils peuvent ne pas se convertir, quel que soit le montant que vous investissez, ou même être perdus définitivement, mais cela entraînera des coûts marketing importants.

Par conséquent, avant de résoudre ce type de problème marketing, nous devons revenir au concept de marketing – « gain marketing ». Le « gain marketing » signifie que nos activités marketing doivent se concentrer sur la partie des utilisateurs qui peut changer de position. En termes simples, le groupe de clients cible que nous recherchons est le groupe de personnes qui ne se convertiront pas avant le marketing, mais qui se convertiront après le marketing (groupe du quadrant Persuadable), et le modèle UPLIFT consiste à trouver ces groupes de personnes sensibles à incitations à la commercialisation. ​

1. Modèle UPLIFT VS Modèle de réponse (Réponse)

(1) Modèle de réponse

Pour juger si l'utilisateur se convertira après le marketing auprès de l'utilisateur, un modèle de réponse (Réponse) est souvent construit et le modèle prédira taux de conversion de chaque utilisateur, puis nous définirons un seuil de taux de conversion basé sur une série d'analyses de données, d'estimations de coûts, etc., et le fournirons aux utilisateurs dont il est prévu qu'il sera supérieur à ce seuil de taux de conversion. Le modèle de réponse est simple et efficace, et peut être construit directement à l'aide de tous les modèles actuels d'apprentissage automatique/d'apprentissage profond. Cependant, son plus gros problème est qu'il ne prend pas en compte la partie du trafic de conversion naturelle qui peut être convertie sans marketing, donc le modèle de réponse est simple et efficace. les objectifs de modélisation et les objectifs commerciaux ne sont pas les mêmes.

(2) Modèle UPLIFT

Le modèle UPLIFT utilise un ou plusieurs modèles pour prédire respectivement le taux de conversion de l'utilisateur en marketing et le taux de conversion en non-marketing. La différence entre ces deux valeurs est UPLIFT. . En fin de compte, nous décidons de lancer ou non en fonction de la taille de la valeur UPLIFT.

En comparant les courbes du modèle de réponse et du modèle UPLIFT dans la figure ci-dessus, nous pouvons voir que le modèle UPLIFT conduira à un temps d'intervention plus précoce. Dans le scénario d’alerte précoce du désabonnement des utilisateurs, les opérations doivent fidéliser les utilisateurs qui sont sur le point de perdre d’avance. Dans les applications pratiques, il est inutile de prédire le moment précis de désabonnement des utilisateurs. L'application de mesures de rétention à ces utilisateurs peut avoir manqué le meilleur moment d'intervention, et prédire les utilisateurs qui peuvent être retenus par des mesures opérationnelles est d'une valeur pratique.

2. Modèle UPLIFT et inférence causale

Le modèle UPLIFT lui-même relève du domaine de l'inférence causale. La figure ci-dessus résume brièvement l'inférence causale basée sur la recherche observationnelle. Premièrement, elle inclut des méthodes classiques d'inférence causale.Ce type de méthode étudie principalement l'effet moyen de l'intervention et forme une évaluation directionnelle globale de l'effet de la stratégie. Par exemple, certains chercheurs ont étudié « si le tabagisme est nocif pour la santé » et ont conclu qu'à long terme. fumer réduira l'espérance de vie. De cette façon, les conclusions sont souvent directionnelles et ne peuvent pas former une stratégie spécifique. C'est un problème auquel nous sommes confrontés dans le travail pratique - c'est-à-dire comment mettre en œuvre la méthode d'inférence causale. D'autre part, le modèle UPLIFT est un modèle qui étudie les effets causals hétérogènes. On constate que les effets de l'intervention sur différents groupes ou différents individus sont différents, découvrant ainsi les règles du mécanisme d'intervention et formant des stratégies personnalisées. Ensuite, nous introduisons quelques définitions :

(1) Cadre de résultats potentiels de Neyman-Rubin : Les individus (échantillons) présentent des résultats potentiels en fonction de leurs propres attributs inhérents. Ce résultat potentiel n'existe souvent que d'un seul côté dans le monde réel, ce qui pose un gros problème : le biais inductif.

(2) CATE : L'objectif de modélisation du modèle UPLIFT.

(3) Absence de confusion : Un CATE impartial ne peut être obtenu qu'en contrôlant les facteurs de confusion (et aucun facteur de confusion non découvert) pour l'estimation.

3. Application industrielle du modèle UPLIFT

Le modèle UPLIFT a un large éventail d'applications industrielles, et les méthodes d'application sont grossièrement divisées en deux catégories : l'une consiste à évaluer l'effet hétérogène HTE de l'intervention. En prenant les tests A/B comme exemple, l'effet global de l'intervention observé n'est peut-être pas significatif, mais en approfondissant le modèle UPLIFT, on peut trouver des sous-groupes avec des effets d'intervention significatifs. La première catégorie est l'optimisation de la stratégie, y compris la personnalisation de la stratégie dans le domaine des services publics et du marketing Internet personnalisé.

2. Défis techniques

1. Processus de modélisation du modèle UPLIFT

La modélisation UPLIFT commence par la collecte de données. Généralement, nous créons d'abord une expérience contrôlée randomisée, dans laquelle tous les groupes expérimentaux subissent une intervention, et le groupe témoin n'intervient pas, et puis prélevez des échantillons modélisés à l'aide du modèle UPLIFT.

Prenons l'exemple de T-Leaner. Les échantillons d'intervention peuvent créer un modèle de réponse, et les échantillons de non-intervention peuvent créer un modèle de réponse. La différence de score final est la valeur UPLIFT.

2. Deux problèmes fondamentaux dans la modélisation UPLIFT

La modélisation UPLIFT a deux problèmes fondamentaux :

(1) Biais confondant

Biais de sélection dû au mécanisme d'intervention, provoquant des échantillons d'intervention La distribution des caractéristiques n'est pas cohérente avec celle de l’échantillon de non-intervention, ce qui entraîne des facteurs de confusion. Ce type de facteurs de confusion affecte à la fois l'intervention et le résultat. En raison de la présence de facteurs de confusion, nous ne pouvons pas obtenir un effet causal clair. Cas particuliers tels que :

① Biais de popularité : L'exposition est concentrée sur les interventions populaires.

② Biais de sélection : Différences dans l'exposition des articles entre différents groupes de personnes.

La modélisation basée sur de tels échantillons ne mènera probablement pas à une conclusion de haute confiance.

La solution principale :

​① Introduire le terme de régularisation du score de propension en perte.

② Introduire des structures de chaîne de tendances et de confrontation dans la structure du modèle.

③ Échantillonnage pondéré inverse du score de propension.

④ Représentation de dissociation : essayez de dissocier les termes des facteurs de confusion en un vecteur. ​

(2) Biais inductif

Comme le montre la figure ci-dessous : Lorsque la distribution des échantillons/individus notés sous le modèle intervention/non-intervention est incohérente, nous notons intervention-non-intervention Lorsque la différence ( CATE) est utilisé pour les statistiques de distribution, on constatera que la gigue est très sévère et que la différence UPLIFT entre différents individus/groupes est difficile à distinguer, ce qui montre que la prédiction du modèle UPLIFT est fondamentalement invalide.

Ce cas montre le problème du biais inductif : du point de vue de l'architecture du modèle, le signal non supervisé du résultat contrefactuel est estimé, ou le degré de régularisation de l'estimation du résultat potentiel est incohérent, ce qui entraîne Prédiction UPLIFT finale L'estimation est instable.

Retour au cadre de résultats potentiels de Neyman-Rubin, pour différents individus, nous ne connaissons que le résultat de l'intervention ou le résultat de l'absence d'intervention. Il est impossible de connaître en même temps le résultat de l'intervention et de la non-intervention, ce qui conduit à. distributions incohérentes des deux estimations de résultats potentiels ; Dans la figure, nous pouvons voir que la distribution du CATE est totalement incompatible avec la distribution des scores d'estimation des résultats potentiels. Nous résumons cette série de problèmes sous le nom de problème de biais inductif. Le problème de la paranoïa inductive est un problème central du modèle UPLIFT. Actuellement, la communauté universitaire a proposé grossièrement les quatre solutions suivantes :

.

① Cohérence des vecteurs de sortie contrefactuels, MMD et autres méthodes d'alignement de distribution ;

② Concevoir une architecture de paramètres partagés raisonnable, FlexTENet, S-Net ;

③ Limite de différence de paramètres contrefactuels

④ Introduire une structure de paramètres lourde dans la structure du modèle (reparamétrisation) ; ), EUEN.

3. Défis d'application du modèle UPLIFT

Après avoir présenté les principaux problèmes d'UPLIFT, parlons brièvement des défis d'application du modèle UPLIFT. Il existe deux catégories principales dans le domaine financier : L’une est l’intervention à valeurs multiples/à valeur continue, et l’autre est la prédiction continue des résultats.

3. Contexte de développement du modèle UPLIFT profond

​Parallèlement aux deux questions fondamentales du modèle UPLIFT qui vient d'être proposé - le biais qualitatif du facteur de confusion et le biais inductif, de nombreux cercles universitaires et industriels ont proposé solution.

La première et la plus basique est Meta-Learner. Les solutions de modélisation représentatives sont S-Learner et T-Learner. Après être entré dans l'apprentissage profond, il a évolué vers DragonNet, DESCN, S-Net et CFRNet représentés par la résolution de biais mixtes. etc., et FlexTENet, S-Net, EUEN, DESCN, GANITE, CFRNet, etc. représentés par la résolution du biais inductif. ​

4. Cas d'application : marketing des coupons de remboursement par carte de crédit

Ensuite, nous présenterons les cas d'application du modèle UPLIFT dans le domaine de la technologie financière. L'application du modèle UPLIFT nécessite souvent une combinaison de mesures opérationnelles et d'itérations du modèle. Dans les activités opérationnelles, nous avons commencé par la livraison aléatoire d'un petit trafic pour collecter des échantillons d'intervention/non-intervention, puis avons effectué une vérification de faisabilité et une conception expérimentale, une livraison stratégique à un groupe de clients, une construction de modèle UPLIFT et une évaluation de la livraison.

Parmi eux, la solution modèle UPLIFT a réalisé trois générations d'itérations :

(1) Solution de première génération : Meta-Learner

La solution de première génération est principalement Meta-Learner, qui peut être lancée rapidement pour atteindre les objectifs commerciaux. Le problème de l’entreprise est le désir de contrôler le retour sur investissement du marketing et d’augmenter le volume.

(2) Solution de deuxième génération : de CFRnet à EFIN

La deuxième génération est principalement basée sur une architecture d'apprentissage en profondeur. L'objectif principal est de réaliser un fonctionnement personnalisé multi-valeurs et constitue une question d'intervention multi-valeurs. Les principaux modèles utilisés sont CRFnet et le réseau EFIN (Explicit Feature Interaction uplift Network) auto-développé.

Ici, nous nous concentrons sur le modèle EFIN auto-développé. Cet algorithme comporte principalement trois modules :

Le premier module est la couche d'auto-interaction, qui utilise un réseau d'auto-attestation pour apprendre pleinement les fonctionnalités utilisateur à grande échelle.

Le deuxième module est la clé de l'ensemble de l'algorithme. La variable intermédiaire T est explicitement représentée séparément, ce qui est bénéfique pour résoudre des problèmes d'intervention à valeurs multiples. L'intervention T et la caractéristique X sont ensuite croisées à l'aide d'un mécanisme d'attention pour améliorer l'apprentissage des effets hétérogènes, ce qui est précisément l'objectif du modèle UPLIFT. Et la méthode de reparamétrisation est utilisée comme résultat estimé, ce qui atténue le problème de la distribution incohérente des scores des résultats potentiels.

Le troisième module utilise des contraintes d'intervention pour rendre difficile au modèle de distinguer si un échantillon a fait l'objet d'une intervention, dans le but de résoudre le problème des biais confondants.

(3) La solution de troisième génération : modèle UPLIFT multi-objectifs

Le modèle UPLIFT multi-objectifs est conçu pour modéliser simultanément Ctr-Lift et Value-Lift, et devrait atteindre un ROI>1 tout en atteignant une croissance du GMV. La plus grande difficulté est la difficulté de modéliser le montant de l'UPLIFT, car la variance des deux estimations contrefactuelles du montant lui-même est très grande, et la variance de l'UPLIFT obtenue en le soustrayant est encore plus grande. UPLIFT stable. À l'heure actuelle, je travaille toujours à le résoudre.

5. Résumé

Dans cette conférence, nous avons présenté les deux problèmes fondamentaux de la modélisation UPLIFT ainsi que deux défis d'application et trois générations de solutions, et nous nous sommes concentrés sur le modèle EFIN auto-développé. À l'avenir, nous mènerons des recherches plus approfondies dans une série de directions telles que la modélisation UPLIFT multi-objectif, les contraintes de retour sur investissement, la modélisation UPLIFT dynamique et la correction des données d'observation.

6. Séance de questions et réponses

Q1 : Est-il efficace d'utiliser un réseau comme DragonNet pour modéliser simultanément Y et T sur des échantillons biaisés obtenus à partir d'expériences non aléatoires ?

A1 : C'est certainement efficace. Nous choisissons généralement cette méthode de score de propension pour modéliser les données d'observation. L'application de la méthode du score de propension peut utiliser une structure de modèle telle que DragonNet et l'ajouter directement à la structure du modèle. Une autre méthode plus directe consiste à effectuer un échantillonnage pondéré directement basé sur la distribution du score de propension.

Q2 : Quel impact la présence d'un biais inductif dans les résultats potentiels aura-t-elle sur les estimations UPLIFT ?

A2 : En fait, j'ai expliqué cela plus clairement dans l'image tout à l'heure, car notre modèle d'apprentissage en profondeur estime respectivement deux CTR contrefactuels, et leurs objectifs de modélisation sont en fait deux CTR recherchés. La différence trouvera que la variance de. cette différence est plus grande.

Q3 : Comment les entrées des réseaux de neurones sont-elles généralement traitées ? Quelle est la différence entre les caractéristiques continues et les caractéristiques discrètes ?

A3 : Ce problème n'est pas un problème UPLIFT. Généralement, l'intégration est utilisée et One-Hot est utilisé pour les types de catégories.

Q4 : Dans votre solution de deuxième génération, Meta-Learner est meilleur que les autres modèles NN à l'exception d'EFIN. Le modèle de base de S-Learner est-il également ce modèle ?

A4 : Oui, S-Learner contient également un DNN.

Q5 : Quels sont les avantages et les inconvénients des modèles d'apprentissage profond par rapport aux modèles de forêt causale et d'UPLIFT-Tree ?

A5 : Le plus grand avantage des modèles profonds est l'utilisation de structures de réseau complexes, telles que l'intersection des caractéristiques, les mécanismes d'attention, etc., pour apprendre pleinement les caractéristiques. Le plus grand avantage des modèles de forêt et d'arbre est la stabilité et les objectifs de modélisation de ; les modèles forestiers sont simples. C’est CATE.

Q6 : Comment évaluer la précision du modèle UPLIFT s'il n'y a que des données d'observation ?

A6 : Nous utilisons principalement AUUC et QINI pour des indicateurs d'évaluation hors ligne. En ligne, il peut être principalement converti en indicateur financier pour voir le ROI apporté par son marketing, en fonction de nos objectifs de mission.

Q7 : Quelle est la différence entre l'application de l'inférence causale dans des scénarios financiers et l'application dans la recherche et la promotion ?

A7 : Il y a effectivement de la recherche et de la promotion dans le scénario financier, mais il est vrai que le scénario financier a sa particularité. Cette particularité réside dans son lien de conversion très long, qui implique son crédit, sa carte de vérification, etc. Le processus d'approbation et la manière d'estimer le montant du financement constituent également une difficulté.

Q8 : Quels sont les avantages et les inconvénients du modèle UPLIFT et du DML ?

A8 : Le modèle UPLIFT et le DML sont utilisés pour résoudre CATE. Le modèle UPLIFT utilise l'apprentissage automatique comme outil principal, tel que les modèles d'arbres et l'apprentissage profond, et intègre également l'idée d'inférence causale. Le modèle DML utilise des idées économétriques pour guider les outils d'apprentissage automatique afin d'estimer le CATE. Le modèle UPLIFT est une catégorie plus large et certains modèles s'appuient également sur les idées du DML.

Q9 : Le modèle UPLIFT est-il principalement utilisé pour les nouveaux clients ou les anciens clients ? Si le nombre d'anciens clients n'est que d'un million, le modèle peut-il être utilisé ?

A9 : La question de l'ampleur est en fait une question très critique, mais la question de l'ampleur est-elle importante ? l'ampleur de l'exposition ne l'est pas. La chose la plus importante est le nombre d'échantillons positifs dont vous disposez. Les échantillons positifs sont la clé pour déterminer si une modélisation peut être effectuée.

Q10 : Le code EFIN est-il open source ?

A10 : L'article sera open source après examen.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!