搜索
首页科技周边人工智能基于反事实因果推断的度小满额度模型

基于反事实因果推断的度小满额度模型

一、因果推断的研究范式

研究范式目前主要有两个主要的研究方向:

  • Judea Pearl Structure Model 
  • 潜在的输出框架 

基于反事实因果推断的度小满额度模型

在Judea Pearl 《The Book of Why – The New Science of Cause and Effect》这本书中,将认知阶梯定位为三层:

  • 第一层-关联:通过关联的方式找出规律,可以直接观察;
  • 第二层-干预:如果改变现状,应当实施什么样的行动,得出什么样的结论,可以通过实验观察;
  • 第三层-反事实:由于法律法规等问题无法直接实验观察,通过反事实假设,如果实施了行动,会发生什么,如何评估ATE和CATE,是较为困难的一个问题。

基于反事实因果推断的度小满额度模型

首先阐述下产生相关关系的四种方式:

1. 因果关联:原因和结果之间有可靠的,可追溯的,能够正向依赖的关系,比如烟雾与烟雾报警器具有因果关联;

2. 混淆关联:含有未能直接观测的混淆变量,比如身高和阅读能力是否能够关联起来,需要控制年龄这个变量相似,从而得出有效的结论;

3. 选择偏差:本质上是伯克森悖论,比如探究外貌和才华的关系,如果只在明星群体中观察,可能会得出结论:长相和才华不可兼得。如果在全部人类里观察,长相与才华没有因果关系。

4. 逆向因果关系:即因果倒置,比如统计显示人类结婚时间越长,寿命就越长。但是反过来,我们不能说:如果想获取更长的寿命,就要早早结婚。

混淆因子如何影响观测结果,这里有两个case可以说明:

基于反事实因果推断的度小满额度模型

上面图片描述了运动量与胆固醇水平的关系。从左图可得出结论:运动量越大,胆固醇水平越高。但是加入年龄分层来看,相同年龄分层下,运动量越大,胆固醇水平越低。此外,随着年龄增长,胆固醇水平逐渐升高,这个结论才符合我们的认知。

基于反事实因果推断的度小满额度模型

第二个例子为信贷场景。从历史统计数据中可以看出,给定的额度(能借到的钱款数)越高,逾期率越低。但是金融领域,会首先根据借款人的A卡判断其信用资质,如果信用资质越好,则平台赋予额度越高,整体逾期率也很低。但是根据局部随机实验表明,相同信用资质人群,会有一部分人其额度风险迁移曲线变化比较缓慢,也会有一部分人其额度迁移风险较高,即额度提升后,带来的风险增量较大。

上面两个case说明,如果建模中忽略混淆因子,可能会得到错误,甚至相反的结论。

基于反事实因果推断的度小满额度模型

如何从RCT随机样本过渡到观测样本因果建模?

对于RCT样本的情况,如果希望评估ATE指标,可以通过分组相减或DID(difference in difference)。如果希望评估CATE指标,可以通过uplift 建模。常见的方法比如有meta-learner,double machine learning,causal forest等等。这里需要注意必要的三大假设:SUTVA,Unconfoundedness和Positivity。最核心的假设为:不存在未观测混淆因子。

对于仅有观测样本的情况,无法直接获取treatment->outcome的因果关系,我们需要借助必要的手段切断covariates到treatment的后门路径。常见方法是工具变量法和反事实表示学习。工具变量法需要对具体业务抽丝剥茧,绘制业务变量中因果图。反事实表示学习则依靠成熟的机器学习,匹配covariates相似的样本做因果评估。

二、、因果推断的框架演进

1、从随机数据到观测数据

接下来介绍因果推断的框架演进,是如何一步步过度到因果表示学习的。

常见Uplift Model有:Slearner, Tlearner, Xlearner。

其中Slearner将干预变量视为一维特征。需要注意,在常见的树模型里,treatment容易被淹没,导致treatment effect估计偏小。

基于反事实因果推断的度小满额度模型

Tlearner将treatment离散化,对干预变量分组建模,每一个treatment建立预测模型,再作差。需要注意,较少的样本量会带来较高的估计方差。

基于反事实因果推断的度小满额度模型

Xlearner分组交叉建模,将实验组和对照组分别进行交叉计算训练。该方法综合了S/T-learner的优点,其缺点是引入了更高的模型结构误差,提高了调参难度。

基于反事实因果推断的度小满额度模型

三种model比较:

基于反事实因果推断的度小满额度模型

在上图中,横轴是复杂的因果效应,MSE的的估计误差,纵轴是简单的因果效应,横轴纵轴分别表示两份数据。绿色表示Slearner的误差分布,褐色表示Tlearner的误差分布,蓝色表示Xlearner的误差分布。

在随机样本条件下,Xlearner对于复杂的因果效应估计和简单的因果效应估计均更优;Slearner对于复杂因果效应预估表现相对较差,对简单因果效应估计更优;Tlearner则与Slearner相反。

基于反事实因果推断的度小满额度模型

如果有随机样本,X到T的箭头可以去掉。过渡到观测建模后X到T的箭头去不掉,treatment和outcome会同时受到confounders的影响,这时可以进行一些消偏处理。比如DML(Double Machine Learning)的方式,进行两阶段建模。在第一阶段中,这里的X是用户自身的表征特征,比如年龄、性别等。混淆变量会包括比如历史中对筛选特定人群的操作。在第二阶段中,对上一阶段计算结果的误差进行建模,这里的即是对CATE的估计。

从随机数据到观测数据有三种处理方式:

(1)做随机试验,但业务成本较高;

(2)寻找工具变量,一般比较困难;

(3)假设观测到所有的混淆因子,利用DML、表示学习等方法匹配相似样本。

2、因果表示学习

基于反事实因果推断的度小满额度模型

反事实学习的核心思想就是平衡不同treatment下的特征分布。

核心问题有两个:

1. 如何调整训练样本的权重? 

2. 如何在表示空间中,使变换后的样本在实验组和对照组分布更加均衡?

本质思想是在变换映射后,为每个样本寻找它的反事实“双胞胎”。映射之后treatment组和control组X的分布比较相似。

基于反事实因果推断的度小满额度模型

比较有代表性的工作是发表在TKDE 2022上面的一篇论文,介绍了DeR-CFR的一些工作,这部分其实是DR-CRF模型的迭代,采用model-free的方式分离观测变量。

将X变量分成三块:调节变量A,工具变量I和混淆变量C。之后再通过I,C,A来调节不同treatment下X的权重,达到在观测数据上进行因果建模的目的。

这种方法的优势是可以分离混淆因子,减少估计偏差。缺点是难以处理连续型干预。

这个网络的核心就是如何分离A/I/C三类变量。调节变量A只与Y有关,需要保证A与T正交,并且A对Y的经验误差较小;工具变量I只与T有关,需要满足I与Y关于T条件独立,并且I对T的经验误差较小;混淆变量C与T和Y都相关,w是网络的权重,给了网络权重后,需要保证C与T关于w条件独立。这里的正交性可以通过一般的距离公式实现,比如logloss或者mse欧氏距离等约束。

基于反事实因果推断的度小满额度模型


如何处理连续型干预,这块也是有一些新的论文研究,发表在ICLR2021上的VCNet,提供了连续型干预的估计方法。缺点是难以直接应用在观测数据上(CFR场景)。

将X映射到Z上,Z主要包含之前提到的X分解中的I变量和C变量,即将对treatment比较有贡献的变量从X中提取出来了。这里将连续treatment划分为B个分段/预测头,每个连续函数转化成分段的线性函数,最下化经验误差log-loss,用来学习

基于反事实因果推断的度小满额度模型

之后再用学完的Z和θ(t)去学习。

基于反事实因果推断的度小满额度模型

即outcome。这里的θ(t)是可以处理连续型treatment的关键,是一个变系数的模型,但是这个模型只处理了连续性treatment,如果是观测数据,无法保证每一个B分段数据同质。

三、反事实额度模型 Mono-CFR

最后来介绍一下度小满的反事实额度模型,这里主要解决的是在观测数据上对连续型Treatment的反事实估计问题。

基于反事实因果推断的度小满额度模型

核心问题是,如何给用户设计(可借)额度,使得平台盈利最大化?这里的先验知识是,额度越高,用户借款越多,违约风险越高。反之同理。 

  • 第一步,定义盈利公式。盈利=额度收入-额度风险。公式看起来简单,但实际上会有很多细节的调整。这样,问题就转化为了在观测数据上建模额度与风险(坏账)、额度与收入的因果关系。 
  • 第二步,估计用户在各个额度档位上的预估收入和坏账,确定最大盈利额度。

我们期望对每个用户有如上图所示的一个盈利曲线,在不同的额度档位上,对收益值做反事实预估。

基于反事实因果推断的度小满额度模型

如果在观测数据上看到额度越高风险越低,本质上是由于混淆因子的存在。我们场景里的混淆因子是信用资质。信用资质比较好的人,平台会赋予更高的额度,反之则赋予较低额度。优信用资质人群的绝对风险仍旧明显低于低信用资质人群。若拉齐信用资质,会看到额度的提升将带来风险的提升,高额度突破了用户自身的偿债能力。

基于反事实因果推断的度小满额度模型

我们开始介绍反事实额度模型的框架。在可观测变量X中,存在之前提到的三种变量,其中大多数是混淆变量C,小部分是策略未考虑到的是调节变量A,还有一部分是仅仅跟干预有关系的工具变量I。 

  • 工具变量I:如政策、需求等,会影响历史的定额策略,但不会影响逾期概率。 
  • 混淆变量C:如信用、收入与负债等,同时影响对额度的调整,和这个人的逾期概率。 
  • 调节变量A:如环境、社会地位等,会影响逾期率。

模型思想:给定期望额度μ(T|X),学习∆T与Y的单调性关系(Dose-Response Curve)。期望额度可以理解为模型学习到的连续性倾向额度,使得混淆变量C和额度T之间的关系能够断开,转换成∆T与Y的因果关系学习,从而对∆T下Y的分布进行较好的刻画。

基于反事实因果推断的度小满额度模型


这里进一步细化上述抽象的框架:将∆T转化成变系数模型,再接入IntegrandNN网络,训练误差分成两部分:

基于反事实因果推断的度小满额度模型


这里的α是衡量风险重要程度的超参数。

Mono-CFR由两大部分组成: 

  • 额度倾向网络:预测策略倾向额度,使X⊥∆T。

作用一:蒸馏出X中与T最相关的变量,最小化经验误差。 

作用二:锚定历史策略上的近似样本。

  • 风险单调网络:约束∆T与Y的理论单调关系。 

作用一:对弱系数变量施加独立单调约束。

作用二:减少估计偏差。

问题转化为: 

  • 额度倾向网络:验证输出∆T与Y 的关系。 
  • 风险单调网络:如何约束∆T与Y的单调性?

实际额度倾向网络输入如下:

基于反事实因果推断的度小满额度模型

横轴是A卡评分定义出的人群,可以看出,不同倾向额度μ(T|X)下,额度差∆T与逾期率Y呈现单调递增关系,越劣质人群的额度差∆T变化曲线越陡峭,实际逾期率变化曲线也越陡峭,整个曲线斜率更大。此处的结论完全是通过历史的数据学习得出的。

基于反事实因果推断的度小满额度模型

从X和∆T分布图中可以看出:不同资质人群(图中通过不同颜色区分)的额度差∆T均匀分布在相似的区间之中,这是从实际角度说明。

基于反事实因果推断的度小满额度模型

从理论角度,亦可被严格证明。

第二部分是风险单调网络的实现:

基于反事实因果推断的度小满额度模型

这里的ELU+1函数数学表达式为:

基于反事实因果推断的度小满额度模型

基于反事实因果推断的度小满额度模型

∆T和逾期率呈现单调递增的变化趋势,通过ELU+1函数的导数总是大于等于0来保证。

接下来说明风险单调网络如何对弱系数变量学的更加准确:

假设有这样一个公式:

基于反事实因果推断的度小满额度模型

可以看出这里的x1即为弱系数变量,当对x1施加单调性约束后,对响应Y的估计更加准确。如果没有这样的单独约束,x1的重要性会被x2淹没,导致模型偏差增大。

基于反事实因果推断的度小满额度模型

如何离线评估额度的风险的估计曲线?

分成两部分:

  • 第一部分:可解释验证

基于反事实因果推断的度小满额度模型

不同资质人群下,去绘制如上图所示的额度风险变化曲线,模型可以学出不同资质人群(图中不同颜色标识)不同档位实际额度和逾期率的区分度。

  • 第二部分:利用小流量实验验证,不同提额幅度下的风险偏差,可以通过uplift分箱得出。

线上实验结论: 

在额度上涨30%条件下,用户逾期金额下降20%以上, 借款提升30%,盈利性提升 30%以上。

未来模型预期:

以model-free形式将工具变量与调节变量更清晰地分开,使模型在劣质人群上的风险迁移表现更佳。

在实际业务场景中,度小满的模型演进迭代流程如下:

基于反事实因果推断的度小满额度模型

第一步,观测建模,不断滚动历史观测数据,去做反事实因果学习,不断拉新训练窗口,补充外部数据源。

第二步,模型迭代,依据小流量随机样本进行效果验证,支持有效的模型迭代。

第三步,业务决策,业务根据模型输出进行实验决策,验证模型效果提升,拿到业务收益。

以上是基于反事实因果推断的度小满额度模型的详细内容。更多信息请关注PHP中文网其他相关文章!

声明
本文转载于:51CTO.COM。如有侵权,请联系admin@php.cn删除
因果推断主要技术思想与方法总结因果推断主要技术思想与方法总结Apr 12, 2023 am 08:10 AM

导读:因果推断是数据科学的一个重要分支,在互联网和工业界的产品迭代、算法和激励策略的评估中都扮演者重要的角色,结合数据、实验或者统计计量模型来计算新的改变带来的收益,是决策制定的基础。然而,因果推断并不是一件简单的事情。首先,在日常生活中,人们常常把相关和因果混为一谈。相关往往代表着两个变量具有同时增长或者降低的趋势,但是因果意味着我们想要知道对一个变量施加改变的时候会发生什么样的结果,或者说我们期望得到反事实的结果,如果过去做了不一样的动作,未来是否会发生改变?然而难点在于,反事实的数据往往是

基于反事实因果推断的度小满额度模型基于反事实因果推断的度小满额度模型Jun 03, 2023 pm 10:16 PM

一、因果推断的研究范式研究范式目前主要有两个主要的研究方向:JudeaPearlStructureModel潜在的输出框架在JudeaPearl《TheBookofWhy–TheNewScienceofCauseandEffect》这本书中,将认知阶梯定位为三层:第一层-关联:通过关联的方式找出规律,可以直接观察;第二层-干预:如果改变现状,应当实施什么样的行动,得出什么样的结论,可以通过实验观察;第三层-反事实:由于法律法规等问题无法直接实验观察,通过反事实假设,如果实施了行动,会发生什么,如

划重点!!因果推断两大算法框架解析划重点!!因果推断两大算法框架解析Jun 04, 2024 pm 04:45 PM

一、整体框架主要任务可分为三类。首先是因果结构的发现,即从数据中识别出变量之间的因果关系。其次是因果效应的估计,即从数据中推断一个变量对另一个变量的影响程度。需要注意的是,这种影响并非指相对性,而是指在对一个变量进行干预时,另一个变量的数值或分布如何变化。最后是校正偏差,因为在许多任务中,各种因素可能导致开发样本和应用样本的分布不同。在这种情况下,因果推断可能有助于我们进行校正偏差。这些功能适用于多种场景,其中最典型的是决策场景。通过因果推断,可以了解不同用户对我们的决策行为的反应。其次,在工业

因果推荐技术在营销和可解释性上的应用因果推荐技术在营销和可解释性上的应用May 18, 2023 pm 01:58 PM

一、Uplifit增益敏感度预测关于Uplift增益,通用的业务问题可以总结为,在圈定的人群中,营销人员会想知道,新的营销动作T=1相比较原始的营销动作T=0,能带来多少的平均收益(lift,ATE,AverageTreatmentEffect)。大家会关注新的营销动作是否比原来的更有效。在保险场景下,营销动作主要指的是保险的推荐,比如推荐模块上透出的文案和产品,目标是在各种营销动作和约束条件限制下,找到因营销动作而增益最多的群体,去做定向投放(AudienceTargeting)。先做一个比较

基于因果推断的推荐系统:回顾和前瞻基于因果推断的推荐系统:回顾和前瞻Apr 12, 2024 am 09:01 AM

本次分享的主题为基于因果推断的推荐系统,回顾过去的相关工作,并提出本方向的未来展望。为什么在推荐系统中需要使用因果推断技术?现有的研究工作用因果推断来解决三类问题(参见Gaoetal.的TOIS2023论文CausalInferenceinRecommenderSystems:ASurveyandFutureDirections):首先,在推荐系统中存在各种各样的偏差(BIAS),因果推断是一种有效去除这些偏差的工具。为了解决数据稀缺性和无法准确估计因果效应的问题,推荐系统可能面临挑战。为了解决

快手短视频推荐中的因果推断实践快手短视频推荐中的因果推断实践Feb 05, 2024 pm 06:20 PM

一、快手单列短视频推荐场景1、关于快手*数据取自于2023年二季度快手是一款备受欢迎的短视频和直播社区应用,其在今年第二季度取得了令人瞩目的MAU和DAU新纪录。快手的核心理念是通过观察和分享普通人的生活,让每个人都能成为内容的创造者和传播者。在快手的应用中,短视频场景主要分为单列和双列两种形式。目前,单列的流量较大,用户可以通过上下滑动的方式沉浸式地浏览视频内容。而双列的呈现形式类似于信息流,用户需要从屏幕上出现的几个内容中选择感兴趣的进行点击观看。推荐算法是快手业务生态中的核心,对于流量分发

如何在因果推断中更好地利用数据?如何在因果推断中更好地利用数据?Apr 11, 2023 pm 07:43 PM

导读:本次分享题目为《如何在因果推断中更好地利用数据?》,主要介绍团队近期在因果上已发表论文的相关工作。本报告从两个方面来介绍我们如何利用更多的数据来做好因果推断,一个是利用历史对照数据来显式缓解混淆偏差,另一个是多源数据融合下的因果推断。全文目录:因果推断背景纠偏因果树 GBCT因果数据融合在蚂蚁的业务应用一、因果推断背景常见的机器学习预测问题一般设置在同样的系统里面,如通常会假设独立同分布,比如预测吸烟的人中得肺癌的概率、图片分类等预测问题。而因果的问题则关心的是数据背后的机制,常见的问题如

AI诈骗成功率100%?度小满防深伪模型“用魔法打败魔法”AI诈骗成功率100%?度小满防深伪模型“用魔法打败魔法”May 30, 2023 pm 09:46 PM

2023-05-2610:22:19作者:宋均益日前,一条#AI诈骗成功率接近100%#的话题冲上微博热搜。一个AI换脸的视频,让福建某科技公司的法人代表在10分钟内就被骗走了430万。国外也发生了一起AI相关诈骗,一封附上谷歌CEO视频的邮件,让不少YouTube博主们下载了带着危险病毒的文件。这两起诈骗事件都有着深度伪造技术deepfake的身影。这是一项诞生了6年之久的换脸大法,如今AIGC技术的大爆发,更使得制作难以识别的deepfake视频越来越容易。对人脸识别应用普遍的金融行业来说,

See all articles

热AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智能驱动的应用程序,用于创建逼真的裸体照片

AI Clothes Remover

AI Clothes Remover

用于从照片中去除衣服的在线人工智能工具。

Undress AI Tool

Undress AI Tool

免费脱衣服图片

Clothoff.io

Clothoff.io

AI脱衣机

AI Hentai Generator

AI Hentai Generator

免费生成ai无尽的。

热门文章

R.E.P.O.能量晶体解释及其做什么(黄色晶体)
2 周前By尊渡假赌尊渡假赌尊渡假赌
仓库:如何复兴队友
1 个月前By尊渡假赌尊渡假赌尊渡假赌
Hello Kitty Island冒险:如何获得巨型种子
4 周前By尊渡假赌尊渡假赌尊渡假赌

热工具

Dreamweaver Mac版

Dreamweaver Mac版

视觉化网页开发工具

SublimeText3汉化版

SublimeText3汉化版

中文版,非常好用

SublimeText3 Mac版

SublimeText3 Mac版

神级代码编辑软件(SublimeText3)

SublimeText3 英文版

SublimeText3 英文版

推荐:为Win版本,支持代码提示!

DVWA

DVWA

Damn Vulnerable Web App (DVWA) 是一个PHP/MySQL的Web应用程序,非常容易受到攻击。它的主要目标是成为安全专业人员在合法环境中测试自己的技能和工具的辅助工具,帮助Web开发人员更好地理解保护Web应用程序的过程,并帮助教师/学生在课堂环境中教授/学习Web应用程序安全。DVWA的目标是通过简单直接的界面练习一些最常见的Web漏洞,难度各不相同。请注意,该软件中