特征工程是让已有数据更懂模型的关键步骤，直接决定模型上限；需将原始字段转化为有业务意义、统计区分度的数值表达，并兼顾可解释性与线上效果验证。
特征工程不是“加数据”，而是让已有数据更懂模型。它直接决定模型上限，再好的算法也救不了糟糕的特征。
理解特征本质：别把原始字段当特征
原始数据（比如用户表里的“注册时间”）不等于可用特征。特征是模型能理解的、有区分度的数值表达。例如，“注册时间”本身是字符串或时间戳，模型无法直接处理；但从中可衍生出“注册距今天数”“注册星期几”“是否工作日注册”等真正有用的特征。
关键判断标准：这个变量是否和目标变量存在潜在业务或统计关联？是否在不同样本间有足够变化？
- 连续型字段（如年龄、订单金额）可分箱、标准化、做对数变换缓解偏态
- 类别型字段（如城市、商品类目）优先用目标编码或频率编码替代简单LabelEncoder，避免引入序数假象
- 高基数类别（如用户ID、SKU编码）慎用独热编码，容易导致维度爆炸，改用嵌入（embedding）或哈希技巧更稳妥
构造有意义的组合特征：从领域知识出发
自动交叉（如sklearn的PolynomialFeatures）常生成大量无意义组合。真正有效的组合特征，往往来自业务逻辑。例如电商场景中：
- “用户近7天点击次数 / 近30天点击次数” → 表征活跃度衰减趋势
- “商品价格 ÷ 同类目平均价格” → 刻画相对价格敏感度
- “下单时间与最近一次浏览时间差（分钟）” → 反映决策速度
构造前先问：这个比值/差值/比率，在业务上是否可解释？能否被运营或产品同学一眼看懂？不能解释的特征，大概率不可靠。
时间序列与文本类特征的轻量级提效法
非结构化数据不必强上BERT或LSTM也能产出有效特征。
- 时间序列：用滚动窗口统计（均值、标准差、斜率）、周期性分解（周内效应、月内节奏）、变化点检测（突增/突降标记）即可覆盖多数预测任务需求
- 文本字段：TF-IDF仍适用，但建议限制max_features≤10000并配合chi2筛选；短文本（如标题、评论）可直接用预训练词向量（如Word2Vec中文版）取均值，再PCA降到50维以内
- 注意：所有时序/文本特征必须严格按时间顺序构造，测试集不能看到未来信息——用GroupKFold或TimeSeriesSplit做交叉验证
自动化≠万能：特征筛选要兼顾可解释性
递归特征消除（RFE）、基于树模型的feature_importances、SHAP值都是工具，但不能只看分数排序。
- 剔除高度共线性特征（VIF＞5或相关系数｜r｜＞0.8），尤其当模型用于决策支持时，冗余特征会干扰归因
- 保留少量强业务含义的特征（如“是否新客”“是否使用优惠券”），哪怕重要性排第20，也应保留在最终集里
- 上线前做A/B特征消融实验：固定模型结构，每次屏蔽一类特征（如全部组合特征），观察线上指标变化，比离线分数更真实
特征工程没有银弹，但有清晰路径：从数据理解出发，用业务逻辑驱动构造，靠统计方法辅助筛选，以线上效果闭环验证。它不追求复杂，而追求“刚刚好”。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
