pd.DataFrame.select_dtypes可快速分离数值列（include=['number']）与类别列（include=['object','category']），避免StandardScaler处理字符串或OneHotEncoder误编码数值型，防止报错并保障预处理一致性。
用 pd.DataFrame.select_dtypes 快速分离数值与类别列
Scikit-learn 的大多数预处理器（如 StandardScaler、OneHotEncoder）对数据类型敏感，混用会直接报错或静默出错。Pandas 默认读入的列类型常不统一——比如 ID 列被识别为 int64 但实际是类别型，或日期字段残留为 object。直接丢给 fit_transform 很容易触发 ValueError: Expected 2D array, got 1D array instead 或 TypeError: A sparse matrix was passed, but dense data is required。
实操建议：
- 先用
df.select_dtypes(include=['number'])提取所有数值列（含int/float），再单独处理缺失值和缩放 - 用
df.select_dtypes(include=['object', 'category'])拿到文本/枚举列，检查是否真需编码（比如'N/A'、'Unknown'应先统一填充再编码） - 警惕
bool列：它会被select_dtypes(include=['number'])捕获，但StandardScaler缩放布尔值毫无意义，建议显式排除或转为int
用 ColumnTransformer 避免手动拼接 numpy 数组
很多人清洗时习惯先用 Pandas 做 fillna + get_dummies，再转成 numpy 传给模型——这破坏了列名信息，后续调试特征重要性或 Pipeline 调参时完全丢失上下文。更糟的是，pd.get_dummies 生成的列名在训练/预测时不一致（新样本出现未见过的类别），导致 ValueError: X has different columns than the ones used during fit。
实操建议：
- 用
ColumnTransformer组合不同策略：StandardScaler处理数值列，OneHotEncoder(handle_unknown='ignore')处理类别列，SimpleImputer(strategy='constant', fill_value='MISSING')处理字符串缺失 - 务必设置
remainder='passthrough'并确认剩余列确实无需处理（比如已校验过的 ID 或时间戳） - 调用
ct.fit_transform(df)后得到的是numpy.ndarray，但可通过ct.get_feature_names_out()拿回带前缀的列名（如num__age、cat__city_0），方便 debug
缺失值填充别只盯 fillna，优先考虑 SimpleImputer 的策略一致性
Pandas 的 fillna 看似灵活，但在训练/预测阶段行为割裂：训练时用 df['age'].median() 填充，预测时却要用同一个中位数——手写逻辑容易漏掉保存统计量，或在新数据上重新计算导致数据泄露。常见错误是训练集用均值、测试集用众数，模型评估失真。
核验域名可用性、安全状态及风险标记，输出验证结论、失败原因和敏感标签，清理风险域名，优化外贸邮件列表，降低退信概率。
实操建议：
- 数值列缺失：用
SimpleImputer(strategy='median')（比均值抗异常值）；类别列缺失：用SimpleImputer(strategy='most_frequent')或strategy='constant'填特殊标记 - 避免在 Pipeline 外单独调用
df.fillna，否则ColumnTransformer里再套SimpleImputer就重复处理，可能把已填的NaN又当缺失处理 - 时间序列类字段（如
order_date）慎用中位数填充——应转为datetime后用前向填充（ffill）或业务规则（如“默认为下单当天”）
别让 pd.read_csv 的默认参数拖慢清洗流程
大文件（>100MB）用默认 pd.read_csv 读入后，内存暴涨、列类型推断不准，后续清洗卡顿甚至 OOM。典型症状是 memory usage: 2.1 GB 明明只有 50 万行，或 object 列里混着数字字符串（如 '123'）无法直接喂给 StandardScaler。
实操建议：
- 提前指定
dtype：数值列用np.float32替代默认float64，ID 类列用str或'category'（节省 70%+ 内存） - 用
parse_dates直接解析时间列，避免后期pd.to_datetime报错或返回NaT - 大文件加
chunksize分批清洗验证逻辑，确认无误后再全量跑；必要时用dask.dataframe替代，但注意它不兼容 scikit-learn 的 fit 接口
真正卡住的往往不是算法本身，而是清洗阶段对类型、缺失、边界值的模糊处理——一旦 ColumnTransformer 里某个 OneHotEncoder 遇到训练时未见的新类别，或 StandardScaler 收到全是 NaN 的列，整个 Pipeline 就会中断，而错误提示未必指向根源。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
