本文介绍如何利用线性回归模型，基于已知的另一列（不同量纲）预测并填补目标列中的缺失值，重点解决量纲差异问题——通过标准化统一尺度、在无缺失子集上训练模型、再逆变换还原真实数值。
本文介绍如何利用线性回归模型，基于已知的另一列（不同量纲）预测并填补目标列中的缺失值，重点解决量纲差异问题——通过标准化统一尺度、在无缺失子集上训练模型、再逆变换还原真实数值。
在实际数据分析中，常遇到多源评分数据（如考试成绩、用户行为分、模型置信度等），各指标虽反映同一潜在能力，但因定义、范围或采集方式不同而处于不同量纲（例如 Score1 ∈ [−4, 11]，Score2 ∈ [3.2, 13]）。此时直接用均值/中位数插补会忽略变量间关联；而简单 MinMax 缩放易放大异常值影响。更稳健的做法是：构建 Score1 对 Score2 的回归关系，在统一尺度下学习映射规律，再用于预测缺失值。
关键步骤如下：
- 预处理缺失值（仅临时填充）：为使标准化器能拟合全部数据，需先对含 NaN 的列做临时填充（如均值），但注意——该填充仅服务于缩放，不参与建模；
- 标准化对齐量纲：使用 StandardScaler 对两列同时标准化（零均值、单位方差），消除尺度差异，确保回归系数可比；
- 构建训练集：仅保留 Score1 和 Score2 均非空的样本（即完整观测对），避免引入噪声；
- 训练与预测：用标准化后的 Score1 训练线性回归模型，预测缺失 Score2 对应的标准化值；
- 逆变换还原：将预测结果经 scaler.inverse_transform() 映射回原始量纲，保证业务可解释性。
以下是完整实现代码（含注释）：
import pandas as pd
import numpy as np
from sklearn.preprocessing import StandardScaler
from sklearn.linear_model import LinearRegression
# 构造示例数据
data = {
'Person': ['Alice', 'Bob', 'Charlie', 'Dave', 'John', 'Henry', 'Jane'],
'Score1': [5.6, 9.3, 7.2, -4, np.nan, 11, 3],
'Score2': [3.2, 8.7, np.nan, np.nan, 10, 13, 8]
}
df = pd.DataFrame(data)
# 步骤1：临时填充缺失值（仅用于后续标准化）
df['Score1_filled'] = df['Score1'].fillna(df['Score1'].mean())
df['Score2_filled'] = df['Score2'].fillna(df['Score2'].mean())
# 步骤2：同步标准化两列（关键！保持变换一致性）
scaler = StandardScaler()
scaled_data = scaler.fit_transform(df[['Score1_filled', 'Score2_filled']])
df[['Score1_scaled', 'Score2_scaled']] = scaled_data
# 步骤3：提取完整观测作为训练集（Score1 & Score2 均非空）
train_mask = df['Score1'].notna() & df['Score2'].notna()
train_data = df[train_mask].copy()
# 步骤4：训练回归模型（Score1_scaled → Score2_scaled）
model = LinearRegression()
model.fit(train_data[['Score1_scaled']], train_data['Score2_scaled'])
# 步骤5：预测 Score2 缺失值（需传入 Score1_scaled）
missing_mask = df['Score2'].isna()
score1_pred_input = df.loc[missing_mask, 'Score1_scaled'].values.reshape(-1, 1)
predicted_scaled = model.predict(score1_pred_input)
df.loc[missing_mask, 'Score2_scaled'] = predicted_scaled
# 步骤6：逆变换还原原始量纲（仅还原 Score1 和 Score2 列）
# 注意：必须用原始填充列构造输入，否则 inverse_transform 维度错乱
temp_df = df[['Score1_filled', 'Score2_filled']].copy()
temp_df.loc[missing_mask, 'Score2_filled'] = df.loc[missing_mask, 'Score2_scaled']
df[['Score1', 'Score2']] = scaler.inverse_transform(temp_df)
print(df[['Person', 'Score1', 'Score2']].round(6))
✅ 输出结果：
Person Score1 Score2 0 Alice 5.600 3.200000 1 Bob 9.300 8.700000 2 Charlie 7.200 8.206991 3 Dave -4.000 0.139177 4 John 5.350 10.000000 5 Henry 11.000 13.000000 6 Jane 3.000 8.000000
⚠️ 注意事项：
- 不要对原始 NaN 列直接调用 fit_transform()，会导致 ValueError；
- 标准化必须一次性对两列联合拟合（scaler.fit_transform(df[['A','B']])），而非分别拟合，否则逆变换失效；
- 若变量间非线性关系显著（如散点图呈曲线），可尝试多项式特征或树模型，但需警惕过拟合；
- 本方法隐含假设：Score1 与 Score2 具有稳定线性相关性，建议先绘制散点图验证（df.plot.scatter('Score1', 'Score2')）；
- 对于双向插补（Score1 和 Score2 均有缺失），需分别建模或采用迭代插补（如 IterativeImputer）。
该方案兼顾统计合理性与工程实用性，是处理跨量纲关联型缺失值的推荐实践。
