本文解析线性回归梯度下降实现中权重（w₀、w₁）随迭代不断发散甚至溢出的根本原因，指出未归一化的梯度计算和学习率失配是主因，并提供标准化梯度与合理调参两种稳健解决路径。
本文解析线性回归梯度下降实现中权重（w₀、w₁）随迭代不断发散甚至溢出的根本原因，指出未归一化的梯度计算和学习率失配是主因，并提供标准化梯度与合理调参两种稳健解决路径。
在实现自定义线性回归的梯度下降算法时，初学者常遇到一个典型现象：模型在小规模数据（如 x ∈ [−3, 3)）上收敛良好，但一旦扩大输入范围（如 x ∈ [−50, 50)），权重 w0 和 w1 在训练过程中持续增大，最终触发 RuntimeWarning: overflow encountered in multiply，甚至导致数值溢出（inf 或 nan）。这并非算法逻辑错误，而是梯度计算与优化配置未适配数据尺度所致。
根本原因：未归一化的梯度幅值过大
观察原代码中的梯度计算逻辑：
def _get_gradient_matrix(self):
predictions = self._get_predicted_values(self.x_vector)
w0_hat = sum((self.y_vector - predictions)) # ∂J/∂w₀（未除n）
w1_hat = sum((self.y_vector - predictions) * self.x_vector) # ∂J/∂w₁（未除n）
gradient_matrix = np.array([w0_hat, w1_hat])
gradient_matrix = -2 * gradient_matrix # 对 MSE 求导后符号处理
return gradient_matrix
此处计算的是未归一化的批量梯度——即对损失函数 $ J(w_0,w1) = \sum{i=1}^n (y_i - (w_0 + w_1 xi))^2 $ 直接求和后的偏导，而非均方误差（MSE）$ \frac{1}{n}\sum{i=1}^n (\cdots)^2 $ 的梯度。当样本量 $ n $ 增大（如从 6→100），或特征值范围扩大（如 $ x \in [-50,50) $ 导致 $ x_i $ 绝对值达 50），梯度分量（尤其是 $ \partial J/\partial w_1 = -2\sum (y_i - \hat{y}_i) x_i $）会随 $ n $ 和 $ \max|x_i| $ 线性/二次增长，造成梯度幅值急剧膨胀。
例如：当 $ n = 100 $ 且 $ |x_i| \sim 50 $，原始梯度可能比 $ n=6 $ 时大数十倍。若学习率 step_size=0.001 仍沿用小数据集的设定，参数更新步长 $ \eta \cdot \nabla J $ 将远超最优邻域，导致权重在损失曲面上剧烈震荡并持续外移——即“发散”。
解决方案一：归一化梯度（推荐）
最直接、鲁棒的做法是将梯度除以样本总数 $ n $，使其对应标准 MSE 损失的梯度：
def _get_gradient_matrix(self):
predictions = self._get_predicted_values(self.x_vector)
residuals = self.y_vector - predictions
n = len(self.x_vector)
w0_hat = np.sum(residuals) / n # ∂(MSE)/∂w₀ = (2/n)∑(ŷ−y)
w1_hat = np.sum(residuals * self.x_vector) / n # ∂(MSE)/∂w₁ = (2/n)∑(ŷ−y)xᵢ
gradient_matrix = np.array([w0_hat, w1_hat])
gradient_matrix = -2 * gradient_matrix # 符号修正（因 residuals = y - ŷ）
return gradient_matrix
✅ 优势：梯度幅值与数据规模解耦，学习率 step_size 具备跨数据集可迁移性；收敛更稳定，无需反复调试步长。
解决方案二：动态降低学习率（辅助手段）
若坚持使用未归一化损失（如总平方误差），则必须按比例缩小学习率。经验法则是：
$$
\eta{\text{new}} \approx \frac{\eta{\text{old}}}{n \cdot \max(|x_i|)}
$$
例如，当 n=100 且 max(|x|)=50，原 step_size=0.001 应降至约 0.001 / (100×50) = 2×10^{-7}。但该策略缺乏通用性，且易因特征缩放不一致而失效。
更实用的替代是采用自适应学习率（如 AdaGrad、Adam），或简单引入学习率衰减：
def fit(self, step_size=0.001, num_iterations=500):
for i in range(num_iterations):
# 学习率随迭代衰减：η_t = η₀ / (1 + 0.01 * t)
adaptive_lr = step_size / (1 + 0.01 * i)
gradient_matrix = self._get_gradient_matrix()
self.w0 -= adaptive_lr * gradient_matrix[0]
self.w1 -= adaptive_lr * gradient_matrix[1]
关键注意事项
- 数据预处理至关重要：即使梯度已归一化，对 x_vector 进行标准化（如 StandardScaler）能进一步加速收敛、提升数值稳定性；
- 避免 Python 原生 sum() 处理大数组：改用 np.sum() 并指定 dtype=np.float64 防止整数溢出；
- 验证梯度正确性：可通过数值梯度检验（finite difference）验证解析梯度是否准确；
-
监控损失变化：在 fit() 中添加损失记录，及时发现发散迹象：
def _compute_mse(self): preds = self._get_predicted_values(self.x_vector) return np.mean((self.y_vector - preds) ** 2) # 在 fit 循环中打印或记录 self._compute_mse()
综上，权重发散本质是优化目标与更新机制不匹配的结果。通过归一化梯度（方案一）可从根本上解决问题，辅以适当的数据标准化与学习率策略，即可构建稳定、可扩展的梯度下降实现。
