svm在非线性场景下表现稳定，核心在于核函数（如rbf）通过内积替代实现隐式高维映射，避免显式升维；rbf比poly更常用因其参数少、鲁棒性强；但样本量过大或gamma不当会导致训练慢或失效，且核函数无法弥补原始特征质量缺陷。
SVM 本身不直接“性能更优”，它在非线性场景下表现稳定，关键在于核函数提供了可控的高维映射能力，且不显式计算高维坐标——这是它区别于神经网络或多项式回归的核心机制。
为什么不用显式升维也能处理非线性？
SVM 的决策函数只依赖样本两两之间的内积（即 dot(x_i, x_j)），而核函数（如 RBF）直接替代了这个内积计算：
K(x_i, x_j) = exp(-γ * ||x_i - x_j||²)
这个公式等价于把数据映射到无限维空间后的内积结果，但完全避开了构造高维向量的过程。
- 常见错误：以为 RBF 是“先升维再训练”，实际是用核技巧绕过升维
- 实操建议：只要数据点两两距离可算、γ 合理，RBF 就能生效；不需要你知道映射后长什么样
RBF 核为什么比 poly 核更常用？
不是因为它“更强”，而是参数更少、鲁棒性更高：
- RBF 只需调一个超参 gamma（或配合 C），而 poly 需同时确定 degree、coef0、gamma 三个参数
- RBF 对异常值和尺度敏感度较低；poly 在 degree > 3 时容易数值爆炸，训练失败报 ConvergenceWarning
- 场景判断：若特征已标准化、类别边界弯曲但无明显周期/多项式结构，优先试 rbf；若明确知道数据服从二次或三次关系（如物理模型），再考虑 poly什么时候 RBF 会拖慢训练甚至失效？
- 样本量 > 10⁴ 时，fit() 时间呈 O(n²)~O(n³) 增长，内存占用陡增（核矩阵大小为 n×n）
- gamma 过大会导致每个点只和自己高度相似，支持向量数接近全部样本，过拟合且预测极慢
- gamma 过小会让所有点看起来都一样，退化成线性分类器，边界过于平滑
- 实操建议：用 GridSearchCV 扫 gamma 时，范围别从 1e-5 直跳到 1e2，中间用对数步进（np.logspace(-3, 2, 20)）
真正容易被忽略的点是：核函数只是“桥梁”，它不解决特征质量本身。如果原始特征含大量噪声或无关变量，RBF 会把噪声也映射进高维空间，反而放大干扰——这时先做特征筛选或降维，比换核更重要。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
