tsne比pca更适合高维特征可视化，因其通过概率建模保留局部邻域结构，利于发现聚类与异常点，但需先用pca降至50–100维再输入，且不支持外推；umap更快、支持新样本，推荐n_neighbors=15、min_dist=0.1、metric='cosine'（对bert等），并强调预处理与距离度量选择。
为什么用TSNE而不是PCA做高维特征可视化？
因为PCA是线性降维，对高维稀疏或流形结构数据（比如图像嵌入、文本向量）容易抹平关键局部结构；而TSNE通过概率分布建模保留邻域关系，更适合发现聚类和异常点。但注意：TSNE不保证全局距离可解释，也不能用于新样本外推——它只适合离线探索。
常见错误是直接对原始高维特征（如10k维TF-IDF）跑TSNE，结果内存爆掉或耗时数小时。必须先用PCA粗筛到50–100维再喂给TSNE。
-
TSNE的perplexity参数影响邻域大小：太小（100）会模糊簇边界，推荐30–50 -
n_iter至少设为1000，否则优化未收敛，点云会散乱无结构 - 务必设置
random_state，否则每次运行布局完全不同，无法复现分析
UMAP比TSNE快且支持新样本，怎么配参数？
UMAP在保持局部结构的同时更尊重全局拓扑，训练快一个数量级，还能用transform()处理新数据——这点TSNE做不到。但它对参数更敏感，尤其n_neighbors和min_dist。
典型配置组合：
-
n_neighbors=15：控制局部邻域大小，值越小越强调局部细节，越大越平滑全局结构 -
min_dist=0.1：决定嵌入点最小间距，0.01会让簇挤成一团，0.5又太松散，0.1是安全起点 - 高维稀疏特征（如BERT句向量）建议加
metric='cosine'，避免欧氏距离失真 - 如果后续要聚类，用
set_op_mix_ratio=1.0让连接图更连通，减少孤立点
高维特征预处理不做好，降维结果全是噪声
没做标准化或稀疏归一化，TSNE/UMAP会被量纲大的特征主导，比如某列数值在1e6量级，其余都在0–1，降维后实际只在投影那个维度上“晃悠”。
不同特征类型对应不同处理方式：
- 稠密数值特征（如统计特征）：用
StandardScaler，别用MinMaxScaler——后者会压缩方差，破坏TSNE依赖的距离关系 - 稀疏高维（如one-hot、TF-IDF）：必须用
Normalizer(norm='l2')做行归一化，让每样本向量长度为1 - 混合类型（数值+类别编码）：分开处理再
np.hstack，千万别直接丢进StandardScaler——类别编码的0/1会被当连续值扭曲
降维后聚类效果差，问题可能出在距离度量上
很多人把降维后的2D坐标直接喂给KMeans，结果簇完全不合理。因为TSNE输出的欧氏距离已无意义，UMAP虽好些，但默认欧氏也不适配所有场景。
更稳的做法：
- 对
UMAP结果，改用DBSCAN，并设eps基于嵌入空间的k距离曲线（用NearestNeighbors算） - 若坚持用
KMeans，先对UMAP输出做StandardScaler再聚类——不是为了“标准化”，而是让x/y轴权重一致 - 真正要保留语义相似性？直接在原始高维空间用
NearestNeighbors(metric='cosine')查最近邻，比降维+聚类更可靠
最常被忽略的是：降维只是探索工具，不是特征工程环节。别把它当特征输入下游模型——信息损失不可控，稳定性远不如PCA或特征选择。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
