pandas循环慢是因为逐行触发python解释器开销、类型检查和索引查找，绕开了底层numpy的c优化；应优先使用df['col'] = df['other_col'] * 2等向量化操作，性能可提升数十倍以上。
直接用 df['col'] = df['other_col'] * 2 这类向量化操作，别写 for i in range(len(df)): —— 否则性能差距不是几倍，而是几十倍起步。
为什么 Pandas 循环慢得离谱
Pandas 的 df.iterrows()、df.loc[i, 'x'] 或纯 Python for 遍历 DataFrame，本质是逐行触发 Python 解释器开销 + 类型检查 + 索引查找。每行都像重新启动一次小型解释器。
- 底层没走 NumPy 向量化路径，完全绕开了 C 实现的优化
- 每次
df.loc[i, 'x']都要查索引表、做类型转换、返回新对象 - 千万行 ≈ 千万次 Python 函数调用开销，不是计算本身拖慢，是“调度”拖垮
哪些操作必须改写成向量化
以下常见写法必须立刻替换，哪怕逻辑看起来“只能循环”：
-
df['score'] = [f(x) for x in df['raw']]→ 改用df['score'] = df['raw'].apply(f)（仅当f无法向量化时）或更好：用np.where/np.select/str.方法 -
for i in df.index: df.loc[i, 'flag'] = 'high' if df.loc[i, 'val'] > 100 else 'low'→ 改用df['flag'] = np.where(df['val'] > 100, 'high', 'low') - 字符串处理如
df['name'].str.upper()、df['email'].str.contains('@')全部原生支持，别自己for+.upper()
category 类型和 .values 能省多少时间
对高重复度字符串列（如省份、状态码、产品分类），不转 category 是最大内存浪费点；而对数值列，直接取 .values 可跳过 Pandas 的索引层封装：
-
df['province'] = df['province'].astype('category')：内存从 120MB → 8MB，分组聚合快 3–5 倍 -
arr = df['price'].values后再算np.log(arr + 1)，比np.log(df['price'] + 1)快 10%–20%，因为避开了 Series 的元数据开销 - 但注意：
.values返回的是 NumPy 数组，丢失了 index 对齐能力，后续需手动对齐
实在绕不开逻辑分支？用 np.select 别硬写循环
多条件判断（比如按分数段打等级、按金额区间定费率）写 if/elif/else 循环是灾难。用 np.select 是最贴近原意又最快的替代：
conditions = [
df['score'] >= 90,
df['score'] >= 80,
df['score'] >= 70
]
choices = ['A', 'B', 'C']
df['grade'] = np.select(conditions, choices, default='F')
它底层是 C 实现的布尔掩码批量赋值，千万行耗时通常在 20–50ms；等价的 apply + lambda 要 2–3 秒，纯循环可能卡死。
真正卡住性能的往往不是算法本身，而是你下意识把 Pandas 当成 Excel 来“一行行填”。向量化不是技巧，是 Pandas 的运行前提——它根本没设计成支持逐行修改的引擎。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
