本文介绍如何用纯向量化操作替代 iterrows 循环，高效完成两 DataFrame 按索引对齐、逐列求差、错位相乘（第 n 行 × 第 n−1 行）、再按列求和的全流程。
本文介绍如何用纯向量化操作替代 `iterrows` 循环，高效完成两 dataframe 按索引对齐、逐列求差、错位相乘（第 n 行 × 第 n−1 行）、再按列求和的全流程。
在 Pandas 中，使用 for index, row in df.iterrows(): 进行逐行迭代不仅性能低下（尤其在大数据集上），还容易因重复赋值引发逻辑错误（如原代码中循环内反复覆盖 F_mul 和 D_mul 列）。正确做法是充分利用 Pandas 的向量化运算与自动索引对齐能力。
✅ 核心思路：向量化三步法
-
对齐索引：将公共键（如
'C'列）设为索引，确保df与df1自动按行匹配； -
批量差值：用
df.sub(df1)直接计算所有数值列的逐元素差（返回新 DataFrame）； -
错位相乘 + 聚合：对差值 DataFrame 执行
mul(shift())实现「当前行 × 上一行」，再按行求和。
? 完整可运行示例
import pandas as pd
# 构造原始数据
df = pd.DataFrame({'C': ["Spark","PySpark","Python","pandas","Java"],
'F': [2,4,3,5,4], 'D': [3,4,6,5,5]})
df1 = pd.DataFrame({'C': ["Spark","PySpark","Python","pandas","Java"],
'F': [1,2,1,2,1], 'D': [1,2,2,2,1]})
# 步骤1：设索引对齐（关键！）
df = df.set_index('C')
df1 = df1.set_index('C')
# 步骤2：计算差值（自动按索引对齐）
sub = df.sub(df1) # → 生成 F_sub, D_sub 列
# 步骤3：错位相乘（第0行结果为 NaN，符合预期）
mul_shifted = sub.mul(sub.shift()) # 当前行 × 上一行
# 步骤4：合并原始数据 + 差值结果 + 最终和列
result = (
pd.concat([
df.add_suffix('_x'), # 原 df 列加后缀 _x
df1.add_suffix('_y'), # 原 df1 列加后缀 _y
mul_shifted.sum(axis=1, min_count=1).rename('F+D') # 所有 _mul 列行和
], axis=1)
.reset_index() # 恢复 C 列为普通列
)
print(result)
输出：
C F_x D_x F_y D_y F+D 0 Spark 2 3 1 1 NaN 1 PySpark 4 4 2 2 6.0 2 Python 3 6 1 2 12.0 3 pandas 5 5 2 2 18.0 4 Java 4 5 1 1 21.0
⚠️ 关键注意事项
-
shift()默认向下移动 1 行（即n行取n−1行值），因此第 0 行结果恒为NaN，无需手动填充； - 使用
min_count=1参数确保当某行存在一个非空值时仍能参与求和（避免全NaN）； - 若需保留中间列（如
F_sub,F_mul），可用pd.concat(..., axis=1)显式拼接； -
绝对避免在循环中对整个列重复赋值（如原代码
df['F_mul'] = ...在循环内执行），这会导致冗余计算且结果不可控。
? 进阶技巧：单表达式链式写法
追求简洁可读性？可封装为函数或使用 assign() 链式调用：
result = (
df.join(df1, lsuffix='_x', rsuffix='_y')
.assign(**{'F+D': df.sub(df1).mul(lambda x: x.shift()).sum(axis=1, min_count=1)})
.reset_index()
)
向量化不仅是性能优化手段，更是 Pandas 编程范式的体现——让数据自己“说话”，而非用循环强行驱动。掌握 set_index、sub、shift、mul 和 concat 的组合应用，你将告别低效迭代，写出更健壮、更易维护的数据处理代码。
