本文介绍如何用向量化方法替代低效的iterrows()循环，对两组DataFrame按索引对齐后计算列差、相邻行差值乘积，并汇总结果，显著提升性能与代码可读性。
本文介绍如何用向量化方法替代低效的`iterrows()`循环，对两组dataframe按索引对齐后计算列差、相邻行差值乘积，并汇总结果，显著提升性能与代码可读性。
在Pandas数据处理中，使用for index, row in df.iterrows():遍历并逐行赋值（如原代码中反复调用df['F_mul'] = ...）不仅性能极差，还会因隐式拷贝和链式赋值引发不可预期行为，且违背Pandas“向量化优先”的核心设计哲学。正确的做法是利用索引对齐与广播运算一次性完成全部计算。
✅ 推荐方案：纯向量化 + 索引对齐
首先，将公共键列（如'C'）设为索引，确保df与df1自动按行对齐：
df = df.set_index('C')
df1 = df1.set_index('C')
接着，直接计算列差（自动按索引对齐）：
sub = df.sub(df1) # 形状同 df，值为 (df - df1)
关键一步：计算“当前行差值 × 上一行差值”——这正是shift()的典型应用场景：
sub.mul(sub.shift()) # 第0行结果为 NaN（无上一行），第1行 = sub[0] * sub[1]，依此类推
最后，汇总所有乘积列之和（跳过NaN）：
total = sub.mul(sub.shift()).sum(axis=1, min_count=1) # min_count=1 保证全NaN时返回NaN而非0
完整简洁实现（推荐）：
import pandas as pd
df = pd.DataFrame({'C': ["Spark","PySpark","Python","pandas","Java"],
'F': [2,4,3,5,4], 'D': [3,4,6,5,5]})
df1 = pd.DataFrame({'C': ["Spark","PySpark","Python","pandas","Java"],
'F': [1,2,1,2,1], 'D': [1,2,2,2,1]})
# 步骤1：设索引对齐
df_idx = df.set_index('C')
df1_idx = df1.set_index('C')
# 步骤2：计算差值、相邻乘积、总和
sub = df_idx.sub(df1_idx)
mul_product = sub.mul(sub.shift())
total_sum = mul_product.sum(axis=1, min_count=1).rename('F+D')
# 步骤3：合并原始数据与结果（自动按索引对齐）
result = (df_idx.add_suffix('_x')
.join(df1_idx.add_suffix('_y'))
.join(total_sum)
.reset_index())
print(result)
输出：
C F_x D_x F_y D_y F+D 0 Spark 2 3 1 1 NaN 1 PySpark 4 4 2 2 6.0 2 Python 3 6 1 2 12.0 3 pandas 5 5 2 2 18.0 4 Java 4 5 1 1 21.0
⚠️ 注意事项与最佳实践
-
永远避免
iterrows()做赋值操作：它本质是Python级循环，无法利用底层NumPy向量化，大数据集下性能可能下降百倍以上。 -
shift()默认向上移动1行（即shift(1)），对应“n行 × (n−1)行”；若需“n行 × (n+1)行”，请改用shift(-1)。 -
min_count=1在sum()中至关重要：当某行存在NaN时，不强制求和为0，而是保留NaN，符合数值计算语义。 - 若需保留中间列（如
F_sub,D_mul），可用pd.concat(..., axis=1)整合；若仅需最终结果，join()或assign()更轻量。 - 所有操作均基于索引对齐，因此务必确保
df与df1的索引唯一且顺序无关——Pandas会自动匹配。
通过上述向量化流程，代码更简洁、运行更快、逻辑更清晰，真正发挥Pandas的数据处理优势。
