如何用Python对比两个CSV文件并提取新增数据行-Python教程-PHP中文网

如何用Python对比两个CSV文件并提取新增数据行

本文介绍如何使用pandas高效比对两个结构不同的csv文件（如产品主表与历史数据表），基于sku字段识别新增记录，并导出完整新数据文件及sku清单。

本文介绍如何使用pandas高效比对两个结构不同的csv文件（如产品主表与历史数据表），基于sku字段识别新增记录，并导出完整新数据文件及sku清单。

在电商或库存管理场景中，常需定期从API下载最新产品数据（如 downloaded_data.csv），并与本地已有的历史数据（如 current-data.csv）进行比对，快速定位新增SKU对应的产品行。关键挑战在于：两文件列名、列序、甚至字段含义可能不同（例如新文件用 SKU，旧文件用 ID 表示同一标识），但核心逻辑始终是以SKU为唯一键做集合差集运算。

以下是一个健壮、可复用的完整实现方案：

python全能编程助手

SkillSub Pro - Python 题解与代码注释双功能技能功能概述SkillSub Pro - Python 题解与代码注释双功能技能是一项面向实际任务的技能，主要用于SkillSub Pro 是一个 Python 题解生成与代码注释的双功能合体技能，专为学生、算法学习者和开发者设计；✅ 一个技能，两种用途：；核心要点📝 题解模式：输入题目/题号，自动生成完整 Python 题解（含详细注释、解题思路、复杂度分析）；💬 注释模式：输入 Python 代码，自动添加详细中。它将相关步骤、

下载

✅ 正确做法：基于集合差集筛选新增行

import pandas as pd

# 1. 读取主文件（新数据）——保留全部列，确保后续导出格式一致
master_df = pd.read_csv("downloaded_data.csv")

# 2. 读取历史文件（旧数据）——仅提取用于比对的标识列（注意列名映射）
# 假设 current-data.csv 中标识列为 'ID'，而非 'SKU'
legacy_df = pd.read_csv("current-data.csv")
legacy_skus = set(legacy_df["ID"].astype(str).str.strip())  # 统一转为字符串并去空格，防类型/空格不一致

# 3. 提取主文件中的SKU列（确保类型一致）
master_skus = set(master_df["SKU"].astype(str).str.strip())

# 4. 计算新增SKU：存在于master但不在legacy中的SKU
new_skus = master_skus - legacy_skus

# 5. 筛选主文件中所有新增SKU对应的完整行（保留原始全部列）
new_products_df = master_df[master_df["SKU"].astype(str).str.strip().isin(new_skus)].copy()

# 6. 导出结果
new_products_df.to_csv("new-products.csv", index=False, encoding="utf-8-sig")  # utf-8-sig 支持Excel中文
pd.DataFrame({"SKU": list(new_skus)}).to_csv("comparison-file.csv", index=False, encoding="utf-8-sig")

⚠️ 原代码问题解析与规避要点

错误根源：原代码中 usecols=[29] 和 usecols=[5] 强依赖列索引，极易因文件结构调整而失效；且 pd.merge(..., how='left', indicator=True) 后未正确关联原始主表行，导致后续文本逐行匹配逻辑失效（line.split(',')[0].strip() not in comparison_result 实际在判断字符串是否在DataFrame对象中，永远为 True）。
关键改进：
- ✅ 弃用列索引读取 → 改用列名读取（read_csv(..., usecols=["SKU"]) 或直接全量读取后筛选）；
- ✅ 统一数据类型与格式 → 对SKU列强制 astype(str).str.strip()，避免 'SKU123' 与 ' SKU123 ' 或数值型 123 匹配失败；
- ✅ 用集合运算替代复杂合并 → set(A) - set(B) 时间复杂度 O(n+m)，远快于 merge + query，且语义清晰、不易出错；
- ✅ 直接布尔索引筛选 → master_df[condition] 一步获取带全部原始列的新数据子集，无需手动逐行IO。

? 补充建议

若历史文件无明确 ID 列，但存在其他等价字段（如 product_code, item_id），请在 legacy_df["ID"] 处替换为对应列名；
如需处理超大文件（百万级行），可改用 dask 或分块读取（chunksize），但集合差集仍推荐先抽样SKU列构建轻量 set；
导出时使用 encoding="utf-8-sig" 可避免Windows Excel打开乱码（尤其含中文时）。