如何在Python中对CSV文件进行字段过滤并另存为新文件?

老辰君_1627

老辰君_1627

2026-07-20

900人浏览

原创

最省事的方式是在 read_csv() 中用 usecols 参数直接选列,支持列名或索引列表,避免加载全量数据;二次筛选可用 filter() 或 df[[]];超大文件宜用 csv 模块流式处理。

如何在python中对csv文件进行字段过滤并另存为新文件?

用 pandas.read_csv() 读取时直接选列

如果目标只是保留某些字段(比如只要 "name" 和 "age"),最省事的方式是在读取阶段就筛掉无关列,避免加载整个大文件到内存。这在处理 GB 级 CSV 时尤其关键。

操作很简单:usecols 参数接受列名列表或列索引列表:

import pandas as pd
df = pd.read_csv("input.csv", usecols=["name", "age", "city"])  # 按列名选
# 或
df = pd.read_csv("input.csv", usecols=[0, 2, 4])  # 按位置选,从 0 开始

注意:usecols 会跳过未指定的列,连 header 都只保留你写的那些——所以输出文件的列顺序和你传入的列表顺序一致。如果原始 CSV 有空列或不规范分隔符,usecols 仍能工作,但建议先用 pd.read_csv("input.csv", nrows=1) 看一眼真实列名。

用 df.filter() 或 df[[]] 做二次筛选

读全量再过滤适合需要条件判断的场景,比如“只保留非空的 "email" 字段 + 同时要 "status" 为 "active" 的行”。这时先读全量,再用布尔索引或 filter()。

filter() 适合纯字段筛选,语法简洁:

df_filtered = df.filter(items=["name", "email", "signup_date"])  # 精确匹配列名
df_filtered = df.filter(regex="^id|_at$")  # 正则匹配,如 "user_id"、"created_at"

更常用的是直接索引写法,它更直观且支持重排序:

Forge — Python Developer
Forge — Python Developer

Python开发助手 — 自动化脚本、API封装、命令行工具、数据管道、网页爬虫。经过测试的代码,包含错误处理和文档。当你需要...

下载
  • df[["email", "name"]] —— 列顺序按你写的来
  • df.loc[:, ["email", "name"]] —— 明确声明只取列,避免链式赋值警告
  • 别用 df.email 单列取法做多列,它返回 Series,不能直接存多列

用 to_csv() 保存时控制格式细节

另存为新文件看似简单,但几个参数不设好容易出问题:

  • index=False —— 不写行号,否则第一列多出一列 0,1,2...
  • encoding="utf-8-sig" —— Windows 上用 Excel 打开中文不乱码(utf-8 本身会导致首行出现“锘”)
  • na_rep="" —— 把 NaN 替成空字符串,否则 Excel 里显示 "nan"
  • 如果原 CSV 是用制表符或分号分隔的,记得传 sep="\t" 或 sep=";",否则默认逗号可能解析错

示例:

df_filtered.to_csv("output.csv", index=False, encoding="utf-8-sig", na_rep="")

不用 pandas:用内置 csv 模块流式处理超大文件

当文件大到内存扛不住(比如 >500MB),或者你根本不想装 pandas,就得用标准库 csv 模块逐行读写。

关键点是:不能先读完再过滤,必须边读边写。示例中只保留 "id" 和 "score" 两列:

import csv
with open("input.csv") as f_in, open("output.csv", "w", newline="") as f_out:
    reader = csv.DictReader(f_in)
    writer = csv.DictWriter(f_out, fieldnames=["id", "score"])
    writer.writeheader()
    for row in reader:
        # 只取需要的字段,自动丢弃其他键
        writer.writerow({k: row[k] for k in ["id", "score"]})

注意:newline="" 必须传给 open(),否则 Windows 下每行多一个空行;DictWriter 要求输入字典的 key 必须严格等于 fieldnames,否则报 ValueError;如果原始 CSV 没 header,改用 csv.reader + 列索引取值。

这种写法没有内存压力,但没法做跨行逻辑(比如“取每组最大 score 的那行”),真要复杂逻辑,还是得上 pandas 或 dask。

Python免费学习笔记(深入):立即使用
在学习笔记中,你将探索 Python 的核心概念和高级技巧!

相关专题

更多
python打包成可执行文件
python打包成可执行文件

本专题为大家带来python打包成可执行文件相关的文章,大家可以免费的下载体验。

2023.07.20

1731

4

python能做什么
python能做什么

python能做的有:可用于开发基于控制台的应用程序、多媒体部分开发、用于开发基于Web的应用程序、使用python处理数据、系统编程等等。本专题为大家提供python相关的各种文章、以及下载和课程。

2023.07.25

4424

7

format在python中的用法
format在python中的用法

Python中的format是一种字符串格式化方法,用于将变量或值插入到字符串中的占位符位置。通过format方法,我们可以动态地构建字符串,使其包含不同值。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

2023.07.31

1709

3

python教程
python教程

Python已成为一门网红语言,即使是在非编程开发者当中,也掀起了一股学习的热潮。本专题为大家带来python教程的相关文章,大家可以免费体验学习。

2023.08.03

25937

23

python环境变量的配置
python环境变量的配置

Python是一种流行的编程语言,被广泛用于软件开发、数据分析和科学计算等领域。在安装Python之后,我们需要配置环境变量,以便在任何位置都能够访问Python的可执行文件。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.04

3147

5

python eval
python eval

eval函数是Python中一个非常强大的函数,它可以将字符串作为Python代码进行执行,实现动态编程的效果。然而,由于其潜在的安全风险和性能问题,需要谨慎使用。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.04

3167

5

scratch和python区别
scratch和python区别

scratch和python的区别:1、scratch是一种专为初学者设计的图形化编程语言,python是一种文本编程语言;2、scratch使用的是基于积木的编程语法,python采用更加传统的文本编程语法等等。本专题为大家提供scratch和python相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.11

1183

5

python合并两个列表
python合并两个列表

Python是一种强大的编程语言,具有许多方便的功能和工具。在Python中,有多种方法可以合并两个列表。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.10

596

4

python是前端还是后端
python是前端还是后端

Python属于前端也属于后端,其灵活性和丰富的生态系统使得开发人员能够在不同的领域中灵活运用。本专题为大家提供python相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.11

2463

5

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Uvicorn官方安装与入门手册
Uvicorn官方安装与入门手册

共0课时 | 0人学习

Python uv官方项目管理指南
Python uv官方项目管理指南

共0课时 | 0人学习

Python uv官方安装与入门文档
Python uv官方安装与入门文档

共0课时 | 0人学习