Python如何根据外部列表筛选DataFrame_借助isin方法匹配目标集合

浅强大大_2086

浅强大大_2086

2026-04-27

501人浏览

原创

isin()返回全false常见原因是列表含nan、类型不一致或列中存在未处理空值;isin()性能通常优于query(),尤其在30万行数据时更显著。

python如何根据外部列表筛选dataframe_借助isin方法匹配目标集合

用 isin() 筛选 DataFrame 时,为什么返回全 False?

常见原因是传入的外部列表含 NaN、类型不一致(比如字符串混着整数),或 DataFrame 对应列有空值但没处理。Pandas 的 isin() 对 NaN 默认不匹配——哪怕你列表里写了 float('nan'),它也认不出来,因为 NaN != NaN。

实操建议:

  • 先检查外部列表:用 print([type(x) for x in your_list]) 看类型是否统一;
  • 清理数据:对目标列用 df['col'].dropna().isin(your_list),或提前填充/过滤;
  • 别手动塞 np.nan 到列表里试图匹配空值——isin() 不支持;真要保留空行,得额外用 df['col'].isna() 合并逻辑。

isin() 和 query() 在筛选时性能差多少?

小数据量(isin() 更快,尤其当外部列表较短(query() 要解析字符串表达式、走 AST 执行路径,而 isin() 直接哈希查表。

实操建议:

  • 优先用 df[df['col'].isin(my_list)],简洁且高效;
  • 避免在 query() 里拼接长列表,比如 df.query("col in @my_list") —— 当 my_list 超过几千项,Python 字符串拼接和解析开销明显上升;
  • 如果必须用 query()(比如多条件混合),确保 my_list 是变量引用(@my_list),而非字面量列表,否则会触发重复编译。

筛选后发现结果比预期少——是不是 isin() 自动去重了?

不是。isin() 本身不改变原始顺序,也不去重;但如果你用它做布尔索引后又调用了 .drop_duplicates(),或者外部列表本身有重复值(不影响结果),就容易误判。

Forge — Python Developer
Forge — Python Developer

Python开发助手 — 自动化脚本、API封装、命令行工具、数据管道、网页爬虫。经过测试的代码,包含错误处理和文档。当你需要...

下载

更可能的原因是:

  • 目标列存在隐藏空格或大小写差异(比如 'apple ' vs 'apple'),用 df['col'].str.strip().str.lower().isin(...) 预处理;
  • 外部列表是 set 或从 dict.keys() 来的,而原 DataFrame 列含不可哈希类型(如 list、dict),导致 isin() 报错或静默跳过——此时会抛出 TypeError: unhashable type;
  • DataFrame 使用了 Categorical 类型,且外部列表中某些值不在 category 中,isin() 会返回 False(不是报错),需先用 df['col'].cat.add_categories(new_values) 扩展。

想同时按多个列匹配一个二维外部集合,还能用 isin() 吗?

不能直接用单个 isin()。它只支持一维序列匹配。但可以组合实现:

比如外部集合是 list of tuples:[('A', 1), ('B', 2)],目标列是 col1 和 col2:

mask = df.set_index(['col1', 'col2']).index.isin([('A', 1), ('B', 2)])
result = df[mask].reset_index(drop=True)

注意点:

  • 索引设置会拷贝数据,大表慎用;可改用 pd.MultiIndex.from_arrays([df['col1'], df['col2']]).isin(...) 避免临时索引;
  • 元组顺序必须和列顺序严格一致;
  • 如果有列含 NaN,MultiIndex 会把它们归为同一类,但 isin() 仍不匹配——此时需单独处理空值分支。

多列匹配真正麻烦的地方不在语法,而在缺失值和类型对齐——这两个问题一旦漏掉,结果偏差很难肉眼察觉。

Python免费学习笔记(深入):立即使用
在学习笔记中,你将探索 Python 的核心概念和高级技巧!

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

python

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
python打包成可执行文件
python打包成可执行文件

本专题为大家带来python打包成可执行文件相关的文章,大家可以免费的下载体验。

2023.07.20

1771

4

python能做什么
python能做什么

python能做的有:可用于开发基于控制台的应用程序、多媒体部分开发、用于开发基于Web的应用程序、使用python处理数据、系统编程等等。本专题为大家提供python相关的各种文章、以及下载和课程。

2023.07.25

4644

7

format在python中的用法
format在python中的用法

Python中的format是一种字符串格式化方法,用于将变量或值插入到字符串中的占位符位置。通过format方法,我们可以动态地构建字符串,使其包含不同值。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

2023.07.31

1749

3

python教程
python教程

Python已成为一门网红语言,即使是在非编程开发者当中,也掀起了一股学习的热潮。本专题为大家带来python教程的相关文章,大家可以免费体验学习。

2023.08.03

27477

23

python环境变量的配置
python环境变量的配置

Python是一种流行的编程语言,被广泛用于软件开发、数据分析和科学计算等领域。在安装Python之后,我们需要配置环境变量,以便在任何位置都能够访问Python的可执行文件。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.04

3307

5

python eval
python eval

eval函数是Python中一个非常强大的函数,它可以将字符串作为Python代码进行执行,实现动态编程的效果。然而,由于其潜在的安全风险和性能问题,需要谨慎使用。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.04

3327

5

scratch和python区别
scratch和python区别

scratch和python的区别:1、scratch是一种专为初学者设计的图形化编程语言,python是一种文本编程语言;2、scratch使用的是基于积木的编程语法,python采用更加传统的文本编程语法等等。本专题为大家提供scratch和python相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.11

1203

5

python合并两个列表
python合并两个列表

Python是一种强大的编程语言,具有许多方便的功能和工具。在Python中,有多种方法可以合并两个列表。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.10

596

4

python是前端还是后端
python是前端还是后端

Python属于前端也属于后端,其灵活性和丰富的生态系统使得开发人员能够在不同的领域中灵活运用。本专题为大家提供python相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.11

2583

5

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Uvicorn官方安装与入门手册
Uvicorn官方安装与入门手册

共0课时 | 0人学习

Python uv官方项目管理指南
Python uv官方项目管理指南

共0课时 | 0人学习

Python uv官方安装与入门文档
Python uv官方安装与入门文档

共0课时 | 0人学习