pandas 如何在 read_csv 时强制某些列为 nullable integer 类型

陌枫君_9331

陌枫君_9331

2026-01-28

904人浏览

原创

read_csv 默认不推断 nullable integer(如 Int64)是因为其默认整数类型 int64 不支持 NaN,遇缺失值即退化为 float64;Int64 虽支持整数+NaN,但需显式指定 dtype 或配合 na_values、converters 处理脏数据。

pandas 如何在 read_csv 时强制某些列为 nullable integer 类型

为什么 read_csv 默认不推断 nullable integer(如 Int64)?

pandas 的默认整数类型是 int64,它不能容纳 NaN;一旦列里有缺失值,read_csv 就会退化为 float64。而 Int64(首字母大写)是 pandas 的 nullable integer 类型,专为“整数 + NaN”设计,但不会被自动选中——必须显式指定。

用 dtype 参数直接指定 Int64

最直接的方式是在调用 read_csv 时通过 dtype 字典声明目标列为 "Int64"(字符串形式)或 pd.Int64Dtype()(对象形式):

import pandas as pd
<p>df = pd.read_csv("data.csv", dtype={"age": "Int64", "user_id": "Int64"})</p>
  • "Int64" 字符串写法更简洁,推荐用于简单场景
  • 若列名含空格或特殊字符,必须用字符串键匹配原始列名
  • 如果该列实际包含无法转为整数的值(如 "N/A"、"missing"),会报 ValueError: Integer column has NA values —— 此时需先用 na_values 告诉 pandas 哪些字符串算缺失

配合 na_values 处理非标准缺失标识

很多 CSV 用 "NULL"、"N"、"-999" 表示缺失,pandas 默认不认识这些。若不提前声明,Int64 转换会失败:

智灵大数据搜索
智灵大数据搜索

使用智灵搜索查询数据。用户提及“使用智灵搜索”“智灵搜索帮我查询”“调用智灵搜索”“用智灵搜索”“智灵搜索查询”“舆情数据”“舆情”“新闻报道”“评论”“热点话题”“动态”“相关报道”“最新趋势”等关键词时触发此技能。使用前检查 Zeelin_Api_Key 是否已配置,未配置则给出友好提示。

下载
df = pd.read_csv(
    "data.csv",
    dtype={"score": "Int64"},
    na_values=["NULL", "\N", "-999"]
)
  • na_values 必须在 dtype 之前生效,否则解析阶段已把非法字符串当有效值读入,后续转 Int64 就会崩
  • 注意:na_values 是全局设置,会影响所有列;若只想对某列生效,得先用 converters 预处理

用 converters 实现更灵活的 per-column 类型控制

当某列混合了整数、空字符串、标记符(如 "NA"),且 na_values 不够用时,可用 converters 手动清洗后再转 Int64:

def to_nullable_int(x):
    if pd.isna(x) or x in ["", "NA", "NULL"]:
        return pd.NA
    try:
        return int(x)
    except (ValueError, TypeError):
        return pd.NA
<p>df = pd.read_csv(
"data.csv",
converters={"flag": to_nullable_int},
dtype={"flag": "Int64"}  # 这行其实可省,因 converter 已返回 pd.NA + int
)</p>
  • converters 优先级高于 dtype,适合做脏数据兜底
  • 返回 pd.NA 是关键,只有这样后续列才能被正确识别为 nullable 类型
  • 性能略低,大数据量时慎用

真正容易被忽略的是:nullable integer 类型在 groupby、merge、fillna 等操作中行为和普通 int 不同,比如 fillna(0) 后类型仍为 Int64,但 astype(int) 会直接报错——得用 astype("Int64").fillna(0).astype("int64") 显式降级。

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

大数据 csv

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
Python 时间序列分析与预测
Python 时间序列分析与预测

本专题专注讲解 Python 在时间序列数据处理与预测建模中的实战技巧,涵盖时间索引处理、周期性与趋势分解、平稳性检测、ARIMA/SARIMA 模型构建、预测误差评估,以及基于实际业务场景的时间序列项目实操,帮助学习者掌握从数据预处理到模型预测的完整时序分析能力。

2025.12.04

380

15

Python 数据清洗与预处理实战
Python 数据清洗与预处理实战

本专题系统讲解 Python 在数据清洗与预处理中的核心技术,包括使用 Pandas 进行缺失值处理、异常值检测、数据格式化、特征工程与数据转换,结合 NumPy 高效处理大规模数据。通过实战案例,帮助学习者掌握 如何处理混乱、不完整数据,为后续数据分析与机器学习模型训练打下坚实基础。

2026.01.31

292

21

Python数据分析与Pandas高级实战
Python数据分析与Pandas高级实战

本专题围绕 Python 数据分析展开,系统讲解 Pandas 的高级用法,包括数据清洗、透视表、时间序列分析以及多表合并与分组操作。通过实战案例,帮助开发者掌握高效处理与分析数据的方法,提高数据处理效率与分析能力。

2026.04.13

1031

25

c语言中null和NULL的区别
c语言中null和NULL的区别

c语言中null和NULL的区别是:null是C语言中的一个宏定义,通常用来表示一个空指针,可以用于初始化指针变量,或者在条件语句中判断指针是否为空;NULL是C语言中的一个预定义常量,通常用来表示一个空值,用于表示一个空的指针、空的指针数组或者空的结构体指针。

2023.09.22

569

3

java中null的用法
java中null的用法

在Java中,null表示一个引用类型的变量不指向任何对象。可以将null赋值给任何引用类型的变量,包括类、接口、数组、字符串等。想了解更多null的相关内容,可以阅读本专题下面的文章。

2024.03.01

1698

6

js 字符串转数组
js 字符串转数组

js字符串转数组的方法:1、使用“split()”方法;2、使用“Array.from()”方法;3、使用for循环遍历;4、使用“Array.split()”方法。本专题为大家提供js字符串转数组的相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.03

1978

5

js截取字符串的方法
js截取字符串的方法

js截取字符串的方法有substring()方法、substr()方法、slice()方法、split()方法和slice()方法。本专题为大家提供字符串相关的文章、下载、课程内容,供大家免费下载体验。

2023.09.04

3304

5

java基础知识汇总
java基础知识汇总

java基础知识有Java的历史和特点、Java的开发环境、Java的基本数据类型、变量和常量、运算符和表达式、控制语句、数组和字符串等等知识点。想要知道更多关于java基础知识的朋友,请阅读本专题下面的的有关文章,欢迎大家来php中文网学习。

2023.10.24

6464

49

字符串介绍
字符串介绍

字符串是一种数据类型,它可以是任何文本,包括字母、数字、符号等。字符串可以由不同的字符组成,例如空格、标点符号、数字等。在编程中,字符串通常用引号括起来,如单引号、双引号或反引号。想了解更多字符串的相关内容,可以阅读本专题下面的文章。

2023.11.24

6769

6

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
PostgreSQL vs MySQL
PostgreSQL vs MySQL

共1课时 | 201人学习

大数据(MySQL)视频教程完整版
大数据(MySQL)视频教程完整版

共200课时 | 29.2万人学习

PHP会话控制/文件上传/分页技术
PHP会话控制/文件上传/分页技术

共22课时 | 3万人学习