pandas中object类型字符串列实际存储大量指针及元数据，内存开销巨大；转为category可节省90%以上内存，但仅适用于唯一值少、不常新增、无需.str操作的列。
Object类型字符串列在pandas里不是“存字符串”，而是存10万个指针——哪怕全都是重复值。直接转category能省下90%以上内存，但前提是这列真适合转：唯一值少、不常新增、不用做.str操作。
为什么object类型吃内存比你想象的还狠
Python的object dtype对每行字符串都分配独立的str对象，带引用计数、哈希缓存、类型头等开销。200万行全是"INFO"，就存200万个指向同一内容的指针+元数据，实际字符只占几KB，内存却飙到128MB。
而category只存两样东西：
– 一个紧凑的int数组（比如int8，每行占1字节）
– 一份去重后的字符串列表（categories），只存5个值
- 原始
object：每行≈8字节指针 + 字符串对象开销 → 平均每行~64字节 - 转
category后：每行1字节 + 共享的categories列表 → 平均每行≈0.2字节 - NaN被编码为-1，无需额外处理
哪些列适合转category，哪些千万别碰
别看别人说“所有字符串都转”，错的。关键看三件事：唯一值比例、后续用途、是否动态扩展。
提示词大师-python版
下载
图片提示词生成器？不止如此。 马甲系统 —— 把脑海中的画面，翻译成AI能理解的专业表达。 用得越多，它越懂你：首次需要多问几句确认方向，用久了几乎一说就懂。 用得越多，它越快：缓存机制让后续对话越来越省。 RAG进化：成功案例持续入库，越跑越聪明。 输入「新手指南」查看完整功能介绍
- 适合转：
df['status'].nunique() / len(df) （比如日志级别、设备型号、国家码） - 适合转：列只用于
.groupby()、.value_counts()、plt.hist()这类分类聚合 - 不适合转：
df['user_id'].nunique() == len(df)（全唯一）或df['url']（长且几乎无重复）——categories列表本身就会更占内存 - 不适合转：你要频繁用
df['col'].str.contains('xxx')或.str.split()，category不支持.str方法
怎么转才不出错、不掉坑
最常见翻车点不是转失败，而是后续pd.concat()或merge()时静默退化回object——因为不同DataFrame的category的categories不一致。
- 安全写法：统一用
pd.CategoricalDtype显式声明 dtype = pd.CategoricalDtype(categories=['INFO', 'WARN', 'ERROR'], ordered=False)df['level'] = df['level'].astype(dtype)- 避免反复调用
.astype('category')：每次都会重建categories，白耗CPU - 检查是否生效：
df['level'].dtype应返回CategoricalDtype，不是object
转完之后怎么验证效果和风险
别只信“省了90%”，得看真实数字和行为变化。
- 查内存：
df.memory_usage(deep=True).sum()对比前后 - 查编码：
df['level'].cat.codes是int数组，可直接喂给模型，比.map(dict)快得多 - 注意concat风险：两个
category列categories不同时，pd.concat([d1, d2])会让结果列变回object，悄无声息 - 新增未见过的值会报
ValueError: Cannot setitem on a Categorical with a new category，不是静默忽略
真正省内存的不是“用了category”这个动作，而是它把离散字符串映射成整数索引的能力。一旦列开始混入大量新值、或者你忘了统一dtype，压缩优势瞬间归零，还多一层出错路径。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
