astype('category')能省下90%内存，因其将重复字符串转为整数编码数组和唯一值数组，大幅减少内存占用，但需先清洗数据、读取时指定dtype、并校验类别对齐。
为什么astype('category')能省下90%内存
因为原始字符串列在Pandas中默认是object类型，每个元素都存一个Python字符串对象指针，还要额外维护引用计数和哈希缓存；而category类型只存两部分：一是去重后的唯一值数组（叫categories），二是对应原始位置的整数编码数组（叫codes）。当文本重复率高（比如城市名、状态码、产品类别），整数数组比字符串数组小得多——尤其当字符串长、种类少、数据量大时，压缩效果直接拉满。
实操建议：
- 先用
df[col].nunique() / len(df)粗估重复率，比值低于0.1（即10%唯一性）就值得转 - 别对所有列盲目转换，
category对唯一值过多的列（如用户ID、长文本描述）反而更占内存 - 转换后检查
df[col].cat.categories，确认没意外引入空值或异常字符串（比如前后空格、大小写不一致）
astype('category')前必须清洗数据
分类转换不是万能胶水。如果原始字符串有隐式重复（比如"New York"和"new york"、"CA "和"CA"），astype('category')会把它们当成不同类别，白费内存还污染分析逻辑。
实操建议：
- 统一大小写：
df[col] = df[col].str.lower() - 去除首尾空格：
df[col] = df[col].str.strip() - 替换常见变体：
df[col] = df[col].replace({'us': 'USA', 'u.s.': 'USA'}) - 清洗后再调用
astype('category')，否则省下的内存可能被冗余类别吃掉
读取CSV时就用dtype={'col': 'category'}
等数据加载完再转astype，中间过程会双倍占用内存：既有原始object列，又在构建category结构。对上千万行数据，这一步可能直接OOM。
实操建议：
- 用
pd.read_csv(..., dtype={'status': 'category', 'region': 'category'})，跳过object阶段 - 如果列名多，可提前扫描样本估算唯一值：
pd.read_csv(file, nrows=10000).select_dtypes('object').nunique()，再决定哪些设为category - 注意：
category列不能直接参与数值运算，读入后立刻做.cat.codes或.cat.categories映射，别卡在中间态
别忽略ordered=True和categories显式指定
默认astype('category')生成的是无序分类，但很多业务场景其实有天然顺序（比如['low', 'medium', 'high']）。不声明ordered=True，后续sort_values()或cut()会按字典序排，结果错乱；而显式传入categories参数，能避免因训练/预测数据类别不一致导致的NaN注入。
实操建议：
- 有序场景用：
df['priority'] = df['priority'].astype(pd.CategoricalDtype(['low', 'medium', 'high'], ordered=True)) - 模型训练前固定类别：
train_cats = df_train['product_type'].unique(); df_test['product_type'] = pd.Categorical(df_test['product_type'], categories=train_cats) - 转换后用
df[col].memory_usage(deep=True)验证真实节省量，别只看info()里粗略的“category”字样
真正省内存的关键不在函数调用本身，而在清洗是否彻底、读取是否前置、类别是否对齐——三者漏一，90%就变成30%。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
