因xml.etree.elementtree解析gb级xml时内存暴涨、速度慢且不支持xpath 2.0+和流式迭代，而lxml底层为c实现，支持iterparse()边读边删节点，内存稳定在几十mb。
为什么不用xml.etree.ElementTree而选lxml
因为xml.etree.ElementTree在解析GB级XML时内存暴涨、速度慢，且不支持XPath 2.0+和流式迭代大文件；lxml底层用C实现，支持iterparse()边读边删节点，内存占用稳定在几十MB。你如果试过用ElementTree.parse()加载一个500MB的records.xml，大概率会触发MemoryError——这不是代码写得不对，是解析器本身设计就不适合海量场景。
实操建议：
- 安装时明确用
pip install lxml（别用conda默认源，某些版本有XPath兼容问题） - 始终用
lxml.etree.iterparse()配合event='start'或event='end'，避免一次性载入整棵树 - 对每个
elem处理完立刻调用elem.clear()和elem.getparent().remove(elem)，否则引用残留仍占内存
如何用iterparse提取关键字段并流式转为DataFrame
不能等所有XML读完再建pandas.DataFrame，那又回到内存爆炸的老路。正确做法是攒一批记录（比如1000条），构造成list[dict]，再批量转DataFrame，最后用pandas.concat()追加到主表。
常见错误现象：iterparse()返回的elem是动态节点，直接存elem.text可能为None（比如含子元素），或取elem.find('field').text在路径不存在时报AttributeError。
实操建议：
- 用
elem.xpath('.//field_name/text()')代替find()，XPath自动跳过缺失路径，返回空列表 - 字段值统一用
''.join(xpath_result)兜底，避免None或list类型混入 - 对重复结构（如
<item><tag>A</tag><tag>B</tag></item>），用elem.xpath('.//tag/text()')拿到['A', 'B']，再按需join(', ')或展开为多行
透视前必须做哪些数据清洗和类型对齐
Pandas的pivot_table()对列类型敏感：若date列实际是字符串但未转datetime64，分组会按字典序而非时间序；若amount含'N/A'或空格，pd.to_numeric(..., errors='coerce')没加就会全列变object，后续聚合失效。
使用场景：XML中常见<value unit="USD">123.45</value>这类带属性+文本混合结构，直接取text丢掉单位，取attrib又难对齐维度。
实操建议：
- 解析阶段就拆解：用
elem.xpath('./value/text()')取数值，elem.xpath('./value/@unit')取单位，分别存两列 - 清洗阶段强制类型：对数值列用
df['amount'] = pd.to_numeric(df['amount'], errors='coerce')，对日期列用pd.to_datetime(df['date'], errors='coerce') - 空值统一用
df.fillna({'category': 'UNKNOWN', 'amount': 0})，别留NaN进透视——pivot_table()默认dropna=True，可能悄无声息少掉整批数据
透视结果导出时的编码与分块陷阱
用to_csv()导出含中文的透视表，不设encoding='utf-8-sig'，Excel打开就是乱码；而用to_parquet()虽快，但pyarrow版本低于7.0时对嵌套schema支持差，容易报ArrowInvalid: Unsupported type for dictionary encoding。
性能影响：单个10GB XML解析后生成的df若直接pivot_table()，可能卡住几分钟——不是计算慢，是Pandas默认把所有列当object做哈希，应提前用astype('category')压缩高基数字符串列（如product_id）。
实操建议：
- 导出CSV务必加
encoding='utf-8-sig'，且设index=False，否则第一列多出无意义行号 - 透视前对维度列执行
df['region'] = df['region'].astype('category')，内存可降60%以上 - 超千万行结果别硬塞一个CSV，改用
df.to_parquet('output/', partition_cols=['year', 'month'])，既支持快速切片，又规避单文件过大问题
真正难的不是写对一行pivot_table()，而是从XML根节点开始，每层clear()是否及时、每个xpath()是否兜住缺失、每个astype()是否在内存爆炸前完成——这些细节不落地，再漂亮的透视表也只是本地跑通的幻觉。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
