Python 3.14.2是Python编程语言在2025年12月5日发布的稳定版本，属于3.14系列的第二个维护更新。该版本包含了18项修复，重点解决了多进程、数据类及正则表达式等模块的回归问题，并修复了CVE-2025-12084等安全漏洞。此版本标志着自由线程模式（移除GIL）正式获得官方支持，是Python发展的重要里程碑。
pyarrow + webhdfs 是当前最轻量、免 native 依赖的 hdfs 文件读取方案；hdfs3 已停维护，pyarrow ≥12.0 默认移除 libhdfs 支持，kerberos 集群需降级至 11.x 并手动配置。
不能真正“无缝”——hdfs3 已停止维护，PyArrow 的 HDFS 支持在 12.0+ 版本中默认移除 libhdfs，直接走 WebHDFS 或需手动编译，所谓“流式读取大文件”必须明确协议路径和权限边界。
hdfs3 库已不可用，别再 pip install hdfs3
你执行 pip install hdfs3 装上的其实是社区 fork 的 hdfs3-fork（如 hdfs3-2.2.5），原作者早在 2019 年就归档了仓库。它依赖 libhdfs（Hadoop C API），在非 Hadoop 集群环境（比如只装了 Hadoop client JAR 但没配 HADOOP_HOME + LD_LIBRARY_PATH）下大概率报错：Library not loaded: libhdfs.dylib（macOS）或 libhdfs.so: cannot open shared object file（Linux）。
实操建议：
- 立刻停用
hdfs3，改用 PyArrow + WebHDFS（最轻量、免 native 依赖） - 若必须走
libhdfs（例如 Kerberos 认证集群），请用 PyArrow 11.x（如pip install pyarrow==11.0.0），并确保HADOOP_HOME指向含lib/native/的 Hadoop 安装目录 - PyArrow ≥12.0.0 默认关闭
libhdfs支持，启用需源码编译并设ARROW_WITH_HDFS=ON，不推荐普通用户尝试
PyArrow 用 WebHDFS 读取大文件：绕过 Kerberos 就行
WebHDFS 是 HTTP 接口，无需本地 Hadoop 环境，只要 NameNode 开了 webhdfs.enabled=true（默认开启），且你的机器能 curl 通 http://namenode:50070/webhdfs/v1/...。
实操步骤：
- 安装带 WebHDFS 支持的 PyArrow：
pip install pyarrow（≥10.0 即可） - 构造
pyarrow.fs.WebHdfsHandler实例，注意端口是50070（HTTP）或50470（HTTPS），不是8020 - 用
pa.fs.FileSystem.open_input_file()获取可 seek 的 file-like 对象，不是“流式”字节流，但支持分块读（.read(64*1024)） - 若文件是 Parquet/ORC，直接传给
pa.parquet.read_table()，它内部自动分块拉取，不用手动 read
示例（读取 CSV）：
import pyarrow as pa
from pyarrow import fs
<p>webhdfs = fs.WebHdfsHandler(host="namenode", port=50070)
file = webhdfs.open_input_file("/data/large.csv")</p><h1>分块读，避免内存爆炸</h1><p>while True:
chunk = file.read(1024 * 1024) # 1MB per read
if not chunk:
break</p><h1>处理 chunk（如 feed 给 csv.DictReader）</h1><p></p>
想“流式解析”CSV/JSON？得自己拆行，PyArrow 不负责按行切分
PyArrow 的 open_input_file() 返回的是二进制随机访问对象，不是 io.TextIOWrapper。它不会帮你按 \n 切行，也不会识别 CSV header —— 这和本地 open() 行为一致。
常见误区：
- 误以为
pa.csv.read_csv(file)能流式处理：它会把整个文件 load 进内存再 parse，对 GB 级 CSV 依然 OOM - 直接
for line in file报错：因为file是 binary mode，没有__iter__
正确做法：
- 用
file.read(n)拉固定大小 buffer，自己扫描\n边界拼完整行（注意跨 buffer 的行断裂） - 更稳的方式：用
hdfs（Python 包名）库走 WebHDFS + requests.stream，配合iter_lines()（但它不支持 Kerberos） - 终极建议：把大 CSV 转成 Parquet（用 Spark 或 Hive 写一次），之后 PyArrow
read_table(..., use_threads=True)可并发读列，比逐行快一个数量级
权限与路径陷阱：WebHDFS 默认用当前 Linux 用户，不是 HDFS 用户
WebHDFS 请求头里带 User.name=$USER，如果你本地是 alice，但 HDFS 上该路径属 bob 且无 other 权限，就会 401 或 403。这不是 PyArrow 的 bug，是 HDFS 的安全设计。
绕过方法：
- 加
user参数显式指定：fs.WebHdfsHandler(host="...", port=50070, user="bob") - 如果集群启用了 Kerberos，WebHDFS 基本不可用（需 SPNEGO，PyArrow 不支持），此时只能退回 PyArrow 11.x + libhdfs +
kinit预认证 - 路径必须绝对：
/user/alice/data.csv，不能写hdfs://namenode:8020/user/alice/data.csv（那是 Hadoop Java URI 格式，PyArrow WebHDFS 不认）
最后提醒一句：所谓“流式读取”，本质是避免一次性加载全量数据到内存。但 HDFS 本身没有真正的 streaming read API，所有方案都是“分块 HTTP GET + 客户端缓冲”，真要低延迟实时消费，该上 Kafka 或 Pulsar，别硬扛 HDFS。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
