本文介绍使用 pandas 配合 numpy，从带头尾注释的制表/空格分隔文本文件中，自动提取并按列索引周期性分组（如每 2 列一组），将所有“x”列、“y”列分别合并为单一一维浮点数组的方法，支持逗号小数点替换与 latin-1 编码。
本文介绍使用 pandas 配合 numpy，从带头尾注释的制表/空格分隔文本文件中，自动提取并按列索引周期性分组（如每 2 列一组），将所有“x”列、“y”列分别合并为单一一维浮点数组的方法，支持逗号小数点替换与 latin-1 编码。
在处理结构化但非标准的科学数据文件（如含多组坐标对的实验日志）时，常见需求是：跳过头部说明行和尾部注释行，读取中间数据块，并将按固定模式排列的列（例如 x1 y1 x2 y2 x3 y3）分别聚合为统一的 x_all 和 y_all 数组。手动指定每列、拼接数组不仅冗长，且难以扩展。
Pandas 提供了简洁可靠的解决方案。以下代码完整实现了该流程：
import pandas as pd
import numpy as np
# 读取文件：跳过前2行（header）和后1行（footer），用空白符（含tab）分割
df = pd.read_csv(
"file.txt",
header=None,
skiprows=2,
skipfooter=1,
sep=r"\s+", # 支持空格、制表符等任意空白分隔
encoding="latin-1" # 显式指定编码，避免 UnicodeDecodeError
)
# 替换所有逗号为英文句点，并整体转为 float 类型
df = df.replace(",", ".", regex=True).astype(float)
# 定义分组维度：每 n 列为一个逻辑变量（如 n=2 → x,y 交替）
n = 2
# 按列索引模 n 分组：i=0 取第 0,2,4...列；i=1 取第 1,3,5...列；全部展平为列优先顺序（Fortran order）
arrays = [df.iloc[:, i::n].to_numpy().flatten(order="F") for i in range(n)]
x_values, y_values = arrays[0], arrays[1]
print("x_values:", x_values)
print("y_values:", y_values)
✅ 关键优势说明：
- skiprows 与 skipfooter 精准定位数据区，无需手动计数或切片；
- sep=r"\s+" 自动兼容空格、Tab、混合空白，比固定 delimiter="\t" 更鲁棒；
- replace(..., regex=True) 批量处理逗号小数点转换，无需逐元素函数（如原 ctf）；
- iloc[:, i::n] 实现列步进切片（如 0::2 表示第 0、2、4…列），天然适配任意列数扩展；
- flatten(order="F") 按列优先展开，确保 x1,x2,x3,x4,... 顺序（对应原始文件的纵向阅读逻辑），而非默认行优先。
⚠️ 注意事项：
- 若文件末尾无空行，skipfooter=1 在旧版 Pandas 中可能失效，请升级至 ≥1.3 或改用 usecols + nrows 组合控制范围；
- 对超大文件，可添加 dtype=str 先加载再批量转换，避免 astype(float) 报错中断；
- 如需保留原始 numpy.ndarray 而非列表，可在最后用 np.stack(arrays, axis=0) 合并。
该方法将原本需硬编码列名或手动循环的逻辑，抽象为仅需配置 n（每组变量数）的通用范式，大幅提升可维护性与复用性。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
