本文介绍使用 pandas 和 numpy 高效将每行含多组坐标（x,y,z）及对应向量（data_x,data_y,data_z）的宽格式文本文件，重塑为“一组坐标 + 对应向量”为一行的长格式结构，适用于大规模节点场数据处理。
本文介绍使用 pandas 和 numpy 高效将每行含多组坐标（x,y,z）及对应向量（data_x,data_y,data_z）的宽格式文本文件，重塑为“一组坐标 + 对应向量”为一行的长格式结构，适用于大规模节点场数据处理。
在科学计算与仿真后处理中，常遇到类似这样的宽格式数据：每行包含 N 个空间坐标三元组（如 x1 y1 z1 x2 y2 z2 ...）后紧跟 N 个向量分量三元组（如 data1x data1y data1z data2x data2y data2z ...）。目标是将每组 (xi, yi, zi) 与其对应的 (dataix, dataiy, dataiz) 合并为独立一行——即从「横向展开」转为「纵向展开」。手动切片拼接（如原始代码中硬编码索引 line_list[0:3]+line_list[30:33]）虽可行，但缺乏可扩展性、易出错且难以维护。
更智能、健壮且面向生产的方案是借助 pandas 与 numpy 的向量化能力。核心思路是：将整行数据解析为一维数组 → 按逻辑分组重塑为三维张量 → 沿指定轴展开合并。假设每行固定含 10 个节点（即 10 组坐标 + 10 组向量），则每行共 60 列（10×3 + 10×3）。通用实现如下：
import pandas as pd
import numpy as np
from io import StringIO
# 示例：用 StringIO 模拟文件读取；实际使用时替换为文件路径
txt = "x1 y1 z1 x2 y2 z2 x3 y3 z3 data1x data1y data1z data2x data2y data2z data3x data3y data3z"
# 实际场景：df = pd.read_csv('your_data.txt', sep=r'\s+', header=None, skiprows=1)
df = pd.read_csv(StringIO(txt), sep=r'\s+', header=None)
arr = df.values # 形状：(n_rows, n_cols)，例如 (1, 18)
# 假设每行有 n_nodes 个节点（此处 n_nodes = 3）
n_nodes = 3
# 将每行拆分为：前 n_nodes*3 列为坐标，后 n_nodes*3 列为向量
coords = arr[:, :n_nodes*3].reshape(-1, n_nodes, 3) # shape: (n_rows, n_nodes, 3)
vectors = arr[:, n_nodes*3:].reshape(-1, n_nodes, 3) # shape: (n_rows, n_nodes, 3)
# 拼接：对每个节点 i，合并 coords[:,i,:] 和 vectors[:,i,:]
result_rows = []
for i in range(n_nodes):
combined = np.column_stack([coords[:, i, :], vectors[:, i, :]]) # shape: (n_rows, 6)
result_rows.append(combined)
# 垂直堆叠所有节点的行（n_nodes × n_rows 行）
reshaped = np.vstack(result_rows) # shape: (n_nodes * n_rows, 6)
# 转为 DataFrame 并保存
output_df = pd.DataFrame(reshaped, columns=['x', 'y', 'z', 'data_x', 'data_y', 'data_z'])
output_df.to_csv('reformatted.csv', index=False, sep=' ', float_format='%.6f')
✅ 优势说明：
-
可扩展：仅需修改
n_nodes即适配 10 节点或任意数量； - 向量化：避免 Python 循环，大幅提升千行级以上文件处理速度；
-
健壮性：自动处理浮点精度（通过
float_format）、缺失值（可加na_filter=True）； -
内存友好：
reshape不复制数据，vstack/column_stack高效合成。
⚠️ 注意事项：
- 确保输入文件列数严格为
6 × n_nodes，否则reshape会报错；建议先校验df.shape[1] % 6 == 0； - 若首行为标题行（非数据），使用
skiprows=1；若需保留首行作新列名，可用header=0并后续drop； - 大文件处理时，可结合
chunksize分块读取，避免内存溢出。
该方法将原本脆弱的手动索引逻辑，升级为清晰、可复用、可测试的数据重塑范式，特别适合 CFD、FEM 等领域中海量节点场数据的标准化预处理。
