Python批量处理101个CSV文件并按行均值计算平方后谱密度-Python教程-PHP中文网

Python批量处理101个CSV文件并按行均值计算平方后谱密度

本文介绍如何使用pandas高效批量读取101个csv文件，对第二列（如谱密度s）逐元素平方后，按行号对所有文件对应位置的值求均值，最终获得平滑、统计稳健的平均谱功率密度曲线。

本文介绍如何使用pandas高效批量读取101个csv文件，对第二列（如谱密度s）逐元素平方后，按行号对所有文件对应位置的值求均值，最终获得平滑、统计稳健的平均谱功率密度曲线。

在科学数据处理中，常需对大量重复实验采集的CSV文件（如频谱功率密度SPD）进行统计聚合。本例涉及101个结构一致的CSV文件，每个含10001行×2列（频率W与谱密度S），目标是：对每个文件的S列平方 → 按行索引对齐 → 对101个文件同一行的平方值求均值，从而得到一条代表整体趋势的平均谱密度曲线。

关键在于避免逐文件循环计算再手动堆叠——这既低效又易出错。推荐采用“先合并、后分组”的向量化策略：

✅ 步骤一：批量读取并统一标记

import os
import pandas as pd

csv_folder = r'C:\Users\Den\Desktop\SPD'  # 替换为你的实际路径

frame_list = []
for file in os.listdir(csv_folder):
    if file.endswith('.csv'):
        filepath = os.path.join(csv_folder, file)
        df = pd.read_csv(filepath, sep=';', usecols=['W', 'S'])  # 显式指定列，提升效率
        df['file_id'] = file  # 记录来源文件，便于调试
        frame_list.append(df)

mega_df = pd.concat(frame_list, ignore_index=True, sort=False)
print(f"合并后总行数: {len(mega_df)}, 文件数: {len(frame_list)}")  # 应为 101 × 10001 = 1010101

⚠️ 注意：usecols参数可显著加快读取速度；ignore_index=True确保行索引连续，但后续需依赖原始行序——因此必须保证所有CSV文件行列顺序严格一致（即第i行对应相同频率点）。

Miller CSV TSV JSON 数据处理器
Miller (mlr) 是一个命令行工具，用于查询、整形和重新格式化名称索引数据，如 CSV、TSV、JSON 和 JSON Lines。它将 awk、sed、cut、join 和 sort 的功能整合到一个专为结构化数据处理而构建的单一工具中。

下载

✅ 步骤二：按物理行号对齐并计算均值

由于所有文件具有相同维度（10001行），我们可利用reset_index()创建统一行序号作为分组键：

# 添加行号（0~10000），作为跨文件对齐依据
mega_df['row_idx'] = mega_df.groupby('file_id').cumcount()

# 平方S列，并按行号分组求均值
mega_df['S_sq'] = mega_df['S'] ** 2
mean_curve = mega_df.groupby('row_idx')[['W', 'S_sq']].mean().reset_index(drop=True)
mean_curve.columns = ['W', 'S_mean_squared']

此时 mean_curve 即为所求结果：W 列为频率轴（自动取均值，若原始各文件W完全一致则无损），S_mean_squared 为101个文件对应行S²的算术平均值。

✅ 步骤三：可视化结果

import matplotlib.pyplot as plt

plt.figure(figsize=(10, 6))
plt.plot(mean_curve['W'], mean_curve['S_mean_squared'], linewidth=1.2, label='Avg SPD (S²)')
plt.xlabel('Frequency (W)')
plt.ylabel('Mean Squared Spectral Power Density')
plt.title('Averaged SPD over 101 Measurements')
plt.grid(True, alpha=0.3)
plt.legend()
plt.tight_layout()
plt.show()

? 验证与健壮性建议

一致性校验：运行前建议检查前几行W值是否完全一致：

# 验证所有文件首行W是否相同
w_refs = [pd.read_csv(os.path.join(csv_folder, f), sep=';', nrows=1)['W'].iloc[0] 
          for f in os.listdir(csv_folder) if f.endswith('.csv')]
assert len(set(w_refs)) == 1, "Warning: Frequency columns are not aligned!"