如何将训练集与测试集合并并保存为原始结构的 CSV 文件

胖敏酱_1795

胖敏酱_1795

2026-07-11

612人浏览

原创

如何将训练集与测试集合并并保存为原始结构的 CSV 文件

本文介绍如何在使用 train_test_split 划分数据后,将 X_train、X_test、y_train、y_test 无损还原为原始 DataFrame 结构(含列名与顺序),并导出为 CSV 文件。

本文介绍如何在使用 `train_test_split` 划分数据后,将 `x_train`、`x_test`、`y_train`、`y_test` 无损还原为原始 dataframe 结构(含列名与顺序),并导出为 csv 文件。

在机器学习流程中,常需将原始数据集(如 df)按特征 X 和标签 y 拆分,并进一步划分为训练集与测试集。但有时出于数据审计、版本存档或下游协作需求,需将划分后的数据严格还原为原始格式——即保留原始列名、列顺序、数据类型及行序逻辑(注意:train_test_split 默认打乱顺序,若需完全复原原始行序,须提前保存索引;本文默认接受划分后的自然拼接顺序,但确保结构一致)。

✅ 正确还原与保存步骤

首先,确保你已保留原始 DataFrame 的列名(尤其是目标列位置):

Miller CSV TSV JSON 数据处理器
Miller CSV TSV JSON 数据处理器

Miller (mlr) 是一个命令行工具,用于查询、整形和重新格式化名称索引数据,如 CSV、TSV、JSON 和 JSON Lines。它将 awk、sed、cut、join 和 sort 的功能整合到一个专为结构化数据处理而构建的单一工具中。

下载
# 假设原始 df 包含特征列 + 最后一列为 'label'
feature_cols = df.drop('label', axis=1).columns.tolist()
columns_order = feature_cols + ['label']  # 显式定义列顺序,避免歧义

接着,将拆分后的数组合并为完整二维结构:

import numpy as np
import pandas as pd
from sklearn.model_selection import train_test_split

# 划分前保存原始列名(关键!)
original_columns = df.columns.tolist()

# 划分数据(注意:stratify=y 会打乱行序,原始索引已丢失)
X = df.drop('label', axis=1).values
y = df['label'].values  # 更简洁,无需 reshape + ravel
X_train, X_test, y_train, y_test = train_test_split(
    X, y, train_size=0.8, test_size=0.2, 
    random_state=0, stratify=y
)

# 合并训练集与测试集:先各自拼接特征+标签,再纵向堆叠
train_full = np.hstack([X_train, y_train.reshape(-1, 1)])
test_full = np.hstack([X_test, y_test.reshape(-1, 1)])
merged_array = np.vstack([train_full, test_full])

# 构建新 DataFrame,严格使用 original_columns 保证列名与顺序
df_merged = pd.DataFrame(merged_array, columns=original_columns)

# 可选:恢复数值类型(因 np.hstack 会转为 float64,需按需转换)
for col in df_merged.select_dtypes(include=['number']).columns:
    if pd.api.types.is_integer_dtype(df[col]):
        df_merged[col] = pd.to_numeric(df_merged[col], downcast='integer')

# 保存为 CSV,不保存索引,确保纯数据一致性
df_merged.to_csv('merged_dataset.csv', index=False)

⚠️ 重要注意事项

  • 列名必须显式传递:np.hstack/np.vstack 仅处理数值,丢失列信息,务必用 columns=original_columns 显式指定。
  • 数据类型可能变化:NumPy 数组运算常将整型转为浮点型。若原始 label 为类别型(如 int 或 str),建议在 to_csv() 前用 astype() 显式转换,或改用 pd.concat 配合 pd.DataFrame 构造(更类型安全):
    train_df = pd.DataFrame(X_train, columns=feature_cols)
    train_df['label'] = y_train
    test_df = pd.DataFrame(X_test, columns=feature_cols)
    test_df['label'] = y_test
    df_merged = pd.concat([train_df, test_df], ignore_index=True)[original_columns]
  • 行序不可逆:train_test_split 的 shuffle=True(默认)会打乱原始顺序。如需严格保持原始行序,请设置 shuffle=False,或在划分前用 df.reset_index(drop=True) 并保存索引映射。
  • 避免 .values 过度使用:直接操作 DataFrame 子集(如 df.iloc[train_idx])可天然保留列名与类型,是更健壮的替代方案。

最终生成的 merged_dataset.csv 将与原始 df 具有完全一致的列结构、命名和数据布局,可直接用于报告、归档或跨团队交付。

相关专题

更多
python打包成可执行文件
python打包成可执行文件

本专题为大家带来python打包成可执行文件相关的文章,大家可以免费的下载体验。

2023.07.20

1551

4

python能做什么
python能做什么

python能做的有:可用于开发基于控制台的应用程序、多媒体部分开发、用于开发基于Web的应用程序、使用python处理数据、系统编程等等。本专题为大家提供python相关的各种文章、以及下载和课程。

2023.07.25

3624

7

format在python中的用法
format在python中的用法

Python中的format是一种字符串格式化方法,用于将变量或值插入到字符串中的占位符位置。通过format方法,我们可以动态地构建字符串,使其包含不同值。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

2023.07.31

1549

3

python教程
python教程

Python已成为一门网红语言,即使是在非编程开发者当中,也掀起了一股学习的热潮。本专题为大家带来python教程的相关文章,大家可以免费体验学习。

2023.08.03

20657

23

python环境变量的配置
python环境变量的配置

Python是一种流行的编程语言,被广泛用于软件开发、数据分析和科学计算等领域。在安装Python之后,我们需要配置环境变量,以便在任何位置都能够访问Python的可执行文件。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.04

2567

5

python eval
python eval

eval函数是Python中一个非常强大的函数,它可以将字符串作为Python代码进行执行,实现动态编程的效果。然而,由于其潜在的安全风险和性能问题,需要谨慎使用。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.04

2627

5

scratch和python区别
scratch和python区别

scratch和python的区别:1、scratch是一种专为初学者设计的图形化编程语言,python是一种文本编程语言;2、scratch使用的是基于积木的编程语法,python采用更加传统的文本编程语法等等。本专题为大家提供scratch和python相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.11

1063

5

python合并两个列表
python合并两个列表

Python是一种强大的编程语言,具有许多方便的功能和工具。在Python中,有多种方法可以合并两个列表。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.10

576

4

python是前端还是后端
python是前端还是后端

Python属于前端也属于后端,其灵活性和丰富的生态系统使得开发人员能够在不同的领域中灵活运用。本专题为大家提供python相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.11

2023

5

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Pandas 官方文档与用户指南
Pandas 官方文档与用户指南

共0课时 | 0人学习

Pandas 教程
Pandas 教程

共15课时 | 1.8万人学习