linux怎么使用rsync在不同磁盘间同步大数据并校验

雨枫君_3875

雨枫君_3875

2026-11-16

447人浏览

原创

rsync配合校验是迁移大训练数据集最稳妥方案;需先检查挂载与权限、安装rsync 3.1.0+、临时关闭SELinux,再用--checksum--partial--delete-after同步,最后用diff+md5sum或rsync -avn验证一致性。

linux怎么使用rsync在不同磁盘间同步大数据并校验

当你要把几十GB甚至上TB的训练数据集从旧SSD迁移到新NVMe盘,又担心传错一个字节导致模型训练失败时,rsync配合校验就是最稳妥的选择——它不只拷文件,还能逐块比对内容是否一致。

准备阶段:确认基础环境与权限

先检查两块磁盘是否都已挂载且可写:df -h | grep -E "(sdb|nvme)",确保源路径(如/mnt/old_data)和目标路径(如/mnt/new_data)存在且挂载点类型均为ext4/xfs;若目标目录不存在,用mkdir -p /mnt/new_data创建。

运行rsync --version确认已安装 rsync 3.1.0+,低版本可能缺失--checksum稳定支持;若未安装,执行yum install rsync -y(CentOS/RHEL)或apt install rsync -y(Ubuntu/Debian)。

【必须关闭SELinux临时策略,否则可能拦截文件属性同步】执行setenforce 0,并确认getenforce返回Permissive;若需永久关闭,修改/etc/selinux/config中SELINUX=disabled后重启。

核心同步命令:带断点续传与全量校验

执行以下命令启动同步:

rsync -avhP --checksum --partial --delete-after /mnt/old_data/ /mnt/new_data/

其中--checksum强制对每个文件做MD5比对(而非默认的大小+时间戳),确保内容零误差;--partial允许传输中断后继续,避免大文件重传;--delete-after在同步完成后再清理目标中多余文件,防止误删正在写的临时文件。

Linux DO
Linux DO

Linux DO (linux.do)。任何 Linux DO 请求(搜索、读取数据)均使用此技能。若任务涉及 Linux DO,应使用本技能而非调用其他。

下载

这一步耗时较长,但终端会实时显示每个文件的传输进度、速度和剩余时间;若中途断开(如SSH超时),重新执行相同命令即可从断点继续,无需人工干预。

校验结果验证:确认每一块数据都准确无误

同步完成后,立即运行校验比对:

diff

该命令对两个目录下所有普通文件生成MD5并排序比对,输出为空表示完全一致;若有差异,会列出具体文件路径及哈希值偏差。

注意:此操作会遍历全部文件并计算哈希,对千万级小文件可能较慢;若仅需抽样验证,可改用rsync -avn --checksum /mnt/old_data/ /mnt/new_data/——加-n参数模拟运行,只报告“需要更新”的文件列表,实际不传输,适合快速确认一致性。

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

linux系统 linux 大数据

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
大数据分析工具有哪四个
大数据分析工具有哪四个

大数据分析的四个工具分别是rapidminer、Hpcc、Hadoop和Pentaho bi。大数据分析用于从各种来源生成的原始数据中提取有价值的数据。这些数据帮助我们获得有意义的见解、隐藏的模式、未知的相关性、市场趋势等等,具体取决于行业。大数据分析的主要动机是提供有价值的见解,以便为未来做出更好的决策。php中文网为大家带来了大数据分析的相关教程、以及相关文章等内容,供大家免费下载使用。

2023.06.21

6496

5

Java 大数据处理基础(Hadoop 方向)
Java 大数据处理基础(Hadoop 方向)

本专题聚焦 Java 在大数据离线处理场景中的核心应用,系统讲解 Hadoop 生态的基本原理、HDFS 文件系统操作、MapReduce 编程模型、作业优化策略以及常见数据处理流程。通过实际示例(如日志分析、批处理任务),帮助学习者掌握使用 Java 构建高效大数据处理程序的完整方法。

2025.12.08

1269

12

大数据专业学习教程
大数据专业学习教程

本专题整合了大数据专业学习相关教程,阅读专题下面的文章了解更多详细内容。

2026.01.05

243

5

python处理大数据合集
python处理大数据合集

本专题整合了python处理大数据相关教程,阅读专题下面的文章了解更多详细内容。

2026.01.05

546

22

磁盘配额是什么
磁盘配额是什么

磁盘配额是计算机中指定磁盘的储存限制,就是管理员可以为用户所能使用的磁盘空间进行配额限制,每一用户只能使用最大配额范围内的磁盘空间。php中文网为大家提供各种磁盘配额相关的内容,教程,供大家免费下载安装。

2023.06.21

4590

4

如何安装LINUX
如何安装LINUX

本站专题提供如何安装LINUX的相关教程文章,还有相关的下载、课程,大家可以免费体验。

2023.06.29

3833

10

linux find
linux find

find是linux命令,它将档案系统内符合 expression 的档案列出来。可以指要档案的名称、类别、时间、大小、权限等不同资讯的组合,只有完全相符的才会被列出来。find根据下列规则判断 path 和 expression,在命令列上第一个 - ( ) , ! 之前的部分为 path,之后的是 expression。还有指DOS 命令 find,Excel 函数 find等。本站专题提供linux find相关教程文章,还有相关

2023.06.30

3173

5

linux修改文件名
linux修改文件名

本专题为大家提供linux修改文件名相关的文章,这些文章可以帮助用户快速轻松地完成文件名的修改工作,大家可以免费体验。

2023.07.05

7890

7

linux系统安装教程
linux系统安装教程

linux系统是一种可以免费使用,自由传播,多用户、多任务、多线程、多CPU的操作系统。本专题提供linux系统安装教程相关的文章,大家可以免费体验。

2023.07.06

7502

7

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Linux man-pages 项目
Linux man-pages 项目

共0课时 | 0人学习

Linux系统运维及项目正式上线
Linux系统运维及项目正式上线

共14课时 | 2.9万人学习

Linux负载均衡视频教程
Linux负载均衡视频教程

共7课时 | 1.9万人学习