为什么 io.Copy() 会创建大型稀疏文件，以及如何在保持稀疏性的同时有效地复制它们？

io.Copy() 创建大型稀疏文件：综合指南

文件稀疏的背景

io.Copy() 在字节级别运行，在输入和输出流之间传输原始数据。它缺乏处理文件稀疏的能力，这是一种通过在文件中创建孔（空白区域）来有效存储数据的优化技术。

io.Copy() 的挑战

因此，当使用 io.Copy() 复制稀疏文件时，目标文件会变得很大，因为没有机制来保留洞结构。 io.Copy() 将稀疏文件视为填充了数据，即使它们包含空白区域。

使用系统调用的解决方法

要克服此限制，一个必须绕过 io.Copy() 并使用 syscall 包手动实现文件复制。具体来说，SEEK_HOLE 和 SEEK_DATA 值应与 lseek(2) 结合使用来定位源文件中的漏洞和数据。

特定于平台的注意事项

SEEK_HOLE 和 SEEK_DATA 值因平台而异，因此必须确定目标系统的具体值。这些值可以从头文件或系统文档中获取。例如，Linux 系统通常在 /usr/include/unistd.h 中定义这些值。

创建特定于平台的文件

为了确保平台兼容性，建议创建包含 SEEK_HOLE 和 SEEK_DATA 值的特定于平台的文件。这使得开发者可以轻松地在不同平台之间切换，而无需修改核心代码。

读取稀疏文件的过程

读取稀疏文件时，关键是识别数据-包含区域并从这些区域读取数据。这涉及使用 SEEK_HOLE 寻找下一个数据区域，然后使用 SEEK_DATA 读取数据直到到达下一个洞。

传输稀疏文件

由于稀疏而传输稀疏文件需要额外的步骤。根据目标文件系统，fallocate(2) 可用于在目标文件中创建漏洞。如果不支持fallocate(2)，则可以用归零块填充漏洞，并希望操作系统将它们转换为实际的漏洞。

文件系统注意事项

需要注意的是，某些文件系统不支持漏洞。如果目标文件系统属于此类别，则无法使用此技术创建稀疏文件。

其他提示

• 考虑使用 os.Rename() 在同一文件系统中移动文件，从而避免复制的需要。
• 请参阅 Go 问题 #13548 以进一步了解创建稀疏 tar 文件。

以上是为什么 io.Copy() 会创建大型稀疏文件，以及如何在保持稀疏性的同时有效地复制它们？的详细内容。更多信息请关注PHP中文网其他相关文章！