Python 中实现多线程并发文件定位写入（Seek & Write）-Python教程-PHP中文网

Python 中实现多线程并发文件定位写入（Seek & Write）

本文详解如何在 Python 中安全、高效地使用多线程对同一文件进行随机位置写入——通过 rb+ 模式配合线程锁，避免覆盖与竞态，无需预填充，支持动态扩展文件。

本文详解如何在 python 中安全、高效地使用多线程对同一文件进行随机位置写入——通过 `rb+` 模式配合线程锁，避免覆盖与竞态，无需预填充，支持动态扩展文件。

在构建并发下载器（如分片下载后合并）时，一个常见优化策略是：预先创建目标文件，并让各工作线程直接跳转到指定偏移量（offset）写入对应数据块。但直接使用 "wb" 会清空文件，而 "ab" 又忽略 seek() ——这导致许多开发者陷入误区。关键在于：必须使用可读可写、不截断的二进制模式 rb+，并辅以适当的同步机制。

✅ 正确做法：`rb+` + 线程锁 + 无预填充

Python 的 open(..., "rb+") 模式允许：

在任意位置 seek() 并 write()；
若写入位置超出当前文件长度，文件会自动扩展，中间空白区域以 \x00 填充；
不清空原有内容，也不强制追加。

因此，完全无需预先写入占位符或调用 f.seek(size-1); f.write(b'\0') ——这是冗余且易错的操作。

以下是一个精简、健壮的实现示例：

Shadows Python Sensei

Python 最佳实践助手——代码规范、设计模式、性能优化、测试与类型注解。适用于编写或审查 Python 代码。

下载

from random import sample
from threading import Lock, Thread
from pathlib import Path

def writer_thread(offset: int, lock: Lock, file_path: Path) -> None:
    with lock:  # 全局串行化文件操作（因 seek+write 非原子）
        with file_path.open("rb+") as f:
            f.seek(offset)
            # 写入单字节（0–255），便于验证顺序
            f.write(bytes([offset]))

def concurrent_file_write(file_path: Path, n: int) -> None:
    # 1. 创建空文件（truncates if exists）
    file_path.write_bytes(b"")

    # 2. 启动 n 个线程，写入位置 0, 1, ..., n-1（乱序执行）
    lock = Lock()
    threads = [
        Thread(target=writer_thread, args=(i, lock, file_path))
        for i in sample(range(n), n)
    ]

    for t in threads:
        t.start()
    for t in threads:
        t.join()

    # 3. 验证结果
    content = file_path.read_bytes()
    print("写入结果（字节值）:", list(content))

if __name__ == "__main__":
    concurrent_file_write(Path("output.bin"), n=8)

输出示例：
写入结果（字节值）: [0, 1, 2, 3, 4, 5, 6, 7]

⚠️ 关键注意事项

seek() + write() 不是原子操作：即使 rb+ 支持随机写，多个线程同时操作同一文件句柄仍会导致数据错乱。因此必须用 threading.Lock 串行化每个 seek-write 组合（注意：锁粒度应覆盖整个 I/O 操作，而非仅 seek 或仅 write）。
避免 flush()：现代操作系统和 Python 文件缓冲层已足够可靠；显式 flush() 不仅冗余，还可能降低性能。
不要用 "wb" 或 "ab"：
- "wb" 总是截断文件 → 丢失已有数据；
- "ab" 忽略 seek()，强制追加 → 完全无法控制写入位置。
扩展安全：rb+ 模式下向超出文件末尾的位置写入是完全合法的，OS 自动补零，无需手动预分配。