如何在Python中安全处理大文件并持久化读取进度-Python教程-PHP中文网

如何在Python中安全处理大文件并持久化读取进度

python 标准库不提供“读一行即删一行”的文件操作函数，但可通过外部进度文件记录已处理行号，实现断点续传式文件处理，避免重复读写全量数据。

在实际生产环境中，尤其是处理日志、批量任务或ETL流水线时，常需保证程序崩溃（如意外断电、进程被杀）后能从中断处继续执行，而非从头开始或丢失状态。直接修改原文件（如每次读取后重写剩余内容）不仅效率低下（O(n²)时间复杂度）、线程不安全，还存在数据丢失风险——若写入中途失败，原始文件可能已被截断。

更健壮的替代方案是解耦“读取”与“状态管理”：保持源文件只读不变，将处理进度单独持久化。推荐采用以下两种工业级实践：

✅ 方案一：基于行号的轻量进度追踪（推荐用于结构化文本）

使用独立的进度文件（如 progress.txt）仅保存最后成功处理的行号。启动时读取该值，跳过此前所有行：

macOS UI 自动化技能包 —— 用 Python 控制你的 Mac

让 macOS 自动化像说话一样简单 —— 用代码控制你的 Mac，无需学习 AppleScript 系统要求 macOS 14+ (Sonoma) Python 3.9+ 需要开启：辅助功能 + 屏幕录制权限

下载

def process_file_with_checkpoint(filepath: str, progress_filepath: str):
    # 读取上次中断位置
    try:
        with open(progress_filepath, 'r') as f:
            last_line = int(f.read().strip())
    except (FileNotFoundError, ValueError):
        last_line = 0

    # 流式读取，避免一次性加载全部内容（适用于大文件）
    with open(filepath, 'r') as f:
        for line_num, line in enumerate(f, start=1):
            if line_num <blockquote>⚠️ 注意事项：  进度文件写入应尽量轻量（单行整数），并确保写入后调用 os.fsync() 可进一步增强可靠性（尤其在Linux上）；  若需更高一致性，可结合临时文件+原子重命名（如写入 progress.tmp 后 os.replace()）；  对于超大文件（GB级），避免 readlines() 全加载，改用逐行迭代器（如示例所示）。</blockquote><h3>✅ 方案二：归档已处理行（适合需审计或回溯场景）</h3><p>将每行处理结果追加至归档文件（如 processed.log），源文件永久保留。重启时通过对比两文件行数确定起点：</p><pre class="brush:php;toolbar:false;">import os

def archive_and_process(source: str, archive: str):
    source_lines = sum(1 for _ in open(source))
    archive_lines = sum(1 for _ in open(archive)) if os.path.exists(archive) else 0
    start_at = archive_lines + 1

    with open(source, 'r') as src, open(archive, 'a') as arc:
        for i, line in enumerate(src, start=1):
            if i <h3>? 总结</h3>