Python如何将爬虫抓取的数据实时写入本地JSONL_采用逐行写入模式防止崩溃-Python教程-PHP中文网

不能用json.dump()一次性写整个列表，因内存线性增长易崩溃、中途出错全丢数据、json不支持追加；必须用逐行jsonl格式，每行一个独立json对象，用json.dumps()转字符串后追加换行符。

python如何将爬虫抓取的数据实时写入本地jsonl_采用逐行写入模式防止崩溃

为什么不能用 `json.dump()` 一次性写整个列表

直接把所有数据攒成一个大列表再用 json.dump() 写入，看似简单，但实际极易崩溃：内存会随抓取量线性增长，10万条记录可能吃掉 2GB+ 内存；一旦中途出错（如网络中断、解析异常），整批数据全丢；JSON 格式本身也不支持“追加”——你没法在已有 JSON 文件末尾再塞一条合法 JSON 对象。

必须用逐行 JSONL（即 NDJSON）格式写入

JSONL 是每行一个独立 JSON 对象的纯文本格式，天然适合流式写入。关键点在于：每次只序列化单个字典，用 json.dumps() 转成字符串，手动加换行，然后 f.write() 追加。不要用 json.dump() 的 indent 或 ensure_ascii 等参数，它们会破坏单行结构。

实操建议：

打开文件时务必用 mode="a"（追加）或 mode="a+"，避免覆盖历史数据
每行结尾必须是 \n，且不能有多余空格或逗号
写入前对字段做基础清洗，比如把 None 转成 "" 或 null，否则 json.dumps() 会报 TypeError

示例写法：

import json
with open("data.jsonl", "a", encoding="utf-8") as f:
    for item in batch:
        # 清洗 None 值
        safe_item = {k: (v if v is not None else "") for k, v in item.items()}
        f.write(json.dumps(safe_item, ensure_ascii=False) + "\n")

如何防止写入过程中崩溃导致文件损坏

JSONL 文件不怕“断点”，但怕某一行写到一半中断（比如程序被 kill、磁盘满）。只要保证每行是完整、可解析的 JSON，哪怕只写入了 999 行，第 1000 行没写完，也不会影响前 999 行读取。

chartjs-reporter

此技能用于在用户需要将结构化数据（查询结果、CSV 摘要、JSON 记录或 Python 字典/列表）转换为独立的 HTML 页面时使用。

下载

更稳妥的做法：

用 try/except 包裹单次写入，失败时记录日志并跳过该条，不中断主流程
避免在循环内频繁打开/关闭文件——在爬虫主循环外打开一次，写完再关；否则 I/O 开销大，还容易触发系统文件句柄限制
如果需强一致性（例如金融类数据），可先写入临时文件 data.jsonl.tmp，写完用 os.replace() 原子替换，但普通爬虫没必要
别依赖 f.flush() 或 os.fsync()——它能降低丢失风险，但无法完全避免，且显著拖慢速度；按需启用即可

读取时要注意换行符和编码问题

很多人写完 JSONL 后用 pandas.read_json("data.jsonl", lines=True) 报错，常见原因有两个：一是 Windows 下写入用了 \r\n，而 lines=True 默认按 \n 切分；二是文件含 BOM 头（尤其用记事本保存过）。

安全读取方式：

写入时统一用 encoding="utf-8"，不加 BOM（Python 默认就不加）

读取时显式指定 encoding="utf-8"，pandas 示例：

import pandas as pd
df = pd.read_json("data.jsonl", lines=True, encoding="utf-8")

若遇到解析失败，可用生成器逐行读取排查：

with open("data.jsonl", "r", encoding="utf-8") as f:
    for i, line in enumerate(f, 1):
        try:
            data = json.loads(line.strip())
        except json.JSONDecodeError as e:
            print(f"Line {i} error: {e}, raw: {repr(line)}")

逐行写入本身很简单，难的是保持「每行都合法」和「写入过程不干扰主逻辑」——这两点漏掉任何一个，后期查数据就变成翻日志找哪一行少了个引号。