如何优化Python爬虫的内存占用问题_使用生成器替代列表处理海量数据流-Python教程-PHP中文网

生成器省内存的关键在于请求、解析、提取三层均避免全量驻留：requests层用流式响应和及时丢弃；BeautifulSoup层用iterparse或作用域控制；提取层逐条yield且拆分耗时操作。

如何优化python爬虫的内存占用问题_使用生成器替代列表处理海量数据流

生成器不是加个 yield 就能省内存，关键得在请求、解析、提取三层都切断“全量驻留”路径——否则内存照样涨到 MemoryError 报错为止。

requests 请求层：别用 `list(executor.map())` 收集全部响应

并发几百个 requests.get() 后直接塞进列表，等于把所有响应体（HTML/JSON/二进制）全锁在内存里。哪怕你后续只取标题，原始响应也纹丝不动。

改用 executor.map() + 包裹生成器函数，让每个响应处理完立刻丢弃：

def fetch_and_yield(url):
    resp = requests.get(url, timeout=10)
    # 立即提取关键字段，不保留 resp.text 或 resp.content
    yield {"url": url, "status": resp.status_code, "title": extract_title(resp.text)}
    # resp 对象作用域结束，引用计数归零，内存可回收

如果必须读原始响应流（比如大图或 PDF），用 resp.raw.iter_content(chunk_size=8192)，避免 resp.content 一次性加载
禁用 requests.Session() 的连接池缓存（pool_connections=0, pool_maxsize=0），防止连接对象长期滞留

BeautifulSoup 解析层：别让 `soup` 对象活过单次 `yield`

很多人写成 soup = BeautifulSoup(html, "lxml"); items = soup.select("li.item"); return items，结果整个 HTML DOM 树一直占着内存，直到函数退出——而实际只需要其中几个文本字段。

用 lxml.etree.iterparse() 替代 BeautifulSoup 解析超长 HTML，内存占用能压到 1/5；它边读边解析，不构建完整树

如果非用 BeautifulSoup，确保 soup 在 yield 后立即脱离作用域：

def parse_page(html):
    soup = BeautifulSoup(html, "lxml")
    for tag in soup.select("article"):
        yield {
            "title": tag.h1.get_text(strip=True) if tag.h1 else "",
            "pub_time": tag.time.get("datetime") if tag.time else None
        }
    # soup 变量在此函数返回后自动销毁，DOM 树释放

禁用 BeautifulSoup 的解析器缓存（features="lxml", parse_only=SoupStrainer(...)），减少冗余节点构建

数据提取层：字段提取逻辑必须独立成生成器，不能拼大字典再 `yield`

常见错误是循环里攒一个巨型 dict 或 list，最后 yield data_list——这等于没用生成器，还是全量驻留。

macOS UI 自动化技能包 —— 用 Python 控制你的 Mac

让 macOS 自动化像说话一样简单 —— 用代码控制你的 Mac，无需学习 AppleScript 系统要求 macOS 14+ (Sonoma) Python 3.9+ 需要开启：辅助功能 + 屏幕录制权限

下载

每条记录单独 yield，且字段提取函数本身也是生成器：

def extract_items(html):
    soup = BeautifulSoup(html, "lxml")
    for item in soup.select(".post"):
        yield {
            "id": item.get("data-id"),
            "title": item.h2.get_text(strip=True),
            "tags": [t.get_text() for t in item.select(".tag")]
        }
        # 每次 yield 后，item 和临时变量自动清理

避免在生成器内做耗时操作（如正则匹配大量文本），把它拆成管道式小生成器：def clean_text(text): yield text.strip().replace("\n", " ")
不用 json.loads(response.text) 解析大 JSON，改用 ijson.parse() 流式读取键值对

容易被忽略的内存泄漏点：全局缓存、日志、未关闭的文件句柄

生成器本身很轻，但周边代码可能悄悄拖住大量内存。比如日志里打印了完整 HTML 片段，或者用 functools.lru_cache() 缓存了上万条 URL 的解析结果。

检查所有 logging.info() 是否误打了 response.text 或 soup.prettify()，这类字符串极易撑爆内存
禁用 pandas.read_html() 或 json.load() 这类“一键全吞”函数，它们内部默认加载整块数据
用 psutil.Process().memory_info().rss 在关键节点打点监控，确认内存是否真在下降，而不是“看起来 yield 了，其实没释放”
显式调用 del soup; gc.collect() 在大解析块末尾，尤其当函数生命周期长（如 Flask 路由中复用爬虫逻辑）时