千万级url探测需避免盲目高并发，应控制单次并发50–200，启用tcp连接复用与aiodns异步dns解析，分块持久化进度、分级超时、动态降频及异常隔离，方能稳定高效执行。
千万级URL探测不能只靠增加并发数
直接用 aiohttp.ClientSession 开几万个 semaphore 并发，大概率触发连接池耗尽、DNS阻塞或远端限流，最终卡死或返回大量 ClientConnectorError 或 TimeoutError。Python 3.11 的异步调度器虽有优化，但底层仍受限于系统文件描述符、本地 DNS 缓存策略和目标服务器响应模式。
- 单次并发建议控制在
50–200（视目标域名分散度调整），而非盲目堆到1000+ - 必须启用连接复用：
connector = aiohttp.TCPConnector(limit=0, limit_per_host=0, keepalive_timeout=30)，否则默认每域名仅 10 连接 - DNS 解析是隐性瓶颈：用
aiodns替代默认 resolver，或预解析并缓存 IP（尤其对固定域名集群） - 避免在循环里反复创建
ClientSession—— 它应复用整个探测生命周期
如何设计可中断、可恢复的批量探测任务
跑千万级 URL 时崩溃重来成本太高，得让任务能按 chunk 持久化进度、支持信号中断和断点续跑。不要依赖内存队列，改用带偏移量的文件迭代或 SQLite 记录已处理 hash（如 hashlib.sha224(url.encode()).hexdigest()[:12]）。
Secure Python Code Sandbox
下载
安全 Python 代码沙箱：在隔离的沙箱中执行任意 Python 代码，预装 requests、NumPy、pandas 库。返回 stdout、stderr。
- 输入源推荐分块读取：用
itertools.islice+ 文件游标，而非一次性readlines() - 成功/失败结果写入行式日志（JSONL 格式），每条含
url、status、elapsed、error字段，方便后续用pandas.read_json(..., lines=True)分析 - 捕获
KeyboardInterrupt后，主动调用session.close()和connector.close()，再保存当前 offset - 避免用
asyncio.gather包裹全部任务 —— 它无法按需 cancel 单个 task，改用asyncio.create_task+asyncio.wait控制批次
超时与重试必须按场景分级设置
统一设 timeout=10 对所有 URL 是反模式。CDN 域名可能秒回，内网测试地址却常卡在 SYN 阶段；有些 404 页面渲染慢，有些 503 根本不发 body。硬超时会掩盖真实瓶颈。
- 拆分 timeout：用
aiohttp.ClientTimeout(sock_connect=5, sock_read=15)，连接快但读取慢的页面不会被误判 - 重试仅针对幂等请求（
GET/HEAD），且限制最多 2 次，每次间隔递增（如 0.5s → 1.2s） - 跳过明确不可达类型：以
file://、javascript:、空 host、含 control char 的 URL 应在加载阶段过滤，不进 event loop - 对返回
503或429的域名，动态降频（例如该 host 下一周期并发减半，持续 30 秒）
Python 3.11 特有陷阱：taskgroup 与异常传播
asyncio.TaskGroup 在 3.11 引入，写法简洁，但默认行为会让一个 task 抛出异常导致整个 group cancel —— 对千万级探测来说，单个 DNS 失败不该 kill 全局任务流。
- 别用
async with asyncio.TaskGroup()直接包裹所有探测 task - 改用
asyncio.create_task+ 显式 await +task.exception()检查，让失败隔离 - 若坚持用 TaskGroup，必须配合
except Exception捕获后pass，否则异常未处理会终止整个 group -
sys.setswitchinterval()在 3.11 已废弃，别试图调它来“提升切换频率”——实际无效且破坏兼容性
netstat -an | grep :80 | wc -l 和 cat /proc/sys/net/ipv4/ip_local_port_range，再扩规模。Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
