Python爬虫怎么实现定时任务调度_基于Linux Crontab运行Python-Python教程-PHP中文网

python爬虫被crontab可靠调用需显式指定python绝对路径、设置完整path和tz环境变量、使用文件锁防重叠、通过日志和时间戳验证执行，避免依赖shell配置或相对路径。

python爬虫怎么实现定时任务调度_基于linux crontab运行python

直接用 python spider.py 在终端能跑，放进 crontab 却没反应或报错，根本原因是环境不一致：crontab 默认使用最小化 shell（通常是 /bin/sh），不加载你的 bash 配置，PATH 极简，且没有激活的虚拟环境。

实操建议：

在脚本开头显式指定 Python 解释器路径，比如 #!/usr/bin/env python3 或更稳妥地写死（用 which python3 查到的绝对路径，如 /home/user/.pyenv/versions/3.11.5/bin/python3）
所有依赖包必须安装在该 Python 解释器对应的环境中（别指望系统 Python 能 import 你 virtualenv 里的 requests）
脚本内避免依赖当前工作目录（os.getcwd()），改用 os.path.dirname(os.path.abspath(__file__)) 定位配置文件或数据目录
加日志输出重定向，方便排查：crontab 行末尾加上 > /tmp/spider.log 2>&1

常见错觉是“每 5 分钟执行一次”写成 */5 * * * *，它确实能运行，但容易掩盖真实问题——比如脚本执行超时、上一次还没结束下一次又触发，导致并发冲突或资源耗尽。

更安全的写法和注意事项：

优先用 0,5,10,15,20,25,30,35,40,45,50,55 * * * * 明确列出分钟点，避免跨小时边界时的歧义
如果爬虫本身耗时波动大（比如有时 3 分钟、有时 8 分钟），务必在脚本开头加文件锁（用 flock -n 包裹命令，或 Python 用 portalocker 库），否则 crontab 不会自动跳过重叠任务
注意系统时区：crontab 默认用系统本地时区（timedatectl status 查看），不是你的脚本里写的 UTC；若服务器在海外，而你要按北京时间跑，要么改系统时区，要么在 crontab 前加 TZ=Asia/Shanghai

这不是代码 bug，而是环境隔离导致的典型现象。crontab 运行时 PATH 通常只有 /usr/bin:/bin，找不到你 pip 安装的可执行文件（如 scrapy），也找不到自定义模块路径。

Linux Distros

Linux发行版游乐场，适用于需要临时Linux沙箱、基于浏览器的Linux虚拟机、一次性终端环境、桌面Linux会话等场景

下载

解决方式必须组合使用：

在 crontab 条目中显式设置环境变量：
TZ=Asia/Shanghai PATH=/home/user/.pyenv/versions/3.11.5/bin:/usr/local/bin:/usr/bin:/bin USER=user
用绝对路径调用 Python 和脚本：
0 2 * * * /home/user/.pyenv/versions/3.11.5/bin/python3 /home/user/project/spider.py
如果用了相对导入或包结构（如 from utils.db import save），在脚本开头加：
import sys; sys.path.insert(0, '/home/user/project')

靠等结果或查数据库很容易误判。最直接的办法是让每次执行都留下明确痕迹。

推荐做法：

脚本开头立刻写一行时间戳到固定日志文件：
print(f"[{datetime.now()}] START") 并 flush，配合重定向确保落盘
在 crontab 中加简单测试命令快速验证调度是否生效：
* * * * * date >> /tmp/cron_test.log 2>&1（先确认 cron daemon 活着）
检查 cron 服务状态：systemctl status cron（Debian/Ubuntu）或 systemctl status crond（CentOS/RHEL）
查看 cron 系统日志：grep CRON /var/log/syslog（Ubuntu）或 journalctl -u cron -n 20

真正麻烦的不是写 cron 表达式，而是 Python 进程启动那一刻的环境快照——它和你在 terminal 里敲的那条命令，根本不在同一个世界里。漏掉任意一个路径、变量或权限，就静默失败。