文件锁是防止 crontab 多次启动同一 Python 脚本的最轻量跨平台方案:脚本用 os.open(..., O_CREAT | O_EXCL) 原子创建锁文件,成功则写入 PID 并执行主逻辑,异常或退出时 os.unlink() 清理;systemd 下还需配置 Type=oneshot 和 StartLimitBurst/Interval 防重复触发。

用文件锁防止 crontab 多次启动同一 Python 脚本
crontab 没有内置互斥机制,如果脚本执行时间波动大(比如网络延迟、数据库慢查),很容易在上一个实例还没退出时,下一个周期又拉起新进程——结果是多个 python script.py 同时跑,轻则数据重复写入,重则资源争抢崩溃。
最轻量、跨平台、不依赖外部服务的解法就是「文件锁」:脚本启动时尝试创建一个带固定路径的锁文件,成功才继续;失败就直接退出。注意不能只靠 os.path.exists() 判断,那是竞态条件。
- 用
open(..., 'x')模式(独占创建),它底层调用open(O_CREAT | O_EXCL),原子性强 - 锁文件路径建议用绝对路径,比如
/tmp/myscript.lock,避免工作目录影响 - 必须在
try/finally或with里确保异常时也能释放锁(但实际只需进程退出,OS 会自动清理fd;更稳妥的做法是显式os.unlink()) - 别用
time.sleep()等待锁释放——定时任务不是长连接,该失败就失败,让 cron 下次再试
import os import sys <p>LOCK_PATH = "/tmp/myscript.lock"</p><p>try: fd = os.open(LOCK_PATH, os.O_CREAT | os.O_EXCL | os.O_RDWR)</p><h1>成功拿到锁,把当前 pid 写进去便于排查</h1><pre class="brush:php;toolbar:false;">os.write(fd, str(os.getpid()).encode()) os.close(fd)
except OSError: print("Another instance is running, exiting.") sys.exit(1)
try:
your main logic here
pass
finally: try: os.unlink(LOCK_PATH) except OSError: pass # 锁文件可能已被删,忽略
systemd 定时器下要用 Type=oneshot + StartLimitIntervalSec
如果你迁移到 systemd timer(比如替代 crontab),光靠脚本内锁还不够——systemd 自身可能因配置不当重复触发。关键在 service 单元文件的两个配置项:
-
Type=oneshot:明确告诉 systemd 这是个一次性任务,不要当成长期服务管理 -
StartLimitIntervalSec=300和StartLimitBurst=1:限制 5 分钟内最多启动 1 次,超出即拒绝,比脚本层锁更前置
否则即使脚本加了锁,systemd 仍可能不断 fork 新进程并卡在锁等待上,日志里堆满 Failed at step EXEC spawning 或 Resource temporarily unavailable。
遇到 PermissionError: [Errno 13] Permission denied 怎么办
常见于非 root 用户往 /tmp 写锁文件却遭遇 SELinux 或文件系统挂载选项限制(比如 noexec、nosuid),或容器环境里 /tmp 是 tmpfs 但权限不对。
- 先检查
ls -ld /tmp,确认目标目录可写且没 setgid/setuid 误配 - 换路径试试,比如用户 home 下:
/home/user/.myscript.lock - 容器中优先用
/var/run(需提前mkdir -p /var/run && chmod 755 /var/run) - 绝不用
os.chmod()临时改权限——这解决不了根本,还可能被安全策略拦截
为什么不用数据库行锁或 Redis SETNX
可以,但属于过度设计。除非你的脚本本来就在重度依赖数据库或 Redis,否则为防重加一层网络依赖,反而引入新故障点:DB 连不上?Redis 延迟高?连接池耗尽?这些都会导致脚本“假死”或误判。
文件锁的优势在于:无外部依赖、失败快(毫秒级)、失败语义明确(直接 exit)、调试直观(ls /tmp/*.lock 一眼看到谁在占着)。真正需要分布式协调的场景(比如多台机器跑同一任务),再考虑 Redis 或 ZooKeeper。
最常被忽略的是锁文件路径的硬编码和清理时机——路径写相对路径、忘记 unlink、或脚本被 kill -9 导致锁残留,都得靠运维手动清,一疏忽就停服。
Python免费学习笔记(深入):立即使用
在学习笔记中,你将探索 Python 的核心概念和高级技巧!











