Python文件锁不能只靠open()和with语句,因为二者仅管理单进程内文件资源生命周期,不提供跨进程互斥;真正需操作系统级锁(如flock或portalocker)协调并发访问,否则会导致读写错乱、数据覆盖或Resource temporarily unavailable错误。

Python文件锁为什么不能只靠open()和with语句?
因为open()本身不提供跨进程/线程的互斥保障——即使你用with open(...)确保单次操作原子性,多个进程同时执行open("data.txt", "r+")仍会抢夺文件句柄,导致读写错乱、数据覆盖或OSError: [Errno 11] Resource temporarily unavailable。真正需要的是操作系统级的文件锁。
用flock()实现最轻量的POSIX文件锁(Linux/macOS)
flock()是内核提供的 advisory lock,依赖文件描述符,不阻塞其他进程打开文件,但能协调对同一文件的并发访问。关键点:必须在os.open()获取fd后调用,不能对open()返回的file object直接使用。
- 加锁前需先用
os.open()打开文件,获取原始fd - 写锁用
fcntl.flock(fd, fcntl.LOCK_EX),读锁用fcntl.LOCK_SH - 锁是与fd绑定的,
os.close(fd)自动释放;程序崩溃时内核也会回收 - 非阻塞尝试加锁:传
fcntl.LOCK_EX | fcntl.LOCK_NB,失败抛OSError而非挂起
import fcntl
import os
<p>fd = os.open("counter.txt", os.O_RDWR | os.O_CREAT)
try:
fcntl.flock(fd, fcntl.LOCK_EX) # 阻塞直到获得锁</p><h1>安全读写</h1><pre class="brush:php;toolbar:false;">os.lseek(fd, 0, os.SEEK_SET)
content = os.read(fd, 1024).decode().strip()
new_val = int(content) + 1 if content else 1
os.lseek(fd, 0, os.SEEK_SET)
os.write(fd, str(new_val).encode())
os.ftruncate(fd, len(str(new_val)))finally: os.close(fd) # 自动解锁
Windows下必须用msvcrt.locking()或第三方库
Windows没有flock(),原生方案是msvcrt.locking(),但它只支持对文件片段加锁(不是整个文件),且仅适用于open()返回的file object(需以二进制模式打开)。更稳妥的做法是引入portalocker——它封装了跨平台锁逻辑,内部对Windows调用msvcrt.locking(),对POSIX调用flock()。
-
msvcrt.locking()参数为(file.fileno(), mode, length),mode=msvcrt.LK_NBLCK是非阻塞模式 -
portalocker安装:pip install portalocker - 它提供
portalocker.lock()和portalocker.unlock(),也支持上下文管理器
import portalocker
<p>with open("log.txt", "a") as f:
portalocker.lock(f, portalocker.LOCK_EX)
f.write("new entry\n")
f.flush() # 确保写入磁盘</p><h1>自动unlock</h1><p></p><div class="aritcle_card flexRow artxards">
<div class="artcardd flexRow">
<a class="aritcle_card_img" rel="nofollow" href="/xiazai/skill5288" title="提示词大师-python版"><img
src="https://img.php.cn/upload/skill/000/000/081/179042051830184.jpg" alt="提示词大师-python版" onerror="this.onerror='';this.src='/static/lhimages/moren/morentu.png'" ></a>
<div class="aritcle_card_info flexColumn">
<a rel="nofollow" href="/xiazai/skill5288" title="提示词大师-python版" class="overflowclass">提示词大师-python版</a>
<p class="overflowclass">图片提示词生成器?不止如此。
马甲系统 —— 把脑海中的画面,翻译成AI能理解的专业表达。
用得越多,它越懂你:首次需要多问几句确认方向,用久了几乎一说就懂。
用得越多,它越快:缓存机制让后续对话越来越省。
RAG进化:成功案例持续入库,越跑越聪明。
输入「新手指南」查看完整功能介绍</p>
</div>
<a rel="nofollow" href="/xiazai/skill5288" title="提示词大师-python版" class="aritcle_card_btn flexRow flexcenter"><b></b><span>下载</span>
</a>
</div>
</div>
为什么不要用临时文件+重命名替代文件锁?
有人用write to tmp_file then os.replace()模拟原子写入,这确实能避免部分竞态,但无法解决“读-改-写”类操作(比如读取计数器+1再写回)。两个进程同时读到值5,各自+1后都写6,最终丢失一次更新。文件锁是唯一能保证临界区串行执行的机制。
另外注意:fcntl.flock()在NFS文件系统上可能失效,portalocker默认也不支持NFS——如果部署在NFS环境,得考虑用数据库或分布式锁服务替代。
Python免费学习笔记(深入):立即使用
在学习笔记中,你将探索 Python 的核心概念和高级技巧!










