Python中如何实现文件的并发安全读写(文件锁机制)?

陌晨君_3768

陌晨君_3768

2026-07-11

881人浏览

原创

Python文件锁不能只靠open()和with语句,因为二者仅管理单进程内文件资源生命周期,不提供跨进程互斥;真正需操作系统级锁(如flock或portalocker)协调并发访问,否则会导致读写错乱、数据覆盖或Resource temporarily unavailable错误。

python中如何实现文件的并发安全读写(文件锁机制)?

Python文件锁为什么不能只靠open()和with语句?

因为open()本身不提供跨进程/线程的互斥保障——即使你用with open(...)确保单次操作原子性,多个进程同时执行open("data.txt", "r+")仍会抢夺文件句柄,导致读写错乱、数据覆盖或OSError: [Errno 11] Resource temporarily unavailable。真正需要的是操作系统级的文件锁。

用flock()实现最轻量的POSIX文件锁(Linux/macOS)

flock()是内核提供的 advisory lock,依赖文件描述符,不阻塞其他进程打开文件,但能协调对同一文件的并发访问。关键点:必须在os.open()获取fd后调用,不能对open()返回的file object直接使用。

  • 加锁前需先用os.open()打开文件,获取原始fd
  • 写锁用fcntl.flock(fd, fcntl.LOCK_EX),读锁用fcntl.LOCK_SH
  • 锁是与fd绑定的,os.close(fd)自动释放;程序崩溃时内核也会回收
  • 非阻塞尝试加锁:传fcntl.LOCK_EX | fcntl.LOCK_NB,失败抛OSError而非挂起
import fcntl
import os
<p>fd = os.open("counter.txt", os.O_RDWR | os.O_CREAT)
try:
fcntl.flock(fd, fcntl.LOCK_EX)  # 阻塞直到获得锁</p><h1>安全读写</h1><pre class="brush:php;toolbar:false;">os.lseek(fd, 0, os.SEEK_SET)
content = os.read(fd, 1024).decode().strip()
new_val = int(content) + 1 if content else 1
os.lseek(fd, 0, os.SEEK_SET)
os.write(fd, str(new_val).encode())
os.ftruncate(fd, len(str(new_val)))

finally: os.close(fd) # 自动解锁

Windows下必须用msvcrt.locking()或第三方库

Windows没有flock(),原生方案是msvcrt.locking(),但它只支持对文件片段加锁(不是整个文件),且仅适用于open()返回的file object(需以二进制模式打开)。更稳妥的做法是引入portalocker——它封装了跨平台锁逻辑,内部对Windows调用msvcrt.locking(),对POSIX调用flock()。

  • msvcrt.locking()参数为(file.fileno(), mode, length),mode=msvcrt.LK_NBLCK是非阻塞模式
  • portalocker安装:pip install portalocker
  • 它提供portalocker.lock()和portalocker.unlock(),也支持上下文管理器
import portalocker
<p>with open("log.txt", "a") as f:
portalocker.lock(f, portalocker.LOCK_EX)
f.write("new entry\n")
f.flush()  # 确保写入磁盘</p><h1>自动unlock</h1><p></p><div class="aritcle_card flexRow artxards">
											<div class="artcardd flexRow">
												<a class="aritcle_card_img" rel="nofollow" href="/xiazai/skill5288" title="提示词大师-python版"><img
														src="https://img.php.cn/upload/skill/000/000/081/179042051830184.jpg" alt="提示词大师-python版" onerror="this.onerror='';this.src='/static/lhimages/moren/morentu.png'" ></a>
												<div class="aritcle_card_info flexColumn">
													<a rel="nofollow" href="/xiazai/skill5288" title="提示词大师-python版" class="overflowclass">提示词大师-python版</a>
													<p class="overflowclass">图片提示词生成器?不止如此。
马甲系统 —— 把脑海中的画面,翻译成AI能理解的专业表达。
用得越多,它越懂你:首次需要多问几句确认方向,用久了几乎一说就懂。
用得越多,它越快:缓存机制让后续对话越来越省。
RAG进化:成功案例持续入库,越跑越聪明。
输入「新手指南」查看完整功能介绍</p>
												</div>
												<a rel="nofollow" href="/xiazai/skill5288" title="提示词大师-python版" class="aritcle_card_btn flexRow flexcenter"><b></b><span>下载</span>
												</a>
											</div>
										</div>

为什么不要用临时文件+重命名替代文件锁?

有人用write to tmp_file then os.replace()模拟原子写入,这确实能避免部分竞态,但无法解决“读-改-写”类操作(比如读取计数器+1再写回)。两个进程同时读到值5,各自+1后都写6,最终丢失一次更新。文件锁是唯一能保证临界区串行执行的机制。

另外注意:fcntl.flock()在NFS文件系统上可能失效,portalocker默认也不支持NFS——如果部署在NFS环境,得考虑用数据库或分布式锁服务替代。

Python免费学习笔记(深入):立即使用
在学习笔记中,你将探索 Python 的核心概念和高级技巧!

相关专题

更多
python打包成可执行文件
python打包成可执行文件

本专题为大家带来python打包成可执行文件相关的文章,大家可以免费的下载体验。

2023.07.20

1651

4

python能做什么
python能做什么

python能做的有:可用于开发基于控制台的应用程序、多媒体部分开发、用于开发基于Web的应用程序、使用python处理数据、系统编程等等。本专题为大家提供python相关的各种文章、以及下载和课程。

2023.07.25

4064

7

format在python中的用法
format在python中的用法

Python中的format是一种字符串格式化方法,用于将变量或值插入到字符串中的占位符位置。通过format方法,我们可以动态地构建字符串,使其包含不同值。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

2023.07.31

1649

3

python教程
python教程

Python已成为一门网红语言,即使是在非编程开发者当中,也掀起了一股学习的热潮。本专题为大家带来python教程的相关文章,大家可以免费体验学习。

2023.08.03

23497

23

python环境变量的配置
python环境变量的配置

Python是一种流行的编程语言,被广泛用于软件开发、数据分析和科学计算等领域。在安装Python之后,我们需要配置环境变量,以便在任何位置都能够访问Python的可执行文件。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.04

2887

5

python eval
python eval

eval函数是Python中一个非常强大的函数,它可以将字符串作为Python代码进行执行,实现动态编程的效果。然而,由于其潜在的安全风险和性能问题,需要谨慎使用。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.04

2907

5

scratch和python区别
scratch和python区别

scratch和python的区别:1、scratch是一种专为初学者设计的图形化编程语言,python是一种文本编程语言;2、scratch使用的是基于积木的编程语法,python采用更加传统的文本编程语法等等。本专题为大家提供scratch和python相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.11

1143

5

python合并两个列表
python合并两个列表

Python是一种强大的编程语言,具有许多方便的功能和工具。在Python中,有多种方法可以合并两个列表。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.10

596

4

python是前端还是后端
python是前端还是后端

Python属于前端也属于后端,其灵活性和丰富的生态系统使得开发人员能够在不同的领域中灵活运用。本专题为大家提供python相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.11

2263

5

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程