搜索
首页后端开发php教程文件锁 - PHP 读文件怎么实现加锁

有大量文件需要处理。
用一个php进程去操作会很慢。

如何在一个进程读某一个文件的时候,把文件锁上。
不让其他进程可以再读而直接跳过,继续读其他的?

把正在读得文件rename,读完之后再rename回来,效率挺低的。如果实在没有更好的方法,就只能用这个了。
flock,测试了一下,貌似不太好用,试了一下,没实现文件的非阻塞读锁。
给不同进程分配不同的文件,不好实现。
也没数据库。就算有。用数据库做锁,貌似比rename更低效。

请问有什么更好的方式可以给文件加 读锁。因为,只需要读文件。

回复内容:

有大量文件需要处理。
用一个php进程去操作会很慢。

如何在一个进程读某一个文件的时候,把文件锁上。
不让其他进程可以再读而直接跳过,继续读其他的?

把正在读得文件rename,读完之后再rename回来,效率挺低的。如果实在没有更好的方法,就只能用这个了。
flock,测试了一下,貌似不太好用,试了一下,没实现文件的非阻塞读锁。
给不同进程分配不同的文件,不好实现。
也没数据库。就算有。用数据库做锁,貌似比rename更低效。

请问有什么更好的方式可以给文件加 读锁。因为,只需要读文件。

你的问题是:
1. 很多文件,想多进程处理,以提高效率,缩短总处理时间
2. 这些进程只需要读文件,不需要写
3. 对每个文件,只要有一个进程处理过它就可以了,没有多个进程都必须处理它的需求

你的需求其实是分治,将文件分为多个组(不一定要在文件系统上新建目录),然后分而治之,这种情况不需要用锁.

锁不是用于这种场景的,锁用于下面这种场景:

1. 文件file.txt里面记录了user1的销售额和user2的销售额,user1+user2的销售总额
2. 进程php1负责写入user1的数据,进程php2负责写入user2的数据,两个进程各读出销售总额显示给user1,user2
3. user1和user2同时要求写入,真的是同时,不是前后差个几秒什么的

建议你这样解决:
1. 启动多个PHP进程(nohup php your_script.php your_dir &)
2. 每个PHP进程赋予一个序号(假设4个进程,那就0,1,2,3),可以通过对进程自身的pid模运算取余数得到,也可以在启动进程的时候通过命令行传入,随你了
3. 每个进程在处理文件前先对文件名做crc32()运算,模一下进程总数: crc32(file_name) % 4, 取模结果与此进程的序号相等就读取内容并处理,不相等就跳过

最后:小编帮我排个版吧...

  1. 如@felix021 所说,flock($res, LOCK_EX|LOCK_NB) 是有效的,请好好看文档……
  2. @卖掉内裤去上网 所说,memcached 虽然是纯内存操作,但毕竟有网络或unix domain socket开销,为了一个文件锁去启动一个Memcached未免太浪费。Linux中可以使用共享内存来做锁,请参考php手册中 shm_has_var / shm_put_var 。
  3. 如你自己说的,每进程分配一个专有文件也是可以的,并不是很麻烦,如果所有工作进程都有一个主进程fork出来就更方便了,最简单最dirty的办法是,把文件名放在主进程数组里,每次fork之前,就pop出来一个文件名……
  4. 用文件rename的方法跟@卖掉内裤去上网 说的依靠判断一个lock文件存在与否的办法开销差不多,如果你的文件数不是很多,锁抢占不频繁,可以这么做……

除了文件锁以外,其他自行实现的锁在有锁进程意外退出时,都需要自行实现解锁机制。所以,还是推荐用文件锁,会由系统来自动释放……

关于flock的演示

function do_flock(){
    ob_implicit_flush(true); //关闭PHP输出缓冲
    $file = __FILE__;
    $f = fopen($file, 'r');
    $count = 0;
    while(1){
      $locked = flock($f, LOCK_NB | LOCK_EX);
      if($locked) {
        echo "GOT LOCK\n";
        sleep(10);
        flock($f, LOCK_UN);
        echo "RELEASE LOCK\n";
        break;
      } else {
        echo 'LOCKED BY OTHER, WAIT:' . ($count ++) . "\n";
        sleep(1);
      }   
    }   
}

测试方法:

time curl --no-buffer "http://localhost/flock"
//在10秒钟之内另外一个terminal里再执行相同命令

Terminal 1 输出:

GOT LOCK
RELEASE LOCK

real	0m10.023s
user	0m0.008s
sys	0m0.008s

Terminal 2 输出:

LOCKED BY OTHER, WAIT:0
LOCKED BY OTHER, WAIT:1
LOCKED BY OTHER, WAIT:2
LOCKED BY OTHER, WAIT:3
LOCKED BY OTHER, WAIT:4
LOCKED BY OTHER, WAIT:5
LOCKED BY OTHER, WAIT:6
LOCKED BY OTHER, WAIT:7
LOCKED BY OTHER, WAIT:8
GOT LOCK
RELEASE LOCK

real	0m19.025s
user	0m0.008s
sys	0m0.008s

Ubuntu 12.04 测试通过,没有Mac没法测,但应该没啥问题,毕竟是同根同源的,PHP源码里也只是对Win有特殊实现……

注意,以下情况会影响输出效果

  1. 浏览器有渲染缓冲,webkit核心的浏览器大概需要额外输出4k字节的空白才会开始渲染输出
  2. 如果用FastCGI方式部署的PHP,Web服务器可能会有输出缓冲,我用的Cherokee大概也是4k左右的缓冲

针对这些缓冲,可以在每次echo时,把内容用str_pad补齐4096字节

1. 为什么你会觉得rename效率低呢?如果一个目录下的文件不是相当多的话,这个应该不低。

2. 你肯定没有好好看flock的文档.

如果不希望 flock() 在锁定时堵塞,则给 operation 加上 LOCK_NB(PHP 4.0.1 以前的版本中设置为 4)。

用memcached实现吧。

比如读取文件 $filename = "t.txt";

if(!$memcached->get($filename)){
   //文件锁不存在,那么执行文件读取功能
   //首先再将文件锁住,
   $memcaced->save($filename,'1');
   $fs = fopen($filename,'r+');
   
   fclose($fs);
   //读取完毕释放文件锁
   $memcaced->delete($filename);
}else{
   // 文件锁已经存在,跳过
   
}

以上是 memcaced 纯内存操作,速度会很快,根本不要考虑到性能的问题,当然还有一种方法,采用真正的文件锁,即添加一个新文件的方法控制,文件争用,但是此方法将加大IO的开销。

flock,测试了一下,貌似不太好用,试了一下,没实现文件的非阻塞读锁。

我记得好像有啊

http://php.net/manual/zh/function.flo...

LOCK_SH 就是读取锁,加锁后,其他程序可以读取,但不能写入
LOCK_EX 就是写入锁,加锁后,其他程序不能读也不能写
LOCK_NB(Windows不支持) 就是非阻塞模式,得不到锁立刻返回

我觉得这三个参数组合起来完全可以实现楼主的需求.

最简单解决办法,一共俩文件,一个write,一个read。reader完了等writer close了就对调文件名。

声明
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn
简单地说明PHP会话的概念。简单地说明PHP会话的概念。Apr 26, 2025 am 12:09 AM

phpsessionstrackuserdataacrossmultiplepagerequestsusingauniqueIdStoredInacookie.here'showtomanageThemeffectionaly:1)startAsessionWithSessionwwithSession_start()和stordoredAtain $ _session.2)

您如何循环中存储在PHP会话中的所有值?您如何循环中存储在PHP会话中的所有值?Apr 26, 2025 am 12:06 AM

在PHP中,遍历会话数据可以通过以下步骤实现:1.使用session_start()启动会话。2.通过foreach循环遍历$_SESSION数组中的所有键值对。3.处理复杂数据结构时,使用is_array()或is_object()函数,并用print_r()输出详细信息。4.优化遍历时,可采用分页处理,避免一次性处理大量数据。这将帮助你在实际项目中更有效地管理和使用PHP会话数据。

说明如何使用会话进行用户身份验证。说明如何使用会话进行用户身份验证。Apr 26, 2025 am 12:04 AM

会话通过服务器端的状态管理机制实现用户认证。1)会话创建并生成唯一ID,2)ID通过cookies传递,3)服务器存储并通过ID访问会话数据,4)实现用户认证和状态管理,提升应用安全性和用户体验。

举一个如何在PHP会话中存储用户名的示例。举一个如何在PHP会话中存储用户名的示例。Apr 26, 2025 am 12:03 AM

Tostoreauser'snameinaPHPsession,startthesessionwithsession_start(),thenassignthenameto$_SESSION['username'].1)Usesession_start()toinitializethesession.2)Assigntheuser'snameto$_SESSION['username'].Thisallowsyoutoaccessthenameacrossmultiplepages,enhanc

哪些常见问题会导致PHP会话失败?哪些常见问题会导致PHP会话失败?Apr 25, 2025 am 12:16 AM

PHPSession失效的原因包括配置错误、Cookie问题和Session过期。1.配置错误:检查并设置正确的session.save_path。2.Cookie问题:确保Cookie设置正确。3.Session过期:调整session.gc_maxlifetime值以延长会话时间。

您如何在PHP中调试与会话相关的问题?您如何在PHP中调试与会话相关的问题?Apr 25, 2025 am 12:12 AM

在PHP中调试会话问题的方法包括:1.检查会话是否正确启动;2.验证会话ID的传递;3.检查会话数据的存储和读取;4.查看服务器配置。通过输出会话ID和数据、查看会话文件内容等方法,可以有效诊断和解决会话相关的问题。

如果session_start()被多次调用会发生什么?如果session_start()被多次调用会发生什么?Apr 25, 2025 am 12:06 AM

多次调用session_start()会导致警告信息和可能的数据覆盖。1)PHP会发出警告,提示session已启动。2)可能导致session数据意外覆盖。3)使用session_status()检查session状态,避免重复调用。

您如何在PHP中配置会话寿命?您如何在PHP中配置会话寿命?Apr 25, 2025 am 12:05 AM

在PHP中配置会话生命周期可以通过设置session.gc_maxlifetime和session.cookie_lifetime来实现。1)session.gc_maxlifetime控制服务器端会话数据的存活时间,2)session.cookie_lifetime控制客户端cookie的生命周期,设置为0时cookie在浏览器关闭时过期。

See all articles

热AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智能驱动的应用程序,用于创建逼真的裸体照片

AI Clothes Remover

AI Clothes Remover

用于从照片中去除衣服的在线人工智能工具。

Undress AI Tool

Undress AI Tool

免费脱衣服图片

Clothoff.io

Clothoff.io

AI脱衣机

Video Face Swap

Video Face Swap

使用我们完全免费的人工智能换脸工具轻松在任何视频中换脸!

热工具

MinGW - 适用于 Windows 的极简 GNU

MinGW - 适用于 Windows 的极简 GNU

这个项目正在迁移到osdn.net/projects/mingw的过程中,你可以继续在那里关注我们。MinGW:GNU编译器集合(GCC)的本地Windows移植版本,可自由分发的导入库和用于构建本地Windows应用程序的头文件;包括对MSVC运行时的扩展,以支持C99功能。MinGW的所有软件都可以在64位Windows平台上运行。

适用于 Eclipse 的 SAP NetWeaver 服务器适配器

适用于 Eclipse 的 SAP NetWeaver 服务器适配器

将Eclipse与SAP NetWeaver应用服务器集成。

安全考试浏览器

安全考试浏览器

Safe Exam Browser是一个安全的浏览器环境,用于安全地进行在线考试。该软件将任何计算机变成一个安全的工作站。它控制对任何实用工具的访问,并防止学生使用未经授权的资源。

mPDF

mPDF

mPDF是一个PHP库,可以从UTF-8编码的HTML生成PDF文件。原作者Ian Back编写mPDF以从他的网站上“即时”输出PDF文件,并处理不同的语言。与原始脚本如HTML2FPDF相比,它的速度较慢,并且在使用Unicode字体时生成的文件较大,但支持CSS样式等,并进行了大量增强。支持几乎所有语言,包括RTL(阿拉伯语和希伯来语)和CJK(中日韩)。支持嵌套的块级元素(如P、DIV),

Dreamweaver CS6

Dreamweaver CS6

视觉化网页开发工具