首页  >  文章  >  后端开发  >  gs-fastcopy:获取上传工作人员的 CPU 计数

gs-fastcopy:获取上传工作人员的 CPU 计数

WBOY
WBOY原创
2024-07-23 13:07:15449浏览

请参阅上一篇文章:gs-fastcopy 简介

我发布了增强功能 gs-fastcopy-python#10:检查处理器计数以获得更好的上传默认设置。

之前,我们默认为 8 个工作人员(Google 的默认值)。在具有超过 8 个核心的系统上,这会留下很多闲置空间!

现在,我们检查可用的 CPU 数量。我们在支持 os.get_schedaffinity 的系统上尊重它(不仅仅是一般情况下可用于此进程的处理器),否则,我们使用 os.cpu_count()。

基准测试结果:[源表]

Bar chart showing time taken to complete upload operation, with and without compressing first

请注意,添加工人如何加快流程,但收益递减。我认为那时网络传输本身就成为瓶颈,但调整块大小可能也会有所帮助。

还要注意使用压缩(使用 Pigz、并行 gzip)时更显着的效果。 Pigz 以前会发现最大工人数,这里的新功能是将它们也包含在上传中。

以上是gs-fastcopy:获取上传工作人员的 CPU 计数的详细内容。更多信息请关注PHP中文网其他相关文章!

声明:
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn