Linux 系统中怎么优化大目录遍历查询磁盘占用的性能

陌婷大大_1276

陌婷大大_1276

2026-10-08

327人浏览

原创

优化du命令遍历大目录的核心是减少无效i/o和元数据开销:用--exclude跳过/proc、/sys等虚拟路径及.git等无价值目录,结合--max-depth限制递归深度,辅以find或ls初筛提速,并针对nfs、overlay2等场景采取适配策略。

linux 系统中怎么优化大目录遍历查询磁盘占用的性能

大目录遍历慢,本质是 du 默认逐文件 stat + 读取元数据,尤其在含海量小文件、硬链接多、或 NFS/overlay2 等特殊文件系统上更明显。优化不是换命令,而是减少无效 I/O 和元数据开销。

跳过不需要的子树和文件类型

用 --exclude 直接过滤掉已知无价值路径,比遍历后再筛快得多。常见可跳过的包括:

  • /proc、/sys、/dev —— 虚拟文件系统,du 会卡住或报错
  • /run、/var/run —— 运行时临时文件,生命周期短且不占持久空间
  • .git、node_modules、__pycache__ —— 开发环境高频大目录,若非排查代码问题可跳过
  • *.log.*.gz、*.tmp —— 用通配符排除归档日志和临时文件(注意 shell 展开,建议加引号)

示例:du -sh --max-depth=1 --exclude={'/proc','/sys','/dev','node_modules','.git'} / | sort -hr

Linux installer
Linux installer

先解析安全源,运行本地CLI安装、启动、卸载Linux桌面应用。用户请求时使用。

下载

限制深度与提前剪枝

深层嵌套目录(如容器镜像层、日志归档)往往只有最外层目录有意义。用 --max-depth=N 控制递归层级,避免钻进百万级小文件目录。

  • --max-depth=1:只看一级子目录,适合快速定位“谁占得最多”
  • --max-depth=2:再下一层确认,比如 /var/log/journal vs /var/log/nginx
  • 配合 --threshold=100M(较新 du 支持):只统计大于 100MB 的项,小文件直接跳过

用更轻量的替代方案初筛

du 是准确但重;ncdu 是交互友好但依然要全扫;真正要提速,先用更快的工具缩小范围:

  • find /path -xdev -type d -exec du -s {} + 2>/dev/null | sort -n | tail -20:按磁盘块数排序,-xdev 防止跨文件系统误入
  • ls -lS /path | head -20:只看顶层大目录(不递归),秒出结果
  • ncdu -x /path:-x 参数确保不跨挂载点,避免意外进入 /boot 或 /home 等其他分区

避开元数据瓶颈场景

某些情况下慢不是因为文件多,而是文件系统本身响应慢:

  • NFS/CIFS 挂载点:du 会触发大量 getattr 请求,建议在服务端执行,或改用 df -h + ls -lR | wc -l 估数量
  • Docker overlay2:直接查 /var/lib/docker/overlay2/*/diff 效率低,优先用 docker system df -v
  • ext4 上大量硬链接:du 默认去重计数,加 --no-dereference 可略过链接解析(慎用,可能高估)

相关文章

数码产品性能查询
数码产品性能查询

该软件包括了市面上所有手机CPU,手机跑分情况,电脑CPU,电脑产品信息等等,方便需要大家查阅数码产品最新情况,了解产品特性,能够进行对比选择最具性价比的商品。

下载

相关标签:

linux linux入门 linux教程

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
服务器是什么
服务器是什么

服务器是一种计算机硬件设备或软件程序,它具有强大的计算和存储能力,用请求、存储数据和提供服务。它在互联网中着关重要的作用,为用户提供各种服务和资源。本专题为大家提供服务器相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.15

437

5

连接apple id服务器时出错
连接apple id服务器时出错

连接apple id服务器时出错的原因包括网络连接问题、服务器问题、Apple ID账户问题、设备问题、防火墙或安全软件问题、时间和日期设置问题、Apple服务器维护等。本专题为大家提供apple id相关的文章、下载、课程内容,供大家免费下载体验。

2023.09.08

900

5

搭建互联网服务器
搭建互联网服务器

搭建互联网服务器需要:1、选择合适的硬件和操作系统,第一步是选择合适的硬件和操作系统;2、安装和配置操作系统,是搭建互联网服务器的关键步骤;3、安装和配置服务器软件,是搭建互联网服务器的下一步,常见的服务器软件包括Apache、Nginx、Tomcat等;4、配置防火墙和安全性,是搭建互联网服务器的重要步骤;5、域名解析和配置,是搭建互联网服务器的最后一步。

2023.09.19

2732

5

如何查看服务器状态
如何查看服务器状态

查看服务器状态的方法有使用命令行工具、图形界面工具、监控工具、日志文件和远程管理工具等。本专题为大家提供服务器状态相关的文章、下载、课程内容,供大家免费下载体验。

2023.10.09

916

5

服务器域名转接慢怎么解决
服务器域名转接慢怎么解决

服务器域名转接慢的解决办法有DNS优化、服务器优化、CDN加速、前端优化和网络优化等。本专题为大家提供服务器相关的文章、下载、课程内容,供大家免费下载体验。

2023.10.17

809

5

服务器评测软件
服务器评测软件

服务器评测软件有PassMark Software、CPU-Z、GPU-Z、CrystalDiskMark、IOmeter、JMeter、LoadRunner、Apache Bench等等。详细介绍:1、PassMark Software是一款综合性的服务器性能测试软件,可以评估服务器在各种负载条件下的性能;2、CPU-Z是一款可以提供服务器CPU详细信息的软件等等。

2023.10.17

414

3

如何开启TFTP服务器
如何开启TFTP服务器

开启TFTP服务器的步骤包括选择TFTP服务器软件、下载和安装软件、配置TFTP服务器以及启动和测试服务器等。本专题为大家提供服务器相关的文章、下载、课程内容,供大家免费下载体验。

2023.10.18

2476

4

服务器负载不兼容怎么解决
服务器负载不兼容怎么解决

解决方法:1、增加服务器资源;2、负载均衡;3、优化应用程序;4、增加缓存机制;5、分布式架构;6、限流和熔断;7、自动化扩容。想知道更详细服务器负载不兼容的解决方法,可以访问本专题下面的文章。

2023.10.20

4592

4

宽带如何接入服务器
宽带如何接入服务器

宽带接入服务器的方法有ADSL宽带接入服务器、光纤接入服务器、无线接入服务器和以太网接入服务器等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2023.10.20

747

5

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Buffalo框架快速入门指南
Buffalo框架快速入门指南

共0课时 | 0人学习

Valgrind支持平台说明
Valgrind支持平台说明

共0课时 | 0人学习