Linux 系统中怎么通过文件描述符优化 while 循环的读取效率

浅浩吖_8379

浅浩吖_8379

2026-10-26

226人浏览

原创

直接用 while read 配合输入重定向(done

linux 系统中怎么通过文件描述符优化 while 循环的读取效率

直接用 while read 配合输入重定向(done )是最高效的方式,它避免了子 shell 和管道开销,是生产环境首选。

为什么文件描述符能提升 while 读取效率

默认情况下,while read line 从标准输入(fd 0)读取。如果用 cat file | while read,管道会创建子 shell,导致变量作用域丢失、进程 fork 开销大、缓冲区额外复制——这些都会拖慢速度,尤其对大文件明显。

而通过显式操作文件描述符,可以让 while 直接在当前 shell 中读取文件内容,跳过管道和子 shell,减少系统调用次数和内存拷贝,实测对 7 万行文件可提速 2–3 倍。

Obsidian (Linux)
Obsidian (Linux)

操作 Obsidian 库(纯 Markdown 笔记),并通过 notesmd-cli 实现自动化。

下载

推荐写法:重定向标准输入(最简高效)

这是最常用也最推荐的方式,本质就是把文件绑定到 fd 0:

while IFS= read -r line; do
    echo "$line"
done 
  • IFS= 防止行首尾空格被 trim
  • -r 避免反斜杠转义干扰原始内容
  • 把文件内容直接作为 while 的标准输入,无子 shell

进阶写法:手动切换文件描述符(适合复杂场景)

当脚本中还需同时读用户输入、日志输出或多个文件时,可临时借用其他 fd(如 fd 3),避免覆盖 stdin/stdout:

exec 3
  • exec 3 将文件打开并关联到 fd 3,不干扰原有 fd 0/1/2
  • read -r line 显式从 fd 3 读,精准可控
  • 适合需嵌套读取、多源输入或重定向 stdout 到文件的复合脚本

必须避开的低效写法

以下方式看似直观,但性能差、行为不可靠:

  • cat file | while read line:触发子 shell,循环内修改的变量对外无效
  • for i in $(cat file):单词分割破坏含空格/特殊字符的行,且一次性加载全部内容到内存
  • while read line; do ...; done :命令替换先执行 cat,再生成 here-string,多一次内存拷贝

相关专题

更多
磁盘配额是什么
磁盘配额是什么

磁盘配额是计算机中指定磁盘的储存限制,就是管理员可以为用户所能使用的磁盘空间进行配额限制,每一用户只能使用最大配额范围内的磁盘空间。php中文网为大家提供各种磁盘配额相关的内容,教程,供大家免费下载安装。

2023.06.21

4230

4

如何安装LINUX
如何安装LINUX

本站专题提供如何安装LINUX的相关教程文章,还有相关的下载、课程,大家可以免费体验。

2023.06.29

3573

10

linux find
linux find

find是linux命令,它将档案系统内符合 expression 的档案列出来。可以指要档案的名称、类别、时间、大小、权限等不同资讯的组合,只有完全相符的才会被列出来。find根据下列规则判断 path 和 expression,在命令列上第一个 - ( ) , ! 之前的部分为 path,之后的是 expression。还有指DOS 命令 find,Excel 函数 find等。本站专题提供linux find相关教程文章,还有相关

2023.06.30

2813

5

linux修改文件名
linux修改文件名

本专题为大家提供linux修改文件名相关的文章,这些文章可以帮助用户快速轻松地完成文件名的修改工作,大家可以免费体验。

2023.07.05

6870

7

linux系统安装教程
linux系统安装教程

linux系统是一种可以免费使用,自由传播,多用户、多任务、多线程、多CPU的操作系统。本专题提供linux系统安装教程相关的文章,大家可以免费体验。

2023.07.06

6522

7

linux查看文件夹大小
linux查看文件夹大小

Linux是一种自由和开放源码的类Unix操作系统,存在着许多不同的Linux版本,但它们都使用了Linux内核。Linux可安装在各种计算机硬件设备中,比如手机、平板电脑、路由器、视频游戏控制台、台式计算机、大型机和超级计算机。linux怎么查看文件夹大小呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.07.20

3753

8

linux查看ip命令
linux查看ip命令

本专题为大家提供linux查看ip命令相关文章内容,感兴趣的朋友可以免费下载体验试试。

2023.07.20

3245

4

linux查看cpu使用率
linux查看cpu使用率

在linux的系统维护中,可能需要经常查看cpu使用率,分析系统整体的运行情况。本专题为大家带来了linux查看cpu使用率的相关文章,感兴趣的朋友千万不要错过了。

2023.07.25

3479

6

linux查找文件命令
linux查找文件命令

Linux是一种自由和开放源码的类Unix操作系统,存在着许多不同的Linux版本,但它们都使用了Linux内核。Linux可安装在各种计算机硬件设备中,比如手机、平板电脑、路由器、视频游戏控制台、台式计算机、大型机和超级计算机。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.07.31

297

3

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Python uv官方安装与入门文档
Python uv官方安装与入门文档

共0课时 | 0人学习

Buffalo框架快速入门指南
Buffalo框架快速入门指南

共0课时 | 0人学习

Valgrind支持平台说明
Valgrind支持平台说明

共0课时 | 0人学习