Linux怎么批量下载文件_Linux如何用wget递归下载目录【技巧】

老墨大大_5783

老墨大大_5783

2026-03-20

812人浏览

原创

wget --recursive 前须确认服务器允许爬取:检查目录索引、robots.txt 规则及 apache 隐藏配置;递归下载必加 -r -l 3 -np -nh;配合 --wait、--random-wait 防封ip;用 --restrict-file-names 处理中文乱码。

linux怎么批量下载文件_linux如何用wget递归下载目录【技巧】

用 wget --recursive 下目录前,先确认服务器是否允许爬取

很多网站默认禁用目录遍历或 robots.txt 拒绝 wget 的递归行为,直接跑 wget --recursive 会卡在 403、404 或只下到首页就停住。

  • 先手动访问目标 URL + /,看能否列出文件(比如 http://example.com/files/);如果返回 403/404/重定向到登录页,wget 基本没法递归
  • 检查 robots.txt:用浏览器打开 http://example.com/robots.txt,找有没有 Disallow: /files/ 这类规则
  • 有些站点用 Apache 的 IndexIgnore * 隐藏索引,即使路径存在也返回 403 —— 这时 wget 无解,得换其他方式(如已知文件名列表)

wget -r 必加的四个参数,少一个都容易下不全

默认 wget -r 只下载同域名 HTML 页面,深度 5,不跟进 CSS/JS/图片,也不处理相对链接——几乎等于白跑。

  • -r:开启递归(必须)
  • -l 3:设最大递归深度(建议从 2 或 3 起手,避免扫整个站)
  • -np:不进入父目录(即不跳到上一级路径,防止越界)
  • -nH:不创建以主机名命名的子目录(否则所有文件塞进 example.com/ 文件夹)
  • 额外推荐:--accept=*.zip,*.pdf,*.tar.gz 按后缀过滤,省空间;--no-parent 是 -np 的完整写法,效果一样

遇到 429 Too Many Requests 或被封 IP 怎么办

wget 默认请求极快,几秒内发几十个连接,多数服务器会触发限流或临时封 IP,现象是突然大量 429 或连接超时。

  • --random-wait:在每次请求前加 0.5–1.5 秒随机等待(比固定延时更不易被识别)
  • --wait=1:固定间隔 1 秒(保守起见优先用这个)
  • -t 3:失败最多重试 3 次(默认是 20 次,容易卡死)
  • 别加 -c(断点续传)和 -r 一起用 —— 递归模式下 -c 不生效,还可能损坏已下文件

下完发现文件名乱码或路径错乱?重点看 --restrict-file-names

中文路径、空格、特殊符号在 Linux 下保存时会被转义或截断,比如 报告 v2.pdf 变成 %E6%8A%A5%E5%91%8A%20v2.pdf,或者生成一堆 index.html.1 冲突文件。

  • --restrict-file-names=windows:强制用 Windows 兼容命名(去掉 / \ : * ? " |,空格变下划线)
  • --restrict-file-names=nocontrol:保留原字符,但要求终端和文件系统支持 UTF-8(多数现代 Linux 发行版 OK)
  • 如果目标页面用的是 meta charset=gb2312,加 --local-encoding=GB2312 --remote-encoding=GB2312,否则中文链接根本解析不对

真正麻烦的不是命令写不对,而是没意识到服务器响应头、页面编码、本地 locale、文件系统这四者只要有一个不匹配,文件名就大概率出错。

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
堆和栈的区别
堆和栈的区别

堆和栈的区别:1、内存分配方式不同;2、大小不同;3、数据访问方式不同;4、数据的生命周期。本专题为大家提供堆和栈的区别的相关的文章、下载、课程内容,供大家免费下载体验。

2023.07.18

5907

5

堆和栈区别
堆和栈区别

堆(Heap)和栈(Stack)是计算机中两种常见的内存分配机制。它们在内存管理的方式、分配方式以及使用场景上有很大的区别。本文将详细介绍堆和栈的特点、区别以及各自的使用场景。php中文网给大家带来了相关的教程以及文章欢迎大家前来学习阅读。

2023.08.10

2528

6

js正则表达式
js正则表达式

php中文网为大家提供各种js正则表达式语法大全以及各种js正则表达式使用的方法,还有更多js正则表达式的相关文章、相关下载、相关课程,供大家免费下载体验。

2023.06.20

4396

8

js获取当前时间
js获取当前时间

JS全称JavaScript,是一种具有函数优先的轻量级,解释型或即时编译型的编程语言;它是一种属于网络的高级脚本语言,主要用于Web,常用来为网页添加各式各样的动态功能。js怎么获取当前时间呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.07.28

1355

5

js 字符串转数组
js 字符串转数组

js字符串转数组的方法:1、使用“split()”方法;2、使用“Array.from()”方法;3、使用for循环遍历;4、使用“Array.split()”方法。本专题为大家提供js字符串转数组的相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.03

1758

5

js是什么意思
js是什么意思

JS是JavaScript的缩写,它是一种广泛应用于网页开发的脚本语言。JavaScript是一种解释性的、基于对象和事件驱动的编程语言,通常用于为网页增加交互性和动态性。它可以在网页上实现复杂的功能和效果,如表单验证、页面元素操作、动画效果、数据交互等。

2023.08.17

9963

11

js删除节点的方法
js删除节点的方法

js删除节点的方法有:1、removeChild()方法,用于从父节点中移除指定的子节点,它需要两个参数,第一个参数是要删除的子节点,第二个参数是父节点;2、parentNode.removeChild()方法,可以直接通过父节点调用来删除子节点;3、remove()方法,可以直接删除节点,而无需指定父节点;4、innerHTML属性,用于删除节点的内容。

2023.09.01

980

4

js截取字符串的方法
js截取字符串的方法

js截取字符串的方法有substring()方法、substr()方法、slice()方法、split()方法和slice()方法。本专题为大家提供字符串相关的文章、下载、课程内容,供大家免费下载体验。

2023.09.04

2724

5

Js中concat和push的区别
Js中concat和push的区别

Js中concat和push的区别:1、concat用于将两个或多个数组合并成一个新数组,并返回这个新数组,而push用于向数组的末尾添加一个或多个元素,并返回修改后的数组的新长度;2、concat不会修改原始数组,是创建新的数组,而push会修改原数组,将新元素添加到原数组的末尾等等。本专题为大家提供concat和push相关的文章、下载、课程内容,供大家免费下载体验。

2023.09.14

1569

5

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
热门推荐
/
最新课程
phpStudy极速入门视频教程
phpStudy极速入门视频教程

共6课时 | 54.7万人学习

独孤九贱(4)_PHP视频教程
独孤九贱(4)_PHP视频教程

共89课时 | 133.9万人学习