Linux如何使用Wget递归下载_Linux下整站爬取与断点续传技巧【指南】_网络技术

要完整镜像网站并支持断点续传，需组合使用wget的递归（-r）、断点续传（-c）、依赖下载（-p）、链接本地化（-k）、深度限制（-l 3）等参数，并配合robots忽略、User-Agent伪装、文件类型过滤及日志记录。

如果您需要在Linux系统中使用Wget工具对网站进行完整镜像下载，或在中断后继续未完成的下载任务，则需掌握其递归抓取与断点续传的核心参数组合。以下是实现该目标的具体操作步骤：

一、基础递归下载整站内容

Wget默认不启用递归模式，必须显式指定-r参数才能遍历目录结构并下载链接资源。同时需限制递归深度与文件类型，避免无限制爬取导致磁盘溢出或违反网站robots.txt规则。

1、执行基本递归下载命令：wget -r -l 3 -p -k -E -nH --no-parent https://example.com/

2、其中-l 3表示最大递归深度为3层，-p下载页面所需所有图片、CSS、JS等依赖文件，-k重写HTML链接为本地可浏览格式，-E自动添加.html扩展名，-nH禁用主机名子目录，--no-parent禁止向上级目录跳转。

3、添加--restrict-file-names=windows可确保生成的文件名兼容Windows系统，避免冒号、问号等非法字符。

二、启用断点续传与失败重试机制

网络不稳定或服务器限流可能导致下载中断，Wget支持基于HTTP Range请求的断点续传功能，前提是目标服务器支持字节范围请求（Accept-Ranges: bytes）。

1、在原有递归命令基础上增加-c参数启动断点续传：wget -c -r -l 3 -p -k -E -nH --no-parent https://example.com/

2、添加--tries=10设定单个文件最多重试10次，--retry-connrefused允许在连接被拒绝时也尝试重连。

3、使用--wait=1 --random-wait控制请求间隔，防止因访问过于频繁被服务器封禁IP。

三、配合robots.txt策略与用户代理伪装

Wget默认遵守robots.txt协议，若目标站点禁止爬虫访问，则需手动覆盖该行为；同时部分网站会根据User-Agent字段屏蔽默认的Wget标识，需模拟常见浏览器身份。

1、忽略robots.txt限制：在命令中加入-e robots=off参数。

2、设置浏览器风格User-Agent：--user-agent="Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36"

3、完整组合示例：wget -e robots=off --user-agent="Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36" -c -r -l 3 -p -k -E -nH --no-parent https://example.com/

四、限制下载范围与排除冗余路径

整站下载常伴随大量无用资源（如后台接口、动态脚本、重复图片），可通过正则匹配方式排除特定URL模式，缩小存储占用并提升效率。

1、使用--reject参数过滤文件类型：--reject="cgi,php,asp,aspx,jsp"

2、利用--exclude-directories跳过指定目录：--exclude-directories="/admin,/wp-admin,/cgi-bin"

3、结合--accept白名单机制，仅下载HTML、CSS、JS、PNG、JPEG等静态资源：--accept="html,htm,css,js,png,jpg,jpeg,gif"

五、保存会话状态与日志追踪

长时间运行的下载任务需记录过程信息以便排查问题，Wget提供详细日志输出与进度保存功能，支持中断后恢复上下文。

1、将完整执行日志写入文件：-o wget-log.txt

2、启用进度显示并保存当前下载状态：--progress=bar:force --save-cookies cookies.txt

3、若需暂停任务，直接按Ctrl+C即可安全终止；再次运行相同命令时，Wget将自动检测已存在文件并跳过或续传。

# php # css # linux # html # js # windows # cookie # 浏览器 # app # 字节 # 工具 # ai # win # 递归 # restrict # 接口 # CGI

相关栏目：【网站优化151355 】【网络推广146373 】【网络技术251813 】【 AI营销90571 】