wget参数

wget参数详解

wget 是一个从网络上自动下载文件的自由工具，支持通过 HTTP、HTTPS、FTP 三个最常见的 TCP/IP协议 下载，并可以使用 HTTP 代理。

启动参数

这一类参数主要提供软件的一些基本信息。

-V,--version 显示软件版本号然后退出；

-h,--help 显示软件帮助信息；

-b,--background 启动后转入后台。

-e,--execute=COMMAND 执行一个 “.wgetrc”命令

以上每一个功能有长短两个参数，长短功能一样，都可以使用。需要注意的是，这里的-e参数是执行一个.wgettrc的命令，.wgettrc命令其实是一个参数列表，直接将软件需要的参数写在一起就可以了。

文件参数

这类参数定义软件log文件的输出方式等。

-o,--output-file=FILE 将软件输出信息保存到文件；

-a,--append-output=FILE将软件输出信息追加到文件；

-d,--debug显示输出信息；

-q,--quiet 不显示输出信息；

-i,--input-file=FILE 从文件中取得URL；

-v, --verbose 详尽的输出(此为默认值)。

-nv, --no-verbose 关闭详尽输出，但不进入安静模式。

-F, --force-html 把输入文件当成 HTML 文件。

-B, --base=URL解析与 URL 相关的HTML 输入文件（由 -i -F 选项指定）。

例1：下载首页并且显示下载信息
wget -d

例2：下载首页并且不显示任何信息
wget -q

例3：下载filelist.txt中所包含的链接的所有文件
wget -i filelist.txt

wget -np -m -l 5 不下载本站所链接的其它站点内容，5级目录结构

下载参数

下载参数定义下载重复次数、保存文件名等。

-t,--tries=NUMBER 是否下载次数（0表示无穷次）

​ --retry-connrefused 即使拒绝连接也是重试

-O --output-document=FILE 指定下载目录和文件名

-nc, --no-clobber 不要覆盖已经存在的文件

-c, --continue 继续下载部分下载的文件

​ --progress=TYPE 选择进度条类型

-N,--timestamping只下载比本地新的文件

-S, --server-response打印服务器响应

​ --spider 不下载任何文件

-T,--timeout=SECONDS 设置超时时间

-Y,--proxy=on/off 关闭代理

--dns-timeout=SECS 设置 DNS 查寻超时为 SECS 秒

--connect-timeout=SECS 设置连接超时为 SECS 秒

--read-timeout=SECS 设置读取超时为 SECS 秒

-w, --wait=SECONDS 等待间隔为 SECONDS 秒

​ --waitretry=SECONDS 在取回文件的重试期间等待 1..SECONDS 秒

​ --random-wait 取回时等待 0...2*WAIT 秒

​ --no-proxy 关闭代理、

-Q, --quota=NUMBER 设置取回配额为 NUMBER 字节

​ --bind-address=ADDRESS 绑定至本地主机上的 ADDRESS (主机名或是 IP)

​ --limit-rate=RATE 限制下载速率为 RATE

​ --no-dns-cache 关闭 DNS 查寻缓存

​ --restrict-file-names=OS 限定文件名中的字符为 OS 允许的字符

​ --ignore-case 匹配文件/目录时忽略大小写

-4, --inet4-only 仅连接至 IPv4 地址

-6, --inet6-only 仅连接至 IPv6 地址

​ --prefer-family=FAMILY 首先连接至指定协议的地址

​ FAMILY 为 IPv6，IPv4 或是 none
​ --user=USER 将 ftp 和 http 的用户名均设置为 USER

​ --password=PASS 将 ftp 和 http 的密码均设置为 PASS

​ --ask-password 提示输入密码、

​ --no-iri 关闭 IRI 支持。

​ --local-encoding=ENCIRI 使用 ENC 作为本地编码

​ --remote-encoding=ENC 使用 ENC 作为默认远程编码

例：下载的首页并将下载过程中的的输入信息保存到test.htm文件中
wget -Otest.html

目录参数

目录参数主要设置下载文件保存目录与原来文件（服务器文件）的目录对应关系；

-nd --no-directories 不建立目录

-x,--force-directories 强制建立目录

可能我们对这里的目录还不是很了解，我们来看一个举例

nH, --no-host-directories 不要创建主目录

​ --protocol-directories 在目录中使用协议名称

-P, --directory-prefix=PREFIX 以 PREFIX/... 保存文件

​ --cut-dirs=NUMBER 忽略 NUMBER 个远程目录路径

例：下载的首页，并且保持网站结构
wget -x

HTTP参数

HTTP参数设置一些与HTTP下载有关的属性。

--http-user=USER设置HTTP用户

--http-passwd=PASS设置HTTP密码

--proxy-user=USER设置代理用户

--proxy-passwd=PASS设置代理密码

--no-cache不在服务器上缓存数据

​ --default-page=NAME改变默认页

​ （默认页通常是“index.html”）

-E, --adjust-extension 以合适的扩展名保存 HTML/CSS 文档。

​ --ignore-length 忽略头部的‘Content-Length’区域。

​ --header=STRING 在头部插入 STRING。

​ --max-redirect 每页所允许的最大重定向。

​ --proxy-user=USER 使用 USER 作为代理用户名。

​ --proxy-password=PASS 使用 PASS 作为代理密码。

​ --referer=URL 在 HTTP 请求头包含‘Referer: URL’。

​ --save-headers 将 HTTP 头保存至文件。

-U, --user-agent=AGENT 标识为 AGENT 而不是 Wget/VERSION。

​ --no-http-keep-alive 禁用 HTTP keep-alive(永久连接)。

​ --no-cookies 不使用 cookies。

​ --load-cookies=FILE 会话开始前从 FILE 中载入 cookies。

​ --save-cookies=FILE 会话结束后保存 cookies 至 FILE。

​ --keep-session-cookies 载入并保存会话(非永久) cookies。

​ --post-data=STRING 使用 POST 方式；把 STRING 作为数据发送。

​ --post-file=FILE 使用 POST 方式；发送 FILE 内容。

​ --content-disposition 当选中本地文件名时允许 Content-Disposition 头部(尚在实验)。

​ --auth-no-challenge 发送基本的HTTP身份验证信息，无需先等待服务器质询。

以上参数主要设置HTTP和代理的用户、密码；

HTTPS (SSL/TLS)

--secure-protocol=PR 选择安全协议，可以是 auto、SSLv2、SSLv3 或是 TLSv1 中的一个

-no-check-certificate 不要验证服务器的证书

--certificate=FILE 客户端证书文件

--certificate-type=TYPE 客户端证书类型， PEM 或 DER

--private-key=FILE 私钥文件

--private-key-type=TYPE 私钥文件类型， PEM 或 DER

--ca-certificate=FILE 带有一组 CA 认证的文件

--ca-directory=DIR 保存 CA 认证的哈希列表的目录

--random-file=FILE 带有生成 SSL PRNG 的随机数据的文件

--egd-file=FILE 用于命名带有随机数据的 EGD 套接字的文件

FTP

--ftp-user=USER 设置 ftp 用户名为 USER

--ftp-password=PASS 设置 ftp 密码为 PASS

--no-remove-listing 不要删除‘.listing’文件

--no-glob 不在 FTP 文件名中使用通配符展开

--no-passive-ftp 禁用“passive”传输模式

--retr-symlinks 递归目录时，获取链接的文件(而非目录)

递归参数设置

在下载一个网站或者网站的一个目录的时候，我们需要知道的下载的层次，这些参数就可以设置。

-r,--recursive 下载整个网站、目录（小心使用）

-l,--level=NUMBER 下载层次

--delete-after 下载完成后删除本地文件

-k, --convert-links 让下载得到的 HTML 或 CSS 中的链接指向本地文件

-K, --backup-converted 在转换文件 X 前先将它备份为 X.orig

-m, --mirror -N -r -l inf --no-remove-listing 的缩写形式

-p, --page-requisites 下载所有用于显示 HTML 页面的图片之类的元素

​ --strict-comments 开启 HTML 注释的精确处理(SGML)

例：下载整个网站
wget -r

拒绝选项参数

下载一个网站的时候，为了尽量快，有些文件可以选择下载，比如图片和声音，在这里可以设置。

-A,--accept=LIST 可以接受的文件类型

-R,--reject=LIST拒绝接受的文件类型

-D,--domains=LIST可以接受的域名,用逗号分隔

--exclude-domains=LIST拒绝的域名,用逗号分隔

--follow-ftp跟踪 HTML 文档中的 FTP 链接

--follow-tags=LIST逗号分隔的跟踪的 HTML 标识列表

--ignore-tags=LIST逗号分隔的忽略的 HTML 标识列表。

-L,--relative 下载关联链接

--follow-ftp 只下载FTP链接

-H,--span-hosts 可以下载外面的主机

-I,--include-directories=LIST允许的目录

-X,--exclude-directories=LIST 拒绝的目录

-np, --no-parent不追溯至父目录