wget 用法总结

wget是Linux/Unix命令行文件下载器，它是下载网站上文件的免费的非交互下载工具，它支持HTTP、HTTPS和FTP协议，也支持通过HTTP代理检索。Wget是非交互的，这就是说它可以在用户没有登录到系统时在后台工作。

1、下载单个文件

   wget http://www.openss7.org/repos/tarballs/strx25-0.9.2.1.tar.bz2                            //下载单个文件，保存到当前路径下

 

2、转储下载的文件名称

   wget -O taglist.zip http://www.vim.org/scripts/download_script.php?src_id=7701        //通过-O 参数，把下载文件保存到当前路径下，名称：taglist.zip

 

3、限速下载

   wget --limit-rate=200k http://www.openss7.org/repos/tarballs/strx25-0.9.2.1.tar.bz2   //默认情况下，wget尝试全速下载，在带宽不足的情况下，可以指定下载带宽使用流量

 

4、断点续传模式下载文件

  wget -c http://www.openss7.org/repos/tarballs/strx25-0.9.2.1.tar.bz2                         //适合用于下载大文件而中途断掉的情况，通过-c参数，可以同断掉处重新开启下载

 

5、以后台挂载进程的方式下载

  wget -b http://www.openss7.org/repos/tarballs/strx25-0.9.2.1.tar.bz2                        //当下载大文件或较消耗时间的文件时，可以挂载到后台运行

 

6、以用户代理模式模拟浏览器下载

   wget --user-agent="Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.0.3) Gecko/2008092416 Firefox/3.0.3" URL-TO-DOWNLOAD

 

7、探测下载url是否可正常访问

   wget --spider download-url

 

8、增加下载重试次数

   wget --tries=75 DOWNLOAD-URL                     //默认情况下，wget命令会重试20次，直到下载成功。在互联网连接不稳定的情况下这个参数十分有用。

 

9、批量下载

1）把需要下载的连接放到一个文本中

$ cat > download-file-list.txt
URL1
URL2
URL3

URL4

2）加上-i参数下载文本中配置的所有链接对象

   wget -i download-file-list.txt

 

10、下载整个网站

    wget --mirror -p --convert-links -P ./LOCAL-DIR WEBSITE-URL

 

11、下载文件时设置忽略某个文件类型

    wget --reject=gif WEBSITE-TO-BE-DOWNLOADED

 

12、重定向下载日志到指定文件

    wget -o download.log DOWNLOAD-URL

 

13、当文件超过某个大小时，退出下载

    wget -Q5m -i FILE-WHICH-HAS-URLS                                   //只适用于批量下载场景，如果只是下载一个文件，此设置不生效。

 

14、只下载指定类型的文件

    wget -r -A .pdf http://url-to-webpage-with-pdfs/                   //适用于只下载图片、视频、pdf文件等情况

 

15、通过wget进行ftp下载

    wget --ftp-user=USERNAME --ftp-password=PASSWORD DOWNLOAD-URL

 

16、下载HTTPS协议资源，使用不检查证书

    wget https://DOWNLOAD-URL   --no-check-certificate

    

17、使用代理下载

    在当前用户的目录下创建一个.wgetrc文件，文件中可以设置代理服务器：

    http-proxy = 111.111.111.111:8080

    ftp-proxy = 111.111.111.111:8080

    ###如果代理服务器需要密码则使用：

    –proxy-user=USER设置代理用户

    –proxy-passwd=PASS设置代理密码

    –proxy=on/off                        //使用或者关闭代理。

 

   

 

命令格式：

wget [参数列表] [目标软件、网页的网址]

 

-V, –version 显示软件版本号然后退出；

-h, –help显示软件帮助信息；

-e, –execute=COMMAND 执行一个 “.wgetrc”命令

-o, –output-file=FILE 将软件输出信息保存到文件；

-a, –append-output=FILE将软件输出信息追加到文件；

-d, –debug显示输出信息；

-q, –quiet 不显示输出信息；

-i, –input-file=FILE 从文件中取得URL；

-t, –tries=NUMBER 是否下载次数（0表示无穷次）

-O  –output-document=FILE下载文件保存为别的文件名

-nc, –no-clobber 不要覆盖已经存在的文件

-N, –timestamping只下载比本地新的文件

-T, –timeout=SECONDS 设置超时时间

-Y, –proxy=on/off 关闭代理

-nd, –no-directories 不建立目录

-x, –force-directories 强制建立目录

–http-user=USER设置HTTP用户

–http-passwd=PASS设置HTTP密码

–proxy-user=USER设置代理用户

–proxy-passwd=PASS设置代理密码

 

-r,–recursive 下载整个网站、目录（小心使用）

-l,–level=NUMBER 下载层次

 

-A,–accept=LIST 可以接受的文件类型

-R,–reject=LIST拒绝接受的文件类型

-D,–domains=LIST可以接受的域名

–exclude-domains=LIST拒绝的域名

-L,–relative 下载关联链接

–follow-ftp 只下载FTP链接

-H,–span-hosts 可以下载外面的主机

-I,–include-directories=LIST允许的目录

-X,–exclude-directories=LIST 拒绝的目录