巧用Wget快速建立文件下载中心(转载)

原文链接：https://www.cnblogs.com/linuxde/p/8717358.html

 

Wget基本用法：
1) 从网上下载单个文件

wget http://www.freehao123.com/file.iso

2) 下载一个文件，但以不同的名字存为本地文件

wget –output-document=filename.html freehao123.com

3) 下载一个文件，存到指定的目录

wget –directory-prefix=folder/subfolder freehao123.com

4) 恢复之前中断的一个wget下载

wget –continue freehao123.com/big.file.iso
wget -c freehao123.com/big.file.iso

5) 下载一个文件，但只在服务器上的版本比本地版本新时才会真正执行

wget –continue –timestamping freehao123.com/latest.zip

6) 用wget下载多个网址，这些网址存于一个文本文件中，一行一个网址

wget –input list-of-file-urls.txt

7) 从服务器下载一些以连续序号为文件名的文件

wget http://example.com/images/{1..20}.jpg
wget http://example.com/images/pre-{1..20}-post.jpg

8) 下载一个网页，包括它所有的内容，比如样式表和包含的图片，它们是确保网页离线显示所必需的

wget -page-requisites –span-hosts –convert-links –adjust-extension http://example.com/dir/file
wget -p -H -k -E http://example.com/dir/file

Wget对整个网站进行镜像:

1) 下载整个网站，包括它所有链接的页面和文件

wget --execute robots=off --recursive --no-parent --continue --no-clobber http://example.com/
wget -e robots=off -r -np -c -nc http://example.com/

2) 从网站上一个子目录中下载所有MP3文件

wget –level=1 –recursive –no-parent –accept mp3,MP3 http://example.com/mp3/
wget -l 1 -r -np -A mp3,MP3 http://example.com/mp3/

3) 将一个网站上的所有图片下载到同一个目录中

wget –directory-prefix=files/pictures –no-directories –recursive –no-clobber –accept jpg,gif,png,jpeg http://example.com/images/
wget -P files/pictures -nd -r -nc -A jpg,gif,png,jpeg http://example.com/images/

4) 从一个网站上下载PDF文件，采用递归的方式，但不跳出指定的网域

wget –mirror –domains=abc.com,files.abc.com,docs.abc.com –accept=pdf http://abc.com/
wget -m -D abc.com,files.abc.com,docs.abc.com -A pdf http://abc.com/

5) 从一个网站上下载所有文件，但是排除某些目录

wget –recursive –no-clobber –no-parent –exclude-directories /forums,/support http://example.com
wget -r -nc -np -X /forums,/support http://example.com

Wget高级用法：

1) 下载网站上的文件，假设此网站检查User Agent和HTTP参照位址(referer)

wget --referer=/5.0 --user-agent="Firefox/4.0.1" http://freehao123.com

2) 从密码保护网站上下载文件

wget –http-user=labnol –http-password=hello123 http://example.com/secret/file.zip

3) 抓取登陆界面后面的页面。你需要将用户名和密码替换成实际的表格域值，而URL应该指向(实际的)表格提交页面

wget –cookies=on –save-cookies cookies.txt –keep-session-cookies –post-data ‘user=labnol&password=123’ http://example.com/login.php
wget –cookies=on –load-cookies cookies.txt –keep-session-cookies http://example.com/paywall

4) 在不下载的情况下，得到一个文件的大小 (在网络响应中寻找用字节表示的文件长度)

wget –spider –server-response http://example.com/file.iso
wget –spider -S http://example.com/file.iso

5) 下载一个文件，但不存储为本地文件，而是在屏幕上显示其内容

wget –output-document=- –quiet google.com/humans.txt
wget -O- -q google.com/humans.txt

6) 得到网页的最后修改日期 (检查HTTP头中的Last Modified标签)

wget –server-response –spider http://www.freehao123.com/
wget -S –spider http://www.labnol.org/

7) 检查你的网站上的链接是否都可用。spider选项将令wget不会在本地保存网页

wget –output-file=logfile.txt –recursive –spider http://example.com
wget -O logfile.txt -r –spider http://example.com