摘要： 简介 爬虫下载页面 代码 简易下载 似乎并没有把百度的html 下载下来 多次尝试下载 5XX服务器错误 并设置 代理 网站可能会把前面的字符串忽略然后可以只用后面的数字 网站通过一个页面的链接下载 支持对 robots.txt 的解析 代理 下载限速 参考链接 https://tieba.baid 阅读全文

摘要： 简介 网站的个数可以作为自己要爬取时间的估算。 技术栈可以知道自己要爬取的难度。 网站的个数 www.baidu.com 然后 输入 site:www.cnblogs.com 就可以知道 博客园大概有多少个页面了。 1000万个左右。 识别网站所采用技术栈 找到网站的所有者 阅读全文

摘要： 简介 robots.txt 是一个规范，对于执行正常操作的爬虫理应遵守的规范. 例子 博客园例子 允许所有爬虫爬取网站任何地址。 百度例子 User agent: Baiduspider 百度自己的爬虫 Disallow: /baidu 不允许自己的爬虫爬取百度的站点 https://www.bai 阅读全文