网络爬虫的基本工作流
1）首先选取url
2）将urll放到待抓取的url队列中
3）从待抓取url队列中读取url -----》解析dns----》获取主机IP--》下载对应的网页---》存储到已经下载的网页库中----》将url放到已经抓取的url队列中
4）分析已经抓取的url队列中的url---》重已经下载的网页数据中提url 比重————》未抓取的放到待抓取队列中
