2016年12月22日
异步加载网站爬虫
摘要： ``` from bs4 import BeautifulSoup import requests import time headers={ 'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.75 Safari/53... 阅读全文
posted @ 2016-12-22 14:03 呉语伦比 阅读(708) 评论(0) 推荐(0)
lxml与bs4 select、58爬虫实例
摘要： 基础班 分类实现： 对于用链接控制页数的网页，获取所有页面的方法： 对于用js处理的图片，可以设置User Agent模拟手机客户端登陆，然后获取图片 58同城实例 requests自带status检测函数，用于判断页面是否存在 线程池 代码解析方法 用该方法把url去重 阅读全文
posted @ 2016-12-22 12:50 呉语伦比 阅读(599) 评论(0) 推荐(0)