爬虫-高高手

第一篇:爬虫简介,爬虫流程,浏览器分析请求(有用信息),模拟get请求,session模拟发请求 ,get请求常用参数,post请求常用参数,验证请求是否成功

第二篇:requests常用属性,requests常用函数的常用参数,response的常用属性

第三篇:beautifulSoup模块(专门用于解析XML文档),查找元素(遍历整个文档),过滤查找(标签名,属性等过滤),删除文档树(标签,注释)

第四篇:selenium模块(自动化测试工具),环境搭建(配置信息),查询标签(解析数据,过滤查找,获取标签名等),模拟动作操作(点击,平移,释放等动作)

    懒加载问题,浏览器窗口编码问题,等待页面加载问题

第五篇:xpath模块,简单用法,查询标签(解析数据,过滤查找,获取标签名等),谓语条件查找,轴匹配查找

第六篇:scrapy爬虫框架 ,代理池

......

posted @ 2019-04-10 10:57  星牧  阅读(246)  评论(0)    收藏  举报