爬虫-高高手

第一篇:爬虫简介爬虫流程浏览器分析请求(有用信息),模拟get请求session模拟发请求get请求常用参数post请求常用参数验证请求是否成功

第二篇:requests常用属性requests常用函数的常用参数response的常用属性

第三篇:beautifulSoup模块(专门用于解析XML文档),查找元素(遍历整个文档),过滤查找(标签名,属性等过滤),删除文档树(标签,注释)

第四篇:selenium模块(自动化测试工具),环境搭建(配置信息),查询标签(解析数据,过滤查找,获取标签名等),模拟动作操作(点击,平移,释放等动作)

    懒加载问题浏览器窗口编码问题等待页面加载问题

第五篇:xpath模块简单用法查询标签(解析数据,过滤查找,获取标签名等),谓语条件查找轴匹配查找

第六篇:scrapy爬虫框架 ,代理池

......

posted @ 2019-04-10 10:57  星牧  阅读(229)  评论(0编辑  收藏  举报