摘要: 一、介绍 selenium最初是一个自动化测试工具,而爬虫中使用它主要是为了解决requests无法直接执行JavaScript代码的问题 selenium本质是通过驱动浏览器,完全模拟浏览器的操作,比如跳转、输入、点击、下拉等,来拿到网页渲染之后的结果,可支持多种浏览器 from selenium 阅读全文
posted @ 2019-11-26 16:51 小青年て 阅读(202) 评论(0) 推荐(0)
摘要: 一、 Beautiful Soup 介绍 Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式.Beautiful Soup会帮你节省数小时甚至数天的工作时间.你可能在寻找 Beautiful So 阅读全文
posted @ 2019-11-26 16:00 小青年て 阅读(243) 评论(0) 推荐(0)
摘要: 一、解析json response=requests.get('http://httpbin.org/get') import json res1=json.loads(response.text) #太麻烦 res2=response.json() #直接获取json数据 print(res1 = 阅读全文
posted @ 2019-11-26 14:57 小青年て 阅读(208) 评论(0) 推荐(0)