随笔分类 -  爬虫

爬虫--selenium库用法
摘要：selenium用法详解 selenium主要是用来做自动化测试，支持多种浏览器，爬虫中主要用来解决JavaScript渲染问题。 模拟浏览器进行网页加载，当requests,urllib无法正常获取网页内容的时候 一、声明浏览器对象 注意点一，Python文件名或者包名不要命名为selenium， 阅读全文
posted @ 2018-06-13 17:33 南城思念，北城等待 阅读(236) 评论(0) 推荐(0)
爬虫相关模块命令回顾
摘要：1、requests模块 1、 pip install requests 2、 response = requests.get(‘http://www.baidu.com/ ‘) #获取指定url的网页内容 3、 response.text ... 阅读全文
posted @ 2018-03-15 11:36 南城思念，北城等待 阅读(180) 评论(0) 推荐(0)