随笔分类 -  python爬虫

华为服务器IBMC批量巡检代码
摘要：selenium需要下载Chrome驱动webdriver，具体下载的版本根据自己的谷歌浏览器版本进行下载，然后将下载好的驱动webdriver放到自己python解释器同级目录中即可，下载地址http://npm.taobao.org/mirrors/chromedriver/此代码可用于华为服务 阅读全文
posted @ 2019-11-01 10:38 小攀攀淘淘 阅读(1243) 评论(0) 推荐(0)
爬取汽车之家新闻图片的python爬虫代码
摘要：import requestsfrom bs4 import BeautifulSouprespone=requests.get('https://www.autohome.com.cn/news/')respone.encoding='gbk'# print(respone.text)soup=B 阅读全文
posted @ 2019-10-31 17:33 小攀攀淘淘 阅读(511) 评论(0) 推荐(0)
Scrapy框架详解
摘要：Scrapy架构图（数据流向） Scrapy Engine(引擎): 负责Spider、ItemPipeline、Downloader、Scheduler中间的通讯，信号、数据传递等。 Scheduler(调度器): 它负责接受引擎发送过来的Request请求，并按照一定的方式进行整理排列，入队，当 阅读全文
posted @ 2019-09-24 11:07 小攀攀淘淘 阅读(192) 评论(0) 推荐(0)