随笔分类 -  爬虫

摘要:在斗鱼的界面中,如果滚动条没有拉下去,那么下面的图片都只是一条鱼的图片,所以要使浏览器自动拉动滚动条,可以用到python的selenium库, 1、配置浏览器 要使用selenium,还需要安装 chromedriver.exe,这里是使用Chrome浏览器,首先在https://npm.taob 阅读全文
posted @ 2019-07-22 23:04 Dandelion-L 阅读(792) 评论(2) 推荐(0)
摘要:当当网爬虫 利用python的requests 库和lxml库,来爬取当当网的图书信息,包括图书名称,图书购买页面url和图书价格,本次以爬取python书籍为例 1、确定url地址 进入当当网,搜索python书籍,得到如下 所以可以知道,当你搜索书籍时,书籍的名字会放在key的后面 2、获取地址 阅读全文
posted @ 2019-07-18 10:33 Dandelion-L 阅读(2062) 评论(0) 推荐(0)