随笔分类 -  爬虫

摘要:前面我们找到网站的url和伪装浏览器之后就可以写代码了 项目写完了有个缺点就是因为url是在网址上拿到的所以要拿下一页的url就要手动更改,也可以写个循环遍历url 阅读全文
posted @ 2018-11-27 11:47 浮生若梦不悔 阅读(144) 评论(0) 推荐(0)
摘要:前面我们讲到爬虫的基本流程现在我们来按照流程写个简单的案例 我们爬取斗图网的图片吧 首先我们先找到斗图的url,url找到的有很多种我们来个简单的url 代码如下: #斗图的url url = "https://www.doutula.com/article/list/?page=2" 我们找到ur 阅读全文
posted @ 2018-11-26 20:58 浮生若梦不悔 阅读(142) 评论(0) 推荐(0)
摘要:什么是爬虫? 我们都说爬虫,那么什么是爬虫?爬虫(成为网络机器人,网络蜘蛛)它可以自动抓取我们想要的网络信息, 爬虫可以用来干什么? 你可以爬妹子的图片.自己想看的视频.音频.....等你想要的网络数据 爬虫的基本流程 ①发起请求 ②获取响应内容 ③解析内容 ④保存数据 阅读全文
posted @ 2018-11-26 19:32 浮生若梦不悔 阅读(151) 评论(0) 推荐(0)