随笔分类 -  Spider

摘要：某个项目中，需要爬虫去获取某个航空公司网站的数据，为了偷懒，我选择了 seleinum来模拟浏览器操作来直接获取有需要数据的网页。 使用一开始，我分别下载好了geckodriver（火狐）和chromedriver（谷歌）两个浏览器驱动， 但使用时chromedriver成功打开了火狐浏览器，而ge 阅读全文

摘要：爬虫，形象上来说，它就是行走于网络上的网络机器人；具体来讲，它就是通过网络对网络资源进行定时、定量或者定速采集的程序，网络资源可以是文本、图像和音频。 爬虫的基本原理其实非常简单，就是发送请求报文，处理反爬机制，然后获取响应报文。 阅读全文

摘要：0.序 我同学论文需要数据建模，想用爬虫软件爬取数据，就问有没有人会用爬虫软件，我回了句：我不会用爬虫软件，但我会写爬虫。然后爬虫事件就拉开了序幕。 1. 我同学要的数据是P2P借款人信息，她就选了翼龙贷上的数据，我先去浏览了翼龙贷网站，然后知道了数据的位置。先要进入产品列表页面，这里有各期产品列表 阅读全文