2018年7月15日

结缘爬虫-(一)

摘要: 某个项目中,需要爬虫去获取某个航空公司网站的数据,为了偷懒,我选择了 seleinum来模拟浏览器操作来直接获取有需要数据的网页。 使用一开始,我分别下载好了geckodriver(火狐)和chromedriver(谷歌)两个浏览器驱动, 但使用时chromedriver成功打开了火狐浏览器,而ge 阅读全文

posted @ 2018-07-15 22:00 悄然而来 阅读(95) 评论(0) 推荐(0) 编辑

结缘爬虫-序

摘要: 爬虫,形象上来说,它就是行走于网络上的网络机器人;具体来讲,它就是通过网络对网络资源进行定时、定量或者定速采集的程序,网络资源可以是文本、图像和音频。 爬虫的基本原理其实非常简单,就是发送请求报文,处理反爬机制,然后获取响应报文。 阅读全文

posted @ 2018-07-15 20:34 悄然而来 阅读(93) 评论(0) 推荐(0) 编辑

2018年5月14日

一次爬虫事件

摘要: 0.序 我同学论文需要数据建模,想用爬虫软件爬取数据,就问有没有人会用爬虫软件,我回了句:我不会用爬虫软件,但我会写爬虫。然后爬虫事件就拉开了序幕。 1. 我同学要的数据是P2P借款人信息,她就选了翼龙贷上的数据,我先去浏览了翼龙贷网站,然后知道了数据的位置。先要进入产品列表页面,这里有各期产品列表 阅读全文

posted @ 2018-05-14 02:33 悄然而来 阅读(1180) 评论(0) 推荐(0) 编辑

2018年4月27日

读书学习-Python--描述符(python3)

摘要: 转自我的知乎文章(https://zhuanlan.zhihu.com/p/32487852) 哎,刚入住博客园,不大会用Markdown编辑器,先用知乎链接充下数吧,当然这是第一次,也是最后一次。愿我保佑大家^_^ 阅读全文

posted @ 2018-04-27 15:08 悄然而来 阅读(263) 评论(0) 推荐(0) 编辑

导航