随笔分类 -  网络爬虫

网络爬虫小结
摘要：Python中可以用来爬取网络数据的库有很多，常见的有：urllib、urllib2、urllib3、requests、scrapy、selenium等。 基本上可以分为3类： 第一类：urllib、urllib2、urllib3、requests； 第二类：scrapy； 第三类：selenium 阅读全文
posted @ 2018-10-03 18:05 仔仔ji 阅读(269) 评论(0) 推荐(0)
网络爬虫-爬取京东商品评价数据
摘要：前段时间做商品评价的语义分析，需要大量的电商数据，于是乎就自己动手爬取京东的数据。第一次接触爬虫是使用selenium爬取CNKI的摘要，基于惯性思维的我仍然想用selenium+Firefox的方法爬取京东上的数据。代码就这样以selenium为框架写好了，但是效果一如既往的差，主要是耗时真的是太 阅读全文
posted @ 2018-10-03 17:50 仔仔ji 阅读(7112) 评论(0) 推荐(3)