2017年12月7日
爬虫实战【12】使用cookie登陆豆瓣电影以及获取单个电影的所有短评
摘要： 昨天我们已经实现了如何抓取豆瓣上的热门电影信息，虽然不多，只有几百，但是足够我们进行分析了。 今天我们来讲一下如何获取某一部电影的所有短评论信息，并保存到mongodb中。 反爬虫 豆瓣设置的反爬虫机制是比较简单的，我们可以通过selenium模拟浏览器登陆这种终极办法来绕过，但是更加有效率的方法是 阅读全文
posted @ 2017-12-07 20:20 xingzhui 阅读(2432) 评论(0) 推荐(0) 编辑