2018年3月21日

多进程爬取知乎评论

摘要: 多进程爬取知乎评论 逛知乎时想,如果写个爬虫把评论抓下来,应该蛮有意思的,说干就干。 先看一下网页结构,果然在XHR下找到了一个像JSON的文件,打开一看,想要的数据都躲在里面,不说废话,直接上代码。 记手笔记 知乎还是挖了一个小坑的,第一次请求时给我返回了一个401.我表面稳如老狗,其实慌的一逼。 阅读全文

posted @ 2018-03-21 17:02 Scrap 阅读(847) 评论(0) 推荐(0)

导航