摘要: 报错总结: 1. stack overflow。 1) 描述: 在Tops下面的具体分类下,例如tops1, tops2, tops3等, 我使用了线程池的方法,开了10个线程去爬取每一个页面中的具体不同tops的url.其中因为会匹配next page.然后,应为next page使用了嵌套函数。 阅读全文
posted @ 2022-01-15 01:38 张幼安 阅读(7) 评论(0) 推荐(0) 编辑
摘要: 思路: 1)在这里,我在考虑review的爬取的时候,考虑了两种方法。 ①. 直接将review爬取并下载为.json文件。(最终选择方法) ②. 爬取review,然后将review中的字典进行匹配,并直接插入数据库里面。 具体执行过程: main函数:main函数分为三个部分。 1)mysql抽 阅读全文
posted @ 2022-01-15 01:23 张幼安 阅读(14) 评论(0) 推荐(0) 编辑