2021年11月1日

初步实现 python 爬取小说，实现不规则页面的翻页爬取

摘要： 在写爬虫的时候，我们会遇到有的网页链接是不规则的。今天我写爬虫练习的时候，就遇到了这个情况。后来我发现用 lxml 可以很好的去出链接，然后我灵光一闪，就去试了试，果然。把每次找到的链接传给一个成员变量保存，这样就可以直接在下次爬取的时候调用这个变量去访问下一个要爬取的页面了 # -*- codin 阅读全文

posted @ 2021-11-01 21:58 一颗蛋50斤 阅读(1318) 评论(4) 推荐(0)

导航