python爬虫学习之小说抓取2

爬虫学习的一点心得

任务：抓取某小说网站小说并下载

抓取：selenium

解析：xpath，正则表达式

遇到的问题:

1.用requests抓取的时候，无论如何修改请求头，抓取的源代码明显缺失严重，特别是小说文本、链接地址等重要信息都无法获取，最后万不得已只能使用

selenium模拟浏览器（我这里使用的火狐浏览器）进行抓取成功