爬取小说{章节,内容,链接}

今天下午完成了对小说的章节以及章节内容分别进行了抓取。

小说章节及链接抓取:

 

 上图代码输出了书名,章节,和章节链接,但是章节链接缺少了第三中文网主页链接,因此这个链接不能完全说是章节链接。

根据链接sql方面的知识对代码进行了调整,组成了完整链接。

 

 

小说内容抓取:

 

 上图是抓取到的章节内容,但是这些内容还含有br标签,我要的是文本内容,而这样的文本并不符合我的要求,询问了同学之后发现运用get_text方法可以得到单纯的文本,看下图

 

 pandas包安装要在网络良好的情况下进行安装,不然会失败。

 

posted @ 2020-12-07 19:38  花落无痕亦有痕♡  阅读(158)  评论(0)    收藏  举报