摘要：调用数据库小说链接进行爬取 完整链接 from bs4 import BeautifulSoup import requests import time import pymysql class DB: def __init__(self,host='',port=3306,user='',pass 阅读全文

摘要：今天下午完成了对小说的章节以及章节内容分别进行了抓取。 小说章节及链接抓取： 上图代码输出了书名，章节，和章节链接，但是章节链接缺少了第三中文网主页链接，因此这个链接不能完全说是章节链接。 根据链接sql方面的知识对代码进行了调整，组成了完整链接。 小说内容抓取： 上图是抓取到的章节内容，但是这些内 阅读全文

摘要：1：爬取内容的标签要找准确 2：时间设置3以上，防止被封 爬取小说数据时mysql列名设置为一个，但pyth代码没有更改导致运行报错，通过代码对比发现错误及时更改。 网速跟爬取数据有直接的关系，网速过慢就会导致代码还在运行，就是爬取不到东西。解决方法是及时更换网络或到网速快的地方爬取。 阅读全文