爬虫入门----小说下载(静态网页的文字爬取)

小说下载

工具

　　Python3.6 + Requests + BeautifulSoup4
　　PS：点击 Requests 或 BeautifulSoup 可查看对应中文文档

任务

　　通过Python的爬虫下载一本小说。
　　此次爬取的网站为 http://www.kbiquge.com/

分析

　　首先我们随便打开一个小说打开一章看看
　　如：斗罗大陆的 引子 穿越的唐家三少 （url：http://www.kbiquge.com/104_104216/28964753.html)

　　

 　　图一

　　我们可以使用requests来获取一下页面内容（这个极少的代码就不贴了。大家动手一下哈）

　　

　　图二

　　可以正常获取。那这个格式因为是源代码，所以有大量的非小说内容。
　　在这里看源代码 emmm 确实很难受。Chrome 页面内右键检查，或直接F12可以动态查看修改源代码（其他浏览器同理）

　　接下来我们使用BeautiSoup来获取我们需要的部分（以下是内容部分，标题同理可获取）

import re
import requests as req
from bs4 import BeautifulSoup as bs

url = 'http://www.kbiquge.com/104_104216/28964753.html'

r = req.get(url)
text = r.content.decode('gbk')
b = bs(text)

# 数据清洗
# 以下步骤可以自行逐步执行，以便熟悉其作用
content = b.find_all(id='content') # 获取id为content的标签
content = content[0].text # 清除html标签
content = re.sub(u'[\u3000, \xa0]', '', content).replace(' ', '') # 清理空格
content = content.replace('\n\r', '') # 清楚多余换行回车
print(content)

 

　　

图三

　　代码结合如下

import re
import requests as req
from bs4 import BeautifulSoup as bs

url = 'http://www.kbiquge.com/104_104216/28964753.html'

r = req.get(url)
text = r.content.decode('gbk') # 防止中文乱码
b = bs(text)

# 获取标题并截取
title = b.find_all('h1')[0].text[1:]

# 数据清洗
# 以下步骤可以自行逐步执行，以便熟悉其作用
content = b.find_all(id='content') # 获取id为content的标签
content = content[0].text # 清除html标签
content = re.sub(u'[\u3000, \xa0]', '', content).replace(' ', '') # 清理空格
content = content.replace('\n\r', '') # 清楚多余换行回车

# 整合
content = title + '\n' + content +'\n\n' # 将标题和内容整合

 

　　接下来我们来看看 目录

图四

　　目录这里我采用正则的方式获取标题和 url（详情了解可以查看文档）

　　

import re
import requests as req
from bs4 import BeautifulSoup as bs

list_url = 'http://www.kbiquge.com/104_104216/'
r = req.get(list_url)
b = bs(r.content.decode('gbk'))
text = b.find_all(href=re.compile('/104_104216/')) # 使用正则的方式获取链接列表
for each in text: # 遍历列表打印查看
    print(each.string + ' ' + each.get('href'))

 

图五

　　基本上就这么多。接下来就是依次获取目录 URL 然后再下载每章小说即可。
　　关于章节 URL 问题，可能有人会说应该都是有序的，仔细观察可能发现有非连续的。故依次获取即可

编码

　　

import re
import requests
from bs4 import BeautifulSoup

list_url = 'http://www.kbiquge.com/104_104216/'

r = requests.get(list_url)
b = BeautifulSoup(r.content.decode('gbk'))
t = b.find_all(href = re.compile('/104_104216/'))
list_len = len(t)
i = 1
print('Strat Download:')
for each in t:
    print('正在下载第' + str(i) + '章，共' + str(list_len) + '章')
    url = list_url + each.get('href')[12:]
    r = requests.get(url)
    b = BeautifulSoup(r.content.decode('gbk'))

    # 获取标题并截取
    title = b.find_all('h1')[0].text[1:]

    # 数据清洗
    content = b.find_all(id='content')[0].text # 清除html标签
    content = re.sub(u'[\u3000, \xa0]', '', content).replace(' ', '').replace('\n\r', '')
    content = title + '\n' + content +'\n\n' # 将标题和内容整合
    with open('斗罗大陆.txt', 'a', encoding='utf-8') as f:
        f.write(content)
    i = i+1
print('Download successful!')