20194302实验四 Python综合实践

 

(1)实战背景

小说网站-笔趣看:

URL:http://www.biqukan.com/

笔趣看是一个盗版小说网站,这里有很多起点中文网的小说,该网站小说的更新速度稍滞后于起点中文网正版小说的更新速度。并且该网站只支持在线浏览,不支持小说打包下载。因此,本次实战就是从该网站爬取并保存一本名为《一念永恒》的小说,该小说是耳根已完结的一部玄幻小说。PS:本实验仅为交流学习,支持耳根大大,请上起点中文网订阅。

(2)初次尝试

我们先看下《一念永恒》小说的第一章内容,URL:http://www.biqukan.com/1_1094/5403177.html

我们先用已经学到的知识获取 HTML 信息试一试,编写代码如下:

# -*- coding:UTF-8 -*-
import requests

if __name__ == '__main__':
    target = 'http://www.biqukan.com/1_1094/5403177.html'
    req = requests.get(url=target)
    print(req.text)

 

运行代码,可以看到如下结果:

 

可以看到,我们很轻松地获取了 HTML 信息。但是,很显然,很多信息是我们不想看到的,我们只想获得如右侧所示的正文内容,我们不关心 div、br 这些 html 标签。那么,如何把正文内容从这些众多的 html 标签中提取出来呢?

 

 

 

 

(3)Beautiful Soup

爬虫的第一步,获取整个网页的 HTML 信息,我们已经完成。接下来就是爬虫的第二步,解析 HTML 信息,提取我们感兴趣的内容对于这次实验,我们感兴趣的内容就是文章的正文。提取的方法有很多,例如使用正则表达式、Xpath、Beautiful Soup 等。这里使用简单的方法就是使用 Beautiful Soup 提取感兴趣内容。

Beautiful Soup 的安装方法和 requests 一样,使用如下指令安装:

1.pip install beautifulsoup4

2.easy_install beautifulsoup4

现在,我们使用已经掌握的审查元素方法,查看一下我们的目标页面,你会看到如下内容:

 

 

不难发现,文章的所有内容都放在了一个名为 div 的“东西下面”,这个"东西"就是 html 标签。HTML 标签是 HTML 语言中最基本的单位,HTML 标签是 HTML 最重要的组成部分。

接下来,使用 Beautiful Soup 提取我们想要的内容,编写代码如下:

# -*- coding:UTF-8 -*-
from bs4 import BeautifulSoup
import requests
if __name__ == "__main__":
      target = 'http://www.biqukan.com/1_1094/5403177.html'
      req = requests.get(url = target)
      html = req.text
      bf = BeautifulSoup(html)
      texts = bf.find_all('div', class_ = 'showtxt') 
      print(texts)

在解析 html 之前,我们需要创建一个 Beautiful Soup 对象。BeautifulSoup 函数里的参数就是我们已经获得的 html 信息。然后我们使用find_all方法,获得 html 信息中所有 class 属性为 showtxt 的 div 标签。find_all方法的第一个参数是获取的标签名,第二个参数class_是标签的属性。因为 python 中 class 是关键字,为了防止冲突,这里使用class_表示标签的 class 属性,class_后面跟着的 showtxt 就是属性值了。看下我们要匹配的标签格式:

<div id="content", class="showtxt">

 

 

 

 

 

 

 

运行代码查看我们匹配的结果:

 

我们可以看到,我们已经顺利匹配到我们关心的正文内容,但是还有一些我们不想要的东西。比如 div 标签名,br 标签,以及各种空格。怎么去除这些东西呢?我们继续编写代码:

# -*- coding:UTF-8 -*-

from bs4 import BeautifulSoup

import requests

if __name__ == "__main__":

     target = 'http://www.biqukan.com/1_1094/5403177.html'

     req = requests.get(url = target)

     html = req.text

     bf = BeautifulSoup(html)

     texts = bf.find_all('div', class_ = 'showtxt')

     print(texts[0].text.replace('\xa0'*8,'\n\n'))

 

find_all 匹配的返回的结果是一个列表。提取匹配结果后,使用 text 属性,提取文本内容,滤除 br 标签。随后使用 replace 方法,剔除空格,替换为回车进行分段。&nbsp;在 html 中是用来表示空格的。replace('\xa0'*8,'\n\n')就是去掉下图的八个空格符号,并用回车代替:

 

程序运行结果如下:

 

可以看到,我们很自然的匹配到了所有正文内容,并进行了分段。我们已经顺利获得了一个章节的内容,要想下载整本小说,我们就要获取每个章节的链接。我们先分析下小说目录:URL:http://www.biqukan.com/1_1094/

 

通过审查元素,我们发现可以发现,这些章节都存放在了 class 属性为 listmain 的 div 标签下,选取部分 html 代码如下:

<div class="listmain">

<dl>

<dt>《一念永恒》最新章节列表</dt>

<dd><a href="/1_1094/15932394.html">第 1027 章 第十道门</a></dd>

<dd><a href="/1_1094/15923072.html">第 1026 章 绝伦道法!</a></dd>

<dd><a href="/1_1094/15921862.html">第 1025 章 长生灯!</a></dd>

<dd><a href="/1_1094/15918591.html">第 1024 章 一目晶渊</a></dd>

<dd><a href="/1_1094/15906236.html">第 1023 章 通天道门</a></dd>

<dd><a href="/1_1094/15903775.html">第 1022 章 四大凶兽!</a></dd>

<dd><a href="/1_1094/15890427.html">第 1021 章 鳄首!</a></dd>

<dd><a href="/1_1094/15886627.html">第 1020 章 一触即发!</a></dd>

<dd><a href="/1_1094/15875306.html">第 1019 章 魁祖的气息!</a></dd>

<dd><a href="/1_1094/15871572.html">第 1018 章 绝望的魁皇城</a></dd>

<dd><a href="/1_1094/15859514.html">第 1017 章 我还是恨你!</a></dd>

<dd><a href="/1_1094/15856137.html">第 1016 章 从来没有世界之门!</a></dd>

<dt>《一念永恒》正文卷</dt> <dd><a href="/1_1094/5386269.html">外传 1 柯父。</a></dd>

<dd><a href="/1_1094/5386270.html">外传 2 楚玉嫣。</a></dd> <dd><a href="/1_1094/5386271.html">外传 3 鹦鹉与皮冻。</a></dd>

<dd><a href="/1_1094/5403177.html">第一章 他叫白小纯</a></dd> <dd><a href="/1_1094/5428081.html">第二章 火灶房</a></dd>

<dd><a href="/1_1094/5433843.html">第三章 六句真言</a></dd> <dd><a href="/1_1094/5447905.html">第四章 炼灵</a></dd>

</dl>

</div>

总结一下:小说每章的链接放在了 class 属性为 listmain 的<div>标签下的<a>标签中。链接具体位置放在 html->body->div->dl->dd->a 的 href 属性中。先匹配 class 属性为 listmain 的<div>标签,再匹配<a>标签。编写代码如下:

# -*- coding:UTF-8 -*-

from bs4 import BeautifulSoup

import requests

if __name__ == "__main__":

     target = 'http://www.biqukan.com/1_1094/'

     req = requests.get(url = target)

     html = req.text

     div_bf = BeautifulSoup(html)

     div = div_bf.find_all('div', class_ = 'listmain')

     print(div[0])

还是使用 find_all 方法,运行结果如下:

 

接下来再匹配每一个<a>标签,并提取章节名和章节文章。

对 Beautiful Soup 返回的匹配结果 a,使用 a.get('href')方法就能获取 href 的属性值,使用 a.string 就能获取章节名,编写代码如下:

# -*- coding:UTF-8 -*-

from bs4 import BeautifulSoup

import requests

if __name__ == "__main__":

     server = 'http://www.biqukan.com/'

     target = 'http://www.biqukan.com/1_1094/'

     req = requests.get(url = target) html = req.text

     div_bf = BeautifulSoup(html)

     div = div_bf.find_all('div', class_ = 'listmain')

     a_bf = BeautifulSoup(str(div[0]))

     a = a_bf.find_all('a')

     for each in a:

          print(each.string, server + each.get('href'))

因为 find_all 返回的是一个列表,里边存放了很多的<a>标签,所以使用 for 循环遍历每个<a>标签并打印出来,运行结果如下:

 

最上面匹配的一千多章的内容是最新更新的 12 章节的链接。这 12 章内容会和下面的重复,所以我们要滤除。实验成功。

(4)整合代码

每个章节的链接、章节名、章节内容都有了。接下来就是整合代码,将获得内容写入文本文件存储就好了。编写代码如下:

# -*- coding:UTF-8 -*-

from bs4 import BeautifulSoup

import requests, sys

 

class downloader(object):

    def __init__(self):

        self.server = 'http://www.biqukan.com/'

        self.target = 'http://www.biqukan.com/1_1094/'

        self.names = []            #存放章节名

        self.urls = []            #存放章节链接

        self.nums = 0            #章节数

 

    def get_download_url(self):

        req = requests.get(url = self.target)

        html = req.text

        div_bf = BeautifulSoup(html)

        div = div_bf.find_all('div', class_ = 'listmain')

        a_bf = BeautifulSoup(str(div[0]))

        a = a_bf.find_all('a')

        self.nums = len(a[15:])                                #剔除不必要的章节,并统计章节数

        for each in a[15:]:

            self.names.append(each.string)

            self.urls.append(self.server + each.get('href'))

 

    """

    函数说明:获取章节内容

    Parameters:

        target - 下载连接(string)

    Returns:

        texts - 章节内容(string)

    """

    def get_contents(self, target):

        req = requests.get(url = target)

        html = req.text

        bf = BeautifulSoup(html)

        texts = bf.find_all('div', class_ = 'showtxt')

        texts = texts[0].text.replace('\xa0'*8,'\n\n')

        return texts

 

    """

    函数说明:将爬取的文章内容写入文件

    Parameters:

        name - 章节名称(string)

        path - 当前路径下,小说保存名称(string)

        text - 章节内容(string)

    Returns:

       

    """

    def writer(self, name, path, text):

        write_flag = True

        with open(path, 'a', encoding='utf-8') as f:

            f.write(name + '\n')

            f.writelines(text)

            f.write('\n\n')

 

if __name__ == "__main__":

    dl = downloader()

    dl.get_download_url()

    print('《一年永恒》开始下载:')

    for i in range(dl.nums):

        dl.writer(dl.names[i], '一念永恒.txt', l.get_contents(dl.urls[i]))

        sys.stdout.write("  已下载:%.3f%%" %  float(i/dl.nums*100) + '\r')

        sys.stdout.flush()

print('《一年永恒》下载完成')

(5)学习感悟

学习Python也有一个学期了,感触最深的就是,学习编程不是一日之功,需要每天投入时间学习,也不可纸上谈兵,需要自己亲自操作,不动手就不会发现问题,动了手印象才会深刻,记得更靠。

接下来我就稍微总结一下,我在学习中遇到的问题和一些心得体会。

1.修改字符串大小写时常用的方法有upper,lower,局限性就是真个字符串都会变化,还有一种叫title的方法,可以只把首字母大写,非常好用。

2.列表本身是有顺序的,而且非常非常非常重要的一点,列表中的第一个数的顺序是“0”,索引是从0开始的!

3.修改列表时可以用,insert(位置,内容)来修改。

4.删除列表的内容时,用del可以直接锁定列表的位置来删除,用remove(内容),会将列表了第一次出现的内容删除,pop方法是直接删除末尾的内容,也可以看做是一种变相的提取,加上位置,比如pop(位置),就可以提取任何一个位置上的内容。

5.学习时还遇到了几个非常常用的方法,可能在课程中很少提到。len()来确定字符串的长度。range(数字),来生成从0开始一直到输入数字的一组连续的数字,例如输入的是10,会生成0到9的10个数。range(len()),这两者的结合可以很好的用来当做一组数据的索引,来确定数据中的位置,非常好用。

6.在写for循环时,要非常注意首行缩进,一般是缩进4个空格字符串,因为当嵌套的循环过多时,非常容易出错,系统无法识别出谁是谁的循环体。for我建议理解为遍历,就是指从头到尾看完整个数据。

7.while才是真正名义上的循环,只要满足条件就会重复进行,因此用while时一定要保证有可以结束循环的语句,比如说,用continue,break等,要不然系统就会无限进行循环。

8.range的左闭右开特性,举例子,range(1,5),以为是生成1到5折五个数字,但是根据python左闭右开的特性,实际是生成1到4这四个数字,切记,在切片,索引中非常重要。

9.切片就是根据位置来截取字符串的一部分,也是左闭右开。一些特殊的切片,[:]是取整个部分,[1:]是从位置1到结束,[:-1],负数代表从末尾数。

10.最开始我一直没有明白,列表,元祖,集合之间的区别,我简单描述一下,列表的限制要求最低,基本适用于任何一种情况,元祖不同,是不能修改元祖内的元素,因此元祖不可变,集合无序且不会重复。

11.if-elif-else, elif就可以理解为与if并列的条件判断,比如说,if我早饭吃的苹果,就会怎么样,elif我早饭吃的煎饼,就会怎么样,elif我早饭吃的面包,就会怎么样。三者并列判断

12.del可删除key-value对。

13.遍历字典用for key,value in 字典:

14.调用函数时,要给形式参数赋予一个实际参数,才会实现函数的内容,写实际参数时,顺序位置不能乱,与形式参数的位置对齐,当然如果在调用函数时已经带着形式参数一起写,就没顺序上的问题了。

15.列表的传递。可以先用pop方法,将一个列表内的数据储存在一个中间空列表内,然后再用append将中间列表里的数据,转移到最终想要的列表内,这样既实现了列表的转移。

16.导入模块后,如果调用了模块内的函数或者方法,一定要在前面制定模块名。

这些大概是我觉得比较重要的部分,当然,肯定还有很多遗漏的地方,也有很多还没遇到的难点知识点,学海无涯苦作舟,学习永无止境。我希望在未来能够学到更多对自己有用的知识,充实自己,提升自己。

 

 

posted @ 2020-06-14 11:08  20194302尹健  阅读(198)  评论(0编辑  收藏