笔记，爬虫（4）

上篇浅谈正则和Soup，今天继续深入。参考：http://www.jb51.net/article/65287.htm

 

Beautiful Soup

Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。它是一个工具箱，通过解析文档为用户提供需要抓取的数据，因为简单，所以不需要多少代码就可以写出一个完整的应用程序。Beautiful Soup自动将输入文档转换为Unicode编码，输出文档转换为utf-8编码。你不需要考虑编码方式，除非文档没有指定一个编码方式，这时，Beautiful Soup就不能自动识别编码方式了。然后，你仅仅需要说明一下原始编码方式就可以了。Beautiful Soup已成为和lxml、html6lib一样出色的python解释器，为用户灵活地提供不同的解析策略或强劲的速度。

 

import urllib
import urllib.request as request
from bs4 import BeautifulSoup     # 下个补丁包

def tao(url):
    response = request.urlopen(url)
    html = response.read()
    data = html.decode('utf-8')
    soup = BeautifulSoup(data, "html.parser")  # 创建 beautifulsoup 对象
  #  print(soup.prettify())    # 格式化输出Soup对象内容，用于查询网页相关信息
# Beautiful Soup将复杂HTML文档转换成一个复杂的树形结构,每个节点都是Python对象,
# 所有对象可以归纳为4种:Tag,NavigableString,BeautifulSoup,Comment

    print(soup.title)  # Tag，就是 HTML 中的一个个标签，它有两个重要的属性，是 name 和 attrs
    print(soup.title.attrs, '\n')  # 我们可以利用soup加标签名轻松地获取这些标签的内容，但它查找的是在所有内容中的第一个符合要求的标签
    #  也可以对这些属性和内容等等进行修改、删除

    print(soup.title.string, '\n')  # NavigableString，用于获取标签内部的文字

    # BeautifulSoup对象表示的是一个文档的全部内容.大部分时候, 可以把它当作Tag对象，是一个特殊的Tag，我们可以分别获取它的类型，名称，以及属性

    print(soup.a)  # a标签里的内容实际上是注释，但是如果我们利用 .string 来输出它的内容，我们发现它已经把注释符号去掉了，所以这可能会给我们带来不必要的麻烦。
    print(soup.a.string, '\n')
   # for list in soup.find_all('h3'):
   #     print(list.string)

if __name__ == '__main__':
    url = 'http://www.taobao.com/?spm=a310q.2219005.1581860521.1.b9kUd4'
    tao(url)

结果：

 

• 遍历文档树（用于对网页信息的了解，比较简单，直接截图） （1）直接子节点（：.contents .children 属性）

tag 的 .content 属性可以将tag的子节点以列表的方式输出输出方式为列表，我们可以用列表索引来获取它的某一个元素，它返回的不是一个 list，不过我们可以通过遍历获取所有子节点。

我们打印输出 .children 看一下，可以发现它是一个 list 生成器对象，我们怎样获得里面的内容呢？很简单，遍历一下就好了，代码及结果如下

 

（2）所有子孙节点（.descendants）

.contents 和 .children 属性仅包含tag的直接子节点，.descendants 属性可以对所有tag的子孙节点进行递归循环，和 children类似，我们也需要遍历获取其中的内容。（更深入的探寻）

 

 

（3）节点内容（.string）

如果tag只有一个 NavigableString 类型子节点,那么这个tag可以使用 .string 得到子节点。如果一个tag仅有一个子节点,那么这个tag也可以使用 .string 方法,输出结果与当前唯一子节点的 .string 结果相同。通俗点说就是：如果一个标签里面没有标签了，那么 .string 就会返回标签里面的内容。如果标签里面只有唯一的一个标签了，那么 .string 也会返回最里面的内容。如果tag包含了多个子节点,tag就无法确定，string 方法应该调用哪个子节点的内容, .string 的输出结果是 None

 

（4）多个内容（ .strings .stripped_strings ）

 

（5）父节点（.parent .parents）

 

（7）兄弟节点（.next_sibling .previous_sibling .next_siblings .previous_siblings）

 

 

 

 

• 搜索文档树

（1）find_all( name , attrs , recursive , text , **kwargs )

find_all() 方法搜索当前tag的所有tag子节点,并判断是否符合过滤器的条件

1）name 参数

name 参数可以查找所有名字为 name 的tag,字符串对象会被自动忽略掉

2）keyword 参数（一看就懂，一用就会，继续截图）

    注意：如果一个指定名字的参数不是搜索内置的参数名,搜索时会把该参数当作指定名字tag的属性来搜索,如果包含一个名字为 id 的参数,Beautiful Soup会搜索每个tag的”id”属性

3）text 参数

通过 text 参数可以搜搜文档中的字符串内容.与 name 参数的可选值一样, text 参数接受 字符串 , 正则表达式 , 列表, True

 

4）limit 参数

find_all() 方法返回全部的搜索结构,如果文档树很大那么搜索会很慢.如果我们不需要全部结果,可以使用 limit 参数限制返回结果的数量.效果与SQL中的limit关键字类似,当搜索到的结果数量达到 limit 的限制时,就停止搜索返回结果.

文档树中有3个tag符合搜索条件,但结果只返回了2个,因为我们限制了返回数量

 

5）recursive 参数

调用tag的 find_all() 方法时,Beautiful Soup会检索当前tag的所有子孙节点,如果只想搜索tag的直接子节点,可以使用参数 recursive=False .

 

（2）find( name , attrs , recursive , text , **kwargs )

它与 find_all() 方法唯一的区别是 find_all() 方法的返回结果是值包含一个元素的列表,而 find() 方法直接返回结果
（3）find_parents() find_parent()

find_all() 和 find() 只搜索当前节点的所有子节点,孙子节点等. find_parents() 和 find_parent() 用来搜索当前节点的父辈节点,搜索方法与普通tag的搜索方法相同,搜索文档搜索文档包含的内容
（4）find_next_siblings() find_next_sibling()

这2个方法通过 .next_siblings 属性对当 tag 的所有后面解析的兄弟 tag 节点进行迭代, find_next_siblings() 方法返回所有符合条件的后面的兄弟节点,find_next_sibling() 只返回符合条件的后面的第一个tag节点
（5）find_previous_siblings() find_previous_sibling()

这2个方法通过 .previous_siblings 属性对当前 tag 的前面解析的兄弟 tag 节点进行迭代, find_previous_siblings() 方法返回所有符合条件的前面的兄弟节点, find_previous_sibling() 方法返回第一个符合条件的前面的兄弟节点
（6）find_all_next() find_next()

这2个方法通过 .next_elements 属性对当前 tag 的之后的 tag 和字符串进行迭代, find_all_next() 方法返回所有符合条件的节点, find_next() 方法返回第一个符合条件的节点
（7）find_all_previous() 和 find_previous()

这2个方法通过 .previous_elements 属性对当前节点前面的 tag 和字符串进行迭代, find_all_previous() 方法返回所有符合条件的节点, find_previous()方法返回第一个符合条件的节点

    注：以上（2）（3）（4）（5）（6）（7）方法参数用法与 find_all() 完全相同，原理均类似，在此不再赘述。

 

CSS选择器

我们在写 CSS 时，标签名不加任何修饰，类名前加点，id名前加 #，在这里我们也可以利用类似的方法来筛选元素，用到的方法是 soup.select()，返回类型是 list

 

 

网页中有用的信息通常存在于网页中的文本或各种不同标签的属性值，为了获得这些网页信息，有必要有一些查找方法可以获取这些文本值或标签属性。为了找到BeautifulSoup对象内任何第一个标签入口，我们可以使用find()方法。

关键是动手，别人讲的再好不如自己写着印象深刻。强化理解可以参考：http://blog.csdn.net/abclixu123/article/details/38502993

基本把人家一篇文章给扣过来了。实在不好意思！