爬虫解析库beautifulsoup（二）
一.介绍
Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式.Beautiful Soup会帮你节省数小时甚至数天的工作时间.你可能在寻找 Beautiful Soup3 的文档,Beautiful Soup 3 目前已经停止开发,官网推荐在现在的项目中使用Beautiful Soup 4, 移植到BS4
#安装 Beautiful Soup pip install beautifulsoup4 #安装解析器 Beautiful Soup支持Python标准库中的HTML解析器,还支持一些第三方的解析器,其中一个是 lxml .根据操作系统不同,可以选择下列方法来安装lxml: $ apt-get install Python-lxml $ easy_install lxml $ pip install lxml 另一个可供选择的解析器是纯Python实现的 html5lib , html5lib的解析方式与浏览器相同,可以选择下列方法来安装html5lib: $ apt-get install Python-html5lib $ easy_install html5lib $ pip install html5lib
二.基本使用
html_doc = """ <html><head><title>The Dormouse's story</title></head> <body> <p class="title"><b>The Dormouse's story</b></p> <p class="story">Once upon a time there were three little sisters; and their names were <a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>, <a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and <a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>; and they lived at the bottom of a well.</p> <p class="story">...</p> """ #基本使用：容错处理,文档的容错能力指的是在html代码不完整的情况下,使用该模块可以识别该错误。使用BeautifulSoup解析上述代码,能够得到一个 BeautifulSoup 的对象,并能按照标准的缩进格式的结构输出 from bs4 import BeautifulSoup soup=BeautifulSoup(html_doc,'lxml') #具有容错功能 res=soup.prettify() #处理好缩进，结构化显示 print(res)
三.遍历文档树
# 遍历文档树 # 获取标签的名称 # print(soup.p.name) # 获取标签的属性 # print(soup.p.attrs) # 获取标签的内容 # print(soup.p.b.string) # 获取多个内容 # print(list(soup.p.b.strings)) # print(soup.p.text) # 嵌套选择 # print(soup.html.head.title.string) # 子节点，子孙节点 # print(soup.p.contents) # p下的所有子节点 # print(list(soup.p.children)) # 迭代器 # print(list(soup.p.descendants)) # 父节点，祖先节点 # print(soup.p.parent) # print(list(soup.p.parents)) # 兄弟节点 # print(soup.b.next_sibling) # 下一个兄弟 # print(list(soup.b.next_siblings)) # # print(soup.b.previous_sibling) # 上一个兄弟 # print(list(soup.b.previous_sibling))
四.五种过滤器
# 五种过滤器：字符串，正则，列表，方法，布尔值 # print(soup.find_all(name='b')) # print(soup.find(id='bbaa')) import re # print(soup.find_all(name=re.compile('^b$'))) # print(soup.find_all(name=['a', 'b'])) # print(soup.find_all(name=True)) # def has_class_but_no_id(tag): # return tag.has_attr('class') and not tag.has_attr('id') # print(soup.find_all(name=has_class_but_no_id, limit=1)) # 限制搜出来的结果数量 # print(soup.find_all(name='a', recursive=False))
五.CSS选择器
# CSS选择器 # print(soup.select('.title')) # print(soup.select('#bbaa')) # print(soup.select('.title b')[0].attrs.get('age')) # print(soup.select('.title b')[0].get_text())
六.总结
# 总结: #1、推荐使用lxml解析库 #2、讲了三种选择器:标签选择器,find与find_all，css选择器 1、标签选择器筛选功能弱,但是速度快 2、建议使用find,find_all查询匹配单个结果或者多个结果 3、如果对css选择器非常熟悉建议使用select #3、记住常用的获取属性attrs和文本值get_text()的方法
94
