bs4的简单使用

一.使用流程

    解析流程:
        1.pip install bs4
2.导包:from bs4 import BeautifulSoup
3.实例化一个BeautifulSoup对象(将页面源码数据加载到该对象中)
      (1)转化本地文件: - soup = BeautifulSoup(open('本地文件'), 'lxml')
      (2)转化网络文件: - soup = BeautifulSoup('字符串类型或者字节类型', 'lxml')

4.调用BeautifulSoup对象中的相关属性和方法进行标签的定位

二.基本语法

基础巩固:
    (1)根据标签名查找
        - soup.a   只能找到第一个符合要求的标签
    (2)获取属性
        - soup.a.attrs  获取a所有的属性和属性值,返回一个字典
        - soup.a.attrs['href']   获取href属性
        - soup.a['href']   也可简写为这种形式
    (3)获取内容
        - soup.a.string      获取a标签的直系文本
        - soup.a.text     这是属性,获取a子类的所有文本
        - soup.a.get_text()  这是方法,获取a标签子类的所有文本
       【注意】如果标签还有标签,那么string获取到的结果为None,而其它两个,可以获取文本内容
    (4)find:找到第一个符合要求的标签
        - soup.find('a')  找到第一个符合要求的
        - soup.find('a', title="xxx") 具有title=a属性的
        - soup.find('a', alt="xxx")
        - soup.find('a', class_="xxx")
        - soup.find('a', id="xxx")
    (5)find_all:找到所有符合要求的标签
        - soup.find_all('a')
        - soup.find_all(['a','b']) 找到所有的a和b标签
        - soup.find_all('a', limit=2)  限制前两个
    (6)根据选择器选择指定的内容
               select:soup.select('#feng')
        - 常见的选择器:标签选择器(a)、类选择器(.)、id选择器(#)、层级选择器
            - 层级选择器:
                div .dudu #lala .meme .xixi  下面好多级
                div > p > a > .lala          只能是下面一级
        select就是css选择器 【注意】select选择器返回永远是列表,需要通过下标提取指定的对象

三.重点语法find和find_all

  1. name参数的四种过滤器
   soup=Beautifulsoup('page','lxml')
    •  不带过滤器: print(soup.find_all())  #没有过滤,查找所有标签
    • 字符串过滤器: print (soup.find_all())  #字符串过滤器,即标签名
    • 列表: print(soup.find_(['a','b'])) #找到所有的a标签和b标签,任一即可
    • 正则:   print(soup.find_all(re.complie('^b'))) #找到所有b开头的标签
    • 方法: def has_class_but_no_id(tag):
        •       return tag.has_attr('class') and not tag.has_attr('id')
        • print(soup.find_all(has_class_but_no_id))
  2、按照类名查找,注意关键字是class_,class_=value,value可以是五种选择器之一
       print(soup.find_all('a',class_='sister')) #查找类为sister的a标签
       print(soup.find_all('a',class_='sister ssss')) #查找类为sister和sss的a标签,顺序错误也匹配不成功
       print(soup.find_all(class_=re.compile('^sis'))) #查找类为sister的所有标签

  3、attrs
    print(soup.find_all('p',attrs={'class':'story'}))

  4、text: 值可以是:字符,列表,True,正则
    print(soup.find_all(text='Elsie'))
    print(soup.find_all('a',text='Elsie'))
  
`
  5、limit参数:如果文档树很大那么搜索会很慢.如果我们不需要全部结果,可以使用 limit 参数限制返回结果的数量.效果与SQL中的limit关键字类似,
  当搜索到的结果数量达到 limit 的限制时,就停止搜索返回结果     print(soup.find_all('a',limit=2))


  6、recursive:调用tag的 find_all() 方法时,Beautiful Soup会检索当前tag的所有子孙节点,如果只想搜索tag的直接子节点,可以使用参数 recursive=False .     print(soup.html.find_all('a'))     print(soup.html.find_all('a',recursive=False))

  7.find和find_all一样

 

 

四.爬取小说

import requests
from bs4 import BeautifulSoup

'''
    解析流程:
        1.pip install bs4
        2.导包:from bs4 import BeautifulSoup
        3.实例化一个BeautifulSoup对象(将页面源码数据加载到该对象中)
        4.调用BeautifulSoup对象中的相关属性和方法进行标签的定位
'''

headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.109 Safari/537.36'
}
url='http://www.shicimingju.com/book/sanguoyanyi.html'
page_text=requests.get(url=url,headers=headers).text

bs4=BeautifulSoup(page_text,'lxml')
#返回一个li列表
li_list=bs4.select('.book-mulu>ul>li')
f=open('./bs-三国','w',encoding='utf-8')
for li in li_list:
    detail_url='http://www.shicimingju.com'+li.a['href']
    detail_page_text=requests.get(detail_url).text
    bs=BeautifulSoup(detail_page_text)
    title=bs.select('.www-main-container>h1')[0].text #select返回的是列表
    content=bs.find('div',class_='chapter_content').text

    f.write(title+'\n'+content)
    print(title+':下载成功')

 

 

posted @ 2019-02-24 22:32  阿布_alone  阅读(1649)  评论(0编辑  收藏  举报
TOP