爬虫 1 requests 、beautifulsoup

1.requests

  1.method

　　提交方式：post、get、put、delete、options、head、patch

  2.url

　　访问地址

  3.params

　　在url中传递的参数，GET

　　params = {'k1':'v1','k2':'v2'}　　　　params = ‘k1=v1&k2=v2’　　　　params = [('k1','v1'),('k2,'v2')]

  4.data

　　在请求体内传递的参数

　　data = {'k1':'v1','k2':'v2'}　　　　data = ‘k1=v1&k2=v2’　　　　data = [('k1','v1'),('k2,'v2')]　　　　data = open('file','rb')

5.json

　　在请求体内传递的参数

　　JSON serializable Python object

　　参数经过序列化，意味着可以传递字典内嵌套字典等

6.headers

　　请求头

　　headers = { 'referer':上次浏览的页面

　　　　　　　 'user-agent':用户使用的客户端类型

　　　　　　　 ...

　　　　　　　　　　}

　　

7.cookies

　　即cookie

　　字典类型或CookieJar object类型,在请求头中传递

8.files

　　文件

　　files = {'file1':open('file','rb')}　　　　files = ('file1',open('file','rb'))     ===    ('filename', fileobj, 'content_type')  或  ('filename', fileobj, 'content_type', custom_headers)

9.auth

　　用户名、密码加密    auth = HTTPBasicAuto(username,pwd)

10.timeout

　　请求和响应的超时

11.allow_redirects

　　是否允许重定向

12.proxies

　　代理

13.verify

　　是否忽略证书

14.stream

　　下载方式  类型为布尔值   True,则下载能下多少下多少  

15.cert

　　针对https,证书文件

16.session

　　requests.session     可以免去写cookies

 

2.beautifulsoup

1.markup

　　将一个字符串或者文件序列化（url，文件路径等）

2.features

　　解析器类型

　　

基本应用

1.tag

1）name

from bs4 import BeautifulSoup
soup = BeautifulSoup('<b class="boldest">Extremely bold</b>')
tag = soup.b
print(tag.name)

通过可以通过该属性来修改标签，如果改变了tag的name,那将影响所有通过当前Beautiful Soup对象生成的HTML文档。

from bs4 import BeautifulSoup
soup = BeautifulSoup('<b class="boldest">Extremely bold</b>')
tag.name = 'a'
print(tag)

2）Attributes

一个tag可能有很多个属性. tag <b class="boldest"> 有一个 “class” 的属性,值为 “boldest” . tag的属性的操作方法与字典相同

from bs4 import BeautifulSoup
soup = BeautifulSoup('<b class="boldest">Extremely bold</b>')
print(tag['class'])

也可以使用attrs可以以字典形式返回标签的所有属性

from bs4 import BeautifulSoup
soup = BeautifulSoup('<b class="boldest">Extremely bold</b>')
print(tag.attrs)

tag的属性可以被添加,删除或修改.

tag['class'] = 'verybold'
tag['id'] = 1
 
del tag['class']
del tag['id']
 
tag['class']
print(tag.get('class'))

3）children

所有子标签

4）clear

将标签的所有子标签全部清空（保留标签名）

tag = soup.find('body')
tag.clear()
print(soup)

5）decompose

递归的删除所有的标签

body = soup.find('body')
body.decompose()
print(soup)

6）extract

递归的删除所有的标签，并获取删除的标签

body = soup.find('body')
v = body.extract()
print(soup)

7）decode 和 encode

decode转换为字符串（含当前标签）；decode_contents（不含当前标签）

encode转换为字节（含当前标签）；encode_contents（不含当前标签）

body = soup.find('body')
v = body.decode()
v = body.decode_contents()
print(v)

body = soup.find('body')
v = body.encode()
v = body.encode_contents()
print(v)

8）find 和 find_all

查找第一个和查找所有，源码中find的实现基于find_all，取[0]

tag = soup.find('a')
print(tag)
tag = soup.find(name='a', attrs={'class': 'sister'}, recursive=True, text='Lacie')
tag = soup.find(name='a', class_='sister', recursive=True, text='Lacie')
print(tag)

tags = soup.find_all('a')
print(tags)
 
tags = soup.find_all('a',limit=1)
print(tags)
 
tags = soup.find_all(name='a', attrs={'class': 'sister'}, recursive=True, text='Lacie')
tags = soup.find(name='a', class_='sister', recursive=True, text='Lacie')
print(tags)
 
 
####### 列表 #######
v = soup.find_all(name=['a','div'])
print(v)
 
v = soup.find_all(class_=['sister0', 'sister'])
print(v)
 
v = soup.find_all(text=['Tillie'])
print(v, type(v[0]))
 
 
v = soup.find_all(id=['link1','link2'])
print(v)
 
v = soup.find_all(href=['link1','link2'])
print(v)
 
####### 正则 #######
import re
rep = re.compile('p')
rep = re.compile('^p')
v = soup.find_all(name=rep)
print(v)
 
rep = re.compile('sister.*')
v = soup.find_all(class_=rep)
print(v)
 
rep = re.compile('http://www.oldboy.com/static/.*')
v = soup.find_all(href=rep)
print(v)
 
####### 方法筛选 #######
def func(tag):
return tag.has_attr('class') and tag.has_attr('id')
v = soup.find_all(name=func)
print(v)
 
 
## get,获取标签属性
tag = soup.find('a')
v = tag.get('id')
print(v)

9）has_attr

检查标签是否具有该属性

10）get_text

获取标签内部文本内容

11）index

检查标签在某标签中的索引位置