爬虫之requests

requests

Python标准库中提供了：urllib、urllib2、httplib等模块以供Http请求，但是，它的 API 太渣了。它是为另一个时代、另一个互联网所创建的。它需要巨量的工作，甚至包括各种方法覆盖，来完成最简单的任务。

Requests 是使用 Apache2 Licensed 许可证的基于Python开发的HTTP 库，其在Python内置模块的基础上进行了高度的封装，从而使得Pythoner进行网络请求时，变得美好了许多，使用Requests可以轻而易举的完成浏览器可有的任何操作。

一：Python的requestcontent和text的区别

结论
resp.text返回的是Unicode型的数据。
resp.content返回的是bytes型也就是二进制的数据。
实地的应用
也就是说，如果你想取文本，可以通过r.text。
如果想取图片，文件，则可以通过r.content。
（resp.json()返回的是json格式数据）

响应中的参数和对应的数据内容

r.status_code #响应状态码
r.raw #返回原始响应体，也就是 urllib 的 response 对象，使用 r.raw.read() 读取
r.content #字节方式的响应体，会自动为你解码 gzip 和 deflate 压缩
r.text #字符串方式的响应体，会自动根据响应头部的字符编码进行解码
r.headers #以字典对象存储服务器响应头，但是这个字典比较特殊，字典键不区分大小写，若键不存在则返回None
#请求头中常有的参数

#*特殊方法*#
r.json() #Requests中内置的JSON解码器

因为不知道后台何时用什么格式的数据，所以就直接以data来传数据，当是要字典格式的数据时，这样传

r.raise_for_status() #失败请求(非200响应)抛出异常

def param_method_url():
# requests.request(method='get', url='http://127.0.0.1:8000/test/')
    # requests.request(method='post', url='http://127.0.0.1:8000/test/')
    pass


def param_param():
 # - 可以是字典
    # - 可以是字符串
    # - 可以是字节（ascii编码以内）

    # requests.request(method='get',
    # url='http://127.0.0.1:8000/test/',
    # params={'k1': 'v1', 'k2': '水电费'})

    # requests.request(method='get',
    # url='http://127.0.0.1:8000/test/',
    # params="k1=v1&k2=水电费&k3=v3&k3=vv3")

    # requests.request(method='get',
    # url='http://127.0.0.1:8000/test/',
    # params=bytes("k1=v1&k2=k2&k3=v3&k3=vv3", encoding='utf8'))

    # 错误
    # requests.request(method='get',
    # url='http://127.0.0.1:8000/test/',
    # params=bytes("k1=v1&k2=水电费&k3=v3&k3=vv3", encoding='utf8'))
    pass


def param_data():
   # 可以是字典
    # 可以是字符串
    # 可以是字节
    # 可以是文件对象

    # requests.request(method='POST',
    # url='http://127.0.0.1:8000/test/',
    # data={'k1': 'v1', 'k2': '水电费'})

    # requests.request(method='POST',
    # url='http://127.0.0.1:8000/test/',
    # data="k1=v1; k2=v2; k3=v3; k3=v4"
    # )

    # requests.request(method='POST',
    # url='http://127.0.0.1:8000/test/',
    # data="k1=v1;k2=v2;k3=v3;k3=v4",
    # headers={'Content-Type': 'application/x-www-form-urlencoded'}
    # )

    # requests.request(method='POST',
    # url='http://127.0.0.1:8000/test/',
    # data=open('data_file.py', mode='r', encoding='utf-8'), # 文件内容是：k1=v1;k2=v2;k3=v3;k3=v4
    # headers={'Content-Type': 'application/x-www-form-urlencoded'}
    # )
    pass


def param_json():
    # 将json中对应的数据进行序列化成一个字符串，json.dumps(...)
    # 然后发送到服务器端的body中，并且Content-Type是 {'Content-Type': 'application/json'}
    requests.request(method='POST',
                     url='http://127.0.0.1:8000/test/',
                     json={'k1': 'v1', 'k2': '水电费'})


def param_headers():
    # 发送请求头到服务器端
    requests.request(method='POST',
                     url='http://127.0.0.1:8000/test/',
                     json={'k1': 'v1', 'k2': '水电费'},
                     headers={'Content-Type': 'application/x-www-form-urlencoded'}
                     )


def param_cookies():
    # 发送Cookie到服务器端
    requests.request(method='POST',
                     url='http://127.0.0.1:8000/test/',
                     data={'k1': 'v1', 'k2': 'v2'},
                     cookies={'cook1': 'value1'},
                     )
    # 也可以使用CookieJar（字典形式就是在此基础上封装）
    from http.cookiejar import CookieJar
    from http.cookiejar import Cookie

    obj = CookieJar()
    obj.set_cookie(Cookie(version=0, name='c1', value='v1', port=None, domain='', path='/', secure=False, expires=None,
                          discard=True, comment=None, comment_url=None, rest={'HttpOnly': None}, rfc2109=False,
                          port_specified=False, domain_specified=False, domain_initial_dot=False, path_specified=False)
                   )
    requests.request(method='POST',
                     url='http://127.0.0.1:8000/test/',
                     data={'k1': 'v1', 'k2': 'v2'},
                     cookies=obj)


def param_files():
    # 发送文件
    # file_dict = {
    # 'f1': open('readme', 'rb')  #前边是文件名，后边是文件句柄
    # }
    # requests.request(method='POST',
    # url='http://127.0.0.1:8000/test/',
    # files=file_dict)

    # 发送文件，定制文件名
    # file_dict = {
    # 'f1': ('test.txt', open('readme', 'rb'))
    # }
    # requests.request(method='POST',
    # url='http://127.0.0.1:8000/test/',
    # files=file_dict)

    # 发送文件，定制文件名
    # file_dict = {
    # 'f1': ('test.txt', "hahsfaksfa9kasdjflaksdjf")
    # }
    # requests.request(method='POST',
    # url='http://127.0.0.1:8000/test/',
    # files=file_dict)

    # 发送文件，定制文件名
    # file_dict = {
    #     'f1': ('test.txt', "hahsfaksfa9kasdjflaksdjf", 'application/text', {'k1': '0'})
    # }
    # requests.request(method='POST',
    #                  url='http://127.0.0.1:8000/test/',
    #                  files=file_dict)

    pass


def param_auth():   #认证一般用不上，
    from requests.auth import HTTPBasicAuth, HTTPDigestAuth

    ret = requests.get('https://api.github.com/user', auth=HTTPBasicAuth('wupeiqi', 'sdfasdfasdf'))
    print(ret.text)

    # ret = requests.get('http://192.168.1.1',
    # auth=HTTPBasicAuth('admin', 'admin'))
    # ret.encoding = 'gbk'
    # print(ret.text)

    # ret = requests.get('http://httpbin.org/digest-auth/auth/user/pass', auth=HTTPDigestAuth('user', 'pass'))
    # print(ret)
    #


def param_timeout():
    # ret = requests.get('http://google.com/', timeout=1)
    # print(ret)

    # ret = requests.get('http://google.com/', timeout=(5, 1))  #请求等几秒，响应等几秒
    # print(ret)
    pass


def param_allow_redirects():   #是否允许重定向，如果爬的网站有重定向，这里允许的话就会根据网站的重定向向重定向的页面去访问
    ret = requests.get('http://127.0.0.1:8000/test/', allow_redirects=False)
    print(ret.text)


def param_proxies():  #代理，就是用别的ip去访问这个地址，
    # proxies = {
    # "http": "61.172.249.96:80",
    # "https": "http://61.185.219.126:3128",
    # }

    # proxies = {'http://10.20.1.128': 'http://10.10.1.10:5323'}

    # ret = requests.get("http://www.proxy360.cn/Proxy", proxies=proxies)
    # print(ret.headers)



    #这里注意，代理一般是购买10个或多个代理ip ,然后通过random   来随机的使用任意一个代理去页面中取数据，可以
    # from requests.auth import HTTPProxyAuth
    #
    # proxyDict = {
    # 'http': '77.75.105.165',
    # 'https': '77.75.105.165'
    # }
    #当代理需要加用户名密码的时候，要给代理加加上他的用用户名和密码来处理。
    # auth = HTTPProxyAuth('username', 'mypassword')
    #
    # r = requests.get("http://www.google.com", proxies=proxyDict, auth=auth)
    # print(r.text)

    pass

def param_stream():
#下载大文件时：
ret = requests.get('http://127.0.0.1:8000/test/', stream=True)
print(ret.content)
ret.close()

# from contextlib import closing
# with closing(requests.get('http://httpbin.org/get', stream=True)) as r:
# # 在此处理响应。一点一点儿去把数据取出来
# for i in r.iter_content():
# print(i)

1、GET请求

　　1.无参数的实例

#encoding=utf-8
import requests

ret=requests.get('https://www.autohome.com.cn/news/')
print(ret.apparent_encoding)
# 打印结果如下：GB2312，此参数能够打印出网页的编码格式
ret.encoding=ret.apparent_encoding
#这个是设置解析的形式，一般这样写就能够动态按照网页的编码格式来解析获取的数据
# print(ret.content)
# print(ret.text)
print(ret.cookies)
ret1=ret.text

2.POST请求

ret1=requests.post(
    url='https://dig.chouti.com/login',#提交数据走那个url
    data={"phone": "8617701205345", "password": "huoxianyu", "oneMonth": "1"},#提交数据的内容
    headers={
        'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36'
    }, #请求头中添加的内容
    cookies=cookies1,#cookies的值，跟着请求一起发送过去
)

如果是发送的正常的字符穿的话，这显示的就是  Form_Data

3、其他请求

requests.get(url, params=None, **kwargs)
requests.post(url, data=None, json=None, **kwargs)
requests.put(url, data=None, **kwargs)
requests.head(url, **kwargs)
requests.delete(url, **kwargs)
requests.patch(url, data=None, **kwargs)
requests.options(url, **kwargs)
  
# 以上方法均是在此方法的基础上构建
requests.request(method, url, **kwargs)

4、更多参数

官方文档：http://cn.python-requests.org/zh_CN/latest/user/quickstart.html#id4

BeautifulSoup

BeautifulSoup是一个模块，该模块用于接收一个HTML或XML字符串，然后将其进行格式化，之后遍可以使用他提供的方法进行快速查找指定元素，

从而使得在HTML或XML中查找指定元素变得简单。

  items=div.find_all(recursive=False)  #写上此字段 False 就只查找 子标签 如果为True的话，子子孙孙都会被查找
　这样查找能够查找出，div标签中的所有的子标签 和子标签内部 的内容，  而标签于标签之间的  空格  \n等内容不会显示，所以常用他来找

　for item in items:
   　　dict1[item.name]=item.text  #这样就能够把标签的名称作为字典的键，标签内部的文本当作值写入字典中去。

解析HTML格式的字符串
           pip3 install beautifulsoup4
           
           soup = BeautifulSoup('<html>....</html>',"html.parser")#第一个参数就是上边通过requests获取的数据，第二个参数是解析器，公司一般用的是lxml
           
           div = soup.find(name='标签名')
           div = soup.find(name='标签名',id='i1')
           div = soup.find(name='标签名',_class='i1')
           div = soup.find(name='div',attrs={'id':'auto-channel-lazyload-article','class':'id'})   #第二个参数是设置这个标签中包含的属性和对应的值
            
           div.text   #打印此标签内的文本内容
           div.attrs   查看属性
　　　　　　　div.name  查看标签名
           div.get('href') #获取标签内的属性
           
            
           divs = soup.find_all(name='标签名')  #find_all获取的数据是一个列表
           divs = soup.find_all(name='标签名',id='i1')
           divs = soup.find_all(name='标签名',_class='i1')
           divs = soup.find_all(name='div',attrs={'id':'auto-channel-lazyload-article','class':'id'})
           
           divs是列表
           divs[0]

posted on 2018-05-07 17:47 王大拿阅读(218) 评论(0) 收藏举报

刷新页面返回顶部

王大拿