五个实战演练

1、需求:爬取搜狗指定词条对应的搜索结果页面(简易网页采集器)
    爬取指定词条的整个网页
    UA检测
    UA伪装

# UA:User-Agent(请求载体的身份标识)
# UA检测:.门户网站的服务器会检测对应请求的载体身份标识.如果检测到请求的载体身份标识为某一款浏览器
# 说明该请求是一个正常的请求，如果检测到请求的载体身份标识不基于某款浏览器的，则表示该请求就很有可能
# 为不正常的请求，服务端就会拒绝该次请求。
# 
# UA伪装：让爬虫对应的请求载体身份标识伪装成某一款浏览器
if __name__ == '__main__':
    # UA伪装：将对应的Useer-Agent封装到一个字典中
    headers = {
        "User-Agent":'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.116 Safari/537.36'
    }
    url = "https://www.sogou.com/web"
    # 处理URL的参数，封装到字典中
    value = input("请输入一个关键词：")
    param = {
        "query":value,
    }
    # 使用以下方法把参数和UA伪装的头部封装到url中,并得到响应
    response = requests.get(url=url,params=param,headers=headers )
    text = response.text
    filename = value+".html"
    with open(filename,"w",encoding="utf-8") as f:
        f.write(text)
    print("保存成功")

2、需求:破解百度翻译
    爬取需要翻译内容的ajax的响应
    从网页的检查窗口的network中的XHR中可以看到ajax发送的请求，我们要做的就是模仿ajax向服务器发送请求，接收数据
    post请求（携带了数据data）（需要翻译的内容）
    响应的数据是json类型

if __name__ == '__main__':
    # URL
    url = 'https://fanyi.baidu.com/sug'
    # 发送的数据
    value = input("输入要翻译的关键词：")
    data = {
        'kw':value,
    }
    # UA伪装
    headers = {
        "User-Agent": 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.116 Safari/537.36'
    }
    # 发送请求
    response = requests.post(url,data=data,headers=headers)
    # 接收到的数据是一个json数据的话，才能用.json方法,返回的是一个json对象
    dic_obj = response.json()
    # 持久化存储 (存到文件中)
    filename = value+".json"
    f = open(filename,"w",encoding="utf-8")
    json.dump(dic_obj,f,ensure_ascii=False)
    f.close()
    print("结束")

3、需求:爬取豆瓣电影分类排行榜https://movie.douban.com/中的电影详情数据
    爬取某一部分电影的ajax的响应
    get请求（携带了参数param）（从哪一部电影开始，一次请求多少个电影）
    响应的数据是json类型

if __name__ == '__main__':
    url = "https://movie.douban.com/j/chart/top_list"
    param = {
        'type': '24',
        'interval_id': '100:90',
        'action': "",
        'start': '0', # 从第几个电影开始取
        'limit': '20', # 一次取多少个电影
    }
    # UA伪装
    headers = {
        "User-Agent": 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.116 Safari/537.36'
    }
    # 发送get请求
    response = requests.get(url=url,params=param,headers=headers)
    # 接受json数据
    dic_obj = response.json()
    # 持久化储存
    filename = '豆瓣喜剧电影'+param["start"]+"-"+param["limit"]+".json"
    f = open(filename,"w",encoding="utf-8")
    json.dump(dic_obj,f,ensure_ascii=False)
    f.close()
    print("结束")

4、需求:爬取肯德基餐厅查询http://www.kfc.com.cn/kfccda/index.aspx中指定地点的餐厅数据

if __name__ == '__main__':
    url = 'http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=keyword'
    city = input("请输入城市名：")
    data = {
        'cname':"",
        'pid':"",
        'keyword': city, # 城市名
        'pageIndex': '1', # 第几页
        'pageSize': '10', # 一页的个数
    }
    headers = {
            "User-Agent": 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.116 Safari/537.36'
        }
    response = requests.post(url,data,headers)
    text = response.text
    filename = city + '.txt'
    with open(filename,"w",encoding="utf-8") as f:
        f.write(text)
    print("结束")

5、需求:爬取国家药品监督管理总局中基于中华人民共和国化妆品生产许可证相关数据http://125.35.6.84:81

    http://scxk.nmpa.gov.cn:81/xk/
　　-动态加载数据
　　-首页中对应的企业信息数据是通过ajax动态请求到的。
    　　http://scxk.nmpa.gov.cn:81/xk/itownet/portalAction.do?method=getXkzsList
　　-通过对详情页url的观察发现:
    　　- url的域名都是一样的，只有携带的参数（id）不一样
    　　-id值可以从首页对应的ajax请求到的json中获取
    　　- 域名和id值可以拼接成对应完整企业详情页的url
   　　 -详情页的企业详情数据也是动态加载出来的
        　　- http://scxk.nmpa.gov.cn:81/xk/itownet/portalAction.do?method=getXkzsById
      -观察后发现
          - 所有的post请求的url都是一样的，只有参数id值是不同。
          - 如果我们可以批量获取多家企业的id后，就可以将id和url形成一个完整的详情页对应详情页的url

if __name__ == '__main__':
    headers = {
        "User-Agent": 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.116 Safari/537.36'
    }
    url_index = "http://scxk.nmpa.gov.cn:81/xk/itownet/portalAction.do?method=getXkzsList"
    id_list = []
    # 前五页的数据
    for page in range(1,5):
        page = str(page)
        data = {
            'on': 'true',
            'page': page, # 当前页
            'pageSize': '15', # 一页有多少条数据
            'productName':'',
            'conditionType': '1',
            'applyname':'',
            'applysn':'',
        }
        # 当前页的字典类型的json数据
        json_dic_index = requests.post(url=url_index,headers=headers,data=data).json()
        for i in json_dic_index["list"]:
            id_list.append(i["ID"])
    url_detail = "http://scxk.nmpa.gov.cn:81/xk/itownet/portalAction.do?method=getXkzsById"
    detail_list = []
    for id in id_list:
        data = {
             "id":id,
        }
        json_dic_detail = requests.post(url=url_detail, headers=headers, data=data).json()
        detail_list.append(json_dic_detail)
    # 持久化存储
    f = open("./化妆品企业详情.json","w",encoding="utf-8")
    json.dump(detail_list,fp=f,ensure_ascii=False)
    f.close()
    print("结束")