短视频爬取及blob反扒

爬取梨视频中的短视频数据

# 爬取梨视频中的短视频数据：
# url：https://www.pearvideo.com/category_1
# 将最热板块下的短视频数据进行爬取且存储到本地。


import re
url = "https://www.pearvideo.com/category_1"
response = requests.get(url=url,headers=headers).text
tree = etree.HTML(response)
tree = tree.xpath("//ul[@id='listvideoListUl']/li")
for i in tree[0:3]:
    z = i.xpath(".//a/@href")[0]
    url = "https://www.pearvideo.com/"+z
    response = requests.get(url=url,headers=headers).text
    tree =etree.HTML(response)
    title =tree.xpath("//div[@id='detailsbd']/div[1]/div[2]/div/div[1]/h1/text()")[0]
    #文件名不要有特殊符号！像管道符|不能有！  其他的,.:尽量不要有，但是可以接受
    if "|" in title:
        title = title.replace("|","")
    tree = tree.xpath("//div[@id='detailsbd']/div[1]/script[1]/text()")[0]
    rule = 'srcUrl="(.*?)"'
    result = re.findall(rule,tree)[0]
    response =requests.get(url=result,headers=headers).content
    with open("zhou/"+title+".mp4","wb") as f:
        f.write(response)

以上获取梨视频发现他是动态加载的video中src的url地址。所以我们无法可见即可得。

经过抓包工具中发的get请求中response选项卡中发现srcUrl中有这个src属性。并且里面得网址就是需要的视频数据网址。所以找到那块标签获取text文本内容，通过正则筛选出来url，然后去访问