给qq机器人加上bing搜索

别人的qq机器人都有百度或者必应的功能,想着这也不太难的样子。但是必应似乎要用bing api,实在懒得去申请来着。

对于百度,网上有好多好用的爬虫技巧(我也没学过爬虫,应该算技巧吧?),于是就复刻了一个。对于bing,无奈地发现无论requests还是selenium(没用headless),同样的url出来的东西和正常浏览器访问不一样。迷惑了好久,最后发现它们的cookie不同,浏览器访问的cookie多几段。没学计网也不知道cookie是干啥的(cookie是计网的内容吧),就随便整了一下,没想到还整成了,另外发现了一个rss的参数,返回的是xml,用起来就极其方便了。

bing搜索的代码示例如下:

import requests

#url = 'https://www.bing.com/search'
url = 'https://cn.bing.com/search'
params = {
        'format':'rss',
        'q':'关键字',
    }
headers = {
    'User-Agent':'Mozilla/5.0 (X11; Linux mips64; rv:68.0) Gecko/20100101 Firefox/68.0',
    'Cookie': '_EDGE_V=1; MUID=; MUID=; SNRHOP=I=&TS=; SRCHD=AF=MOZLBR; _SS=PC=MOZI; SRCHS=PC=MOZI'
               }

resp = requests.get(url=url, params=params, headers=headers)
print(resp.text)

打印获取的xml,别问我这cookie在干啥,问了就是不知道。完整的代码在这,百度的代码在这

by SDUST weilinfox

posted @ 2021-02-05 14:21  八衛門狸  阅读(20)  评论(0编辑  收藏