爬虫日记之关键字搜索引擎爬取

百度、360搜索引擎的关键字查找爬取

怎么用python代码实现爬取直接输入关键字的百度搜索引擎的内容？

params这个参数，他是可以添加内容的。

import requests
keyword='斗破苍穹'
try:
    kv={'wd':keyword}
    r=requests.get('http://www.baidu.com/s',params=kv)
    print(r.request.url)
    r.raise_for_status()
    print(len(r.text))
    print(r.text)
except:
    print('爬取失败')

定义一个关键字，比如是斗破苍穹，喜欢看毛片的朋友也可以改成毛片。然后创建一个键值对，百度的关键字是wd：后面加内容，360的是q，所以写好了以后，在url后面通过参数params来传进去，这个时候爬取过来的页面就是在百度里搜索斗破苍穹的内容了，内容量巨大，小霸王就别去爬了。