摘要:
步骤如下:1.首先导入爬虫的package:requests 2.使用UA 伪装进行反反爬虫,将爬虫伪装成一个浏览器进行上网 3.通过寻找,找到到谷歌搜索时请求的url。 假设我们在谷歌浏览器当中输入:不知道 我们可以得到请求结果的网址如下: 也就是: https://www.google.com/ 阅读全文
摘要:
一.MapReduce流程介绍 假设我们有一个任务:用于统计一个文件当中一个单词出现的总次数,查询结果保存到两个文件里,一个装载a-p单词出现的次数,一个文件装载q-z单词出现的个数。下面是这个任务使用mapreduce实现的具体流程: MapReduce当中需要注意的是: 1.一个MapReduc 阅读全文