摘要： 1, 安装mrjobpip install mrjobpip的安装看上一篇文章。2，代码测试mrjob安装完之后，就可以直接用了。如果hadoop已经配置好，不需要额外的配置东西（HADOOP_HOME这个环境变量要配置好），基于mrjob的程序就可以直接在hadoop平台上运行了。mrjob提供了几种代码运行的方式，1)本地测试，就是直接在本地运行代码 2)在本地模拟hadoop的运行 3)在hadoop集群上运行 等等。下面先看一下本地运行的情况。来自官网的一段代码：from mrjob.job import MRJobclass MRWordCounter(MRJob): def ... 阅读全文

摘要： pip:A tool for installing and managing Python packages.安装过程：step #1: 安装distribute因为在pip的官方文档[1]中有写，pip requres either setuptools or distribute. distribute是什么呢，distribute的官方文档中有写，Distribur is intended to replace setuptolls as the standard method for working with python module distributions.安装命令 $ cur 阅读全文