摘要：
小结排序：1、如果只需要对数据进行过滤，筛选只需要编写Mapper类，不需要Reduce类，此时在Driver中要执行下面一条语句 Job。setNumReduceTask(0)；2、如果需要对数据集进行分组（group by）、排序（order by）、表连接（join）、排重（distinct） 阅读全文
posted @ 2017-12-15 17:50
程序源宝宝
阅读(182)
评论(0)
推荐(0)
|
摘要：
小结排序：1、如果只需要对数据进行过滤，筛选只需要编写Mapper类，不需要Reduce类，此时在Driver中要执行下面一条语句 Job。setNumReduceTask(0)；2、如果需要对数据集进行分组（group by）、排序（order by）、表连接（join）、排重（distinct） 阅读全文
posted @ 2017-12-15 17:50
程序源宝宝
阅读(182)
评论(0)
推荐(0)
摘要：
配置hadoop集群环境 集群节点初始化： 主机节点（4个节点）： Master01:NN进程（NameNode） Slave01:DN进程（DataNode） Slave02:DN进程（DataNode） Slave03:DN进程（DataNode） 打通网络（配置静态ip地址 、修改主机名、各主 阅读全文
posted @ 2017-12-15 17:49
程序源宝宝
阅读(954)
评论(0)
推荐(0)
|
浙公网安备 33010602011771号