摘要：
概括：combine和partition都是函数。中间的步骤应该仅仅有shuffle！1.combinecombine分为map端和reduce端，作用是把同一个key的键值对合并在一起，能够自己定义的。combine函数把一个map函数产生的<key,value>对（多个key,value）合并成 阅读全文
posted @ 2018-06-29 22:50
会飞的猪仔
阅读(2609)
评论(0)
推荐(0)
摘要：
转载http://my.oschina.net/Chanthon/blog/150500 map和reduce是hadoop的核心功能，hadoop正是通过多个map和reduce的并行运行来实现任务的分布式并行计算，从这个观点来看，如果将map和reduce的数量设置为1，那么用户的任务就没有并行 阅读全文
posted @ 2018-06-29 22:35
会飞的猪仔
阅读(364)
评论(0)
推荐(0)
摘要：
1.MapReduce作业运行流程2.Map、Reduce任务中Shuffle和排序的过程 一. MapReduce框架组成 MapReduce主要包括JobClient、JobTracker、TaskTracker、HDFS四个独立的部分。 1、JobClient 配置参数Configuratio 阅读全文
posted @ 2018-06-29 21:48
会飞的猪仔
阅读(17149)
评论(0)
推荐(0)
摘要：
SSH（Secure Shell）是一种提供网络安全的传输协议。它保证了在网络上的数据并非明文传输，目前使用SSH登录远程终端已经是通用方式。 SSH登录时有两种验证方法： 第一种：基于密码的安全验证，它要求用户在每次登录服务器时输入密码，服务器端验证通过后即登录成功。 第二种：基于密钥的安全验证， 阅读全文
posted @ 2018-06-29 18:14
会飞的猪仔
阅读(2474)
评论(0)
推荐(1)
摘要：
1.准备Linux环境 1.0点击VMware快捷方式，右键打开文件所在位置 -> 双击vmnetcfg.exe -> VMnet1 host-only ->修改subnet ip 设置网段：192.168.1.0 子网掩码：255.255.255.0 -> apply -> ok 回到window 阅读全文
posted @ 2018-06-29 17:49
会飞的猪仔
阅读(119)
评论(0)
推荐(0)
浙公网安备 33010602011771号