加拿大小哥哥

2016年12月3日

摘要：一、每次输出文件存在很烦人二、多重MR 阅读全文

posted @ 2016-12-03 01:09 加拿大小哥哥阅读(855) 评论(0) 推荐(0)

摘要：一、问题定义我在网上找了些，关于二度人脉算法的实现，大部分无非是通过广度搜索算法来查找，犹豫深度已经明确了2以内；这个算法其实很简单，第一步找到你关注的人；第二步找到这些人关注的人，最后找出第二步结果中出现频率最高的一个或多个人（频率这块没完成），即完成。但如果有千万级别的用户，那在运算时，就肯阅读全文

posted @ 2016-12-03 01:03 加拿大小哥哥阅读(3940) 评论(0) 推荐(1)

2016年12月2日

MapReduce设置输出分隔符

摘要：默认是tab 阅读全文

posted @ 2016-12-02 23:57 加拿大小哥哥阅读(967) 评论(0) 推荐(1)

MapReduce实现数据去重

摘要：一、原理分析 Mapreduce的处理过程，由于Mapreduce会在Map~reduce中，将重复的Key合并在一起，所以Mapreduce很容易就去除重复的行。Map无须做任何处理，设置Map中写入context的东西为不作任何处理的行，也就是Map中最初处理的value即可，而Reduce同样阅读全文

posted @ 2016-12-02 23:53 加拿大小哥哥阅读(3855) 评论(0) 推荐(0)

MapReduce实现协同过滤中每个用户看过的项目集合

摘要：一、知识准备 hadoop自带的例子在 D:\HADOOP_HOME\hadoop-2.6.4\share\hadoop\mapreduce\sources\hadoop-mapreduce-examples 2.6.0-source.jar 我记得当年面试的时候就问中位数的问题不过是数据流下的中位阅读全文

posted @ 2016-12-02 22:08 加拿大小哥哥阅读(1051) 评论(0) 推荐(0)

2016年11月30日

HA模式下历史服务器配置

摘要：笔者的集群是 HA 模式的( HDFS 和 ResourceManager HA)。在 ” Hadoop-2.5.0-cdh5.3.2 HA 安装＂中详细讲解了关于 HA 模式的搭建，这里就不再赘述。但网上直接将关于 HA 模式下的历史服务器的配置资料却很少。笔者在思考，如果配置在 mapred 阅读全文

posted @ 2016-11-30 23:43 加拿大小哥哥阅读(411) 评论(0) 推荐(0)

HA模式强制手动切换：IPC's epoch [X] is less than the last promised epoch [X+1]

摘要：一、错误起因 Active NameNode日志出现异常IPC's epoch [X] is less than the last promised epoch [X+1]，出现短期的双Active 我配置的ha自动切换，但是发现STandByNameNode是active，我强制手动切换了三次，S 阅读全文

posted @ 2016-11-30 21:51 加拿大小哥哥阅读(4357) 评论(0) 推荐(0)

设置CentOS6.5时钟同步

摘要：一、测试ntp服务二、/etc/ntp.conf 红色部分是修改的。配置文件修改完成，保存退出，启动服务。 ntpstat 命令查看时间同步状态，这个一般需要5-10分钟后才能成功连接和同步。所以，服务器启动后需要稍等下。三、配置其他节点其他的没列举 OK，保存退出，请求服务器前，请先使用n 阅读全文

posted @ 2016-11-30 17:33 加拿大小哥哥阅读(3752) 评论(0) 推荐(0)

linux中nc详解

摘要： |是管道符号，表示左边的输出作为右边的输入。 1、TCP端口扫描 2、从192.168.1.2拷贝文件到192.168.1.3 首先在接收端192.168.1.3上： nc -l 1234 > test.txt 然后在发送端192.168.1.2上： nc 192.168.1.3 < test.tx 阅读全文

posted @ 2016-11-30 15:41 加拿大小哥哥阅读(5865) 评论(0) 推荐(1)

2016年11月29日

linux设置所有slave节点和master节点时钟同步

摘要： .. 阅读全文

posted @ 2016-11-29 14:59 加拿大小哥哥阅读(1027) 评论(0) 推荐(0)

公告