09 2016 档案

MapReduce算法形式六：只有Map独自作战
摘要：案例六：Map独自直接输出 之前一直没有用过这个map独自输出的模式，就算是输出一些简单的我也会经过一次reduce输出，但是，发现这个map输出的结果跟我预想的有点不一样，我一直以为shuffle的过程会在map结尾，reduce开头进行，会有合并的，可是shuffle只做了分区，排序，然后就直接 阅读全文
posted @ 2016-09-10 15:27 yoghurt2016 阅读(1447) 评论(0) 推荐(1)
MapReduce算法形式五：TOP—N
摘要：案例五：TOP—N 这个问题比较常见，一般都用于求前几个或者后几个的问题，shuffle有一个默认的排序是正序的，但如果需要逆序的并且暂时还不知道如何重写shuffle的排序规则的时候就用以下方法就行，java中说到排序无非就是比较器，然后结合着集合，这样基本上就能解决我的需求了，但是有个问题需要注 阅读全文
posted @ 2016-09-10 14:33 yoghurt2016 阅读(1549) 评论(0) 推荐(0)
MapReduce算法形式四：mapjoin
摘要：案例四：mapjoin（对个map共同输入，一个reduce） 这个方法主要解决的是，几个表之间的比较，类似于数据库的内外连接，还有一些左右连接之类的，简而言之就是，A表没有的B表有，B表有的A没有或者AB共有的，类似于这样的问题，话说呢，这就是一种思想，哒哒哒~不仅明白，因为用的也比较多。 阅读全文
posted @ 2016-09-10 13:27 yoghurt2016 阅读(347) 评论(0) 推荐(0)
MapReduce算法形式三：cleanup
摘要：案例三：cleanup 其实这个案例可以不用写这么复杂，不用cleanup也能写，但是为了，突显，突显，突显（重要的事说四遍）cleanup的重要性，琢磨了半天，恩，这样写既可以突显cleanup又显示出我对大集合的各种热爱（哪天把集合的遍历方法搞一下，光Map就有四五种），总而言之呢，写得是复杂了 阅读全文
posted @ 2016-09-10 12:05 yoghurt2016 阅读(942) 评论(0) 推荐(0)
MapReduce算法形式二：去重（HashSet）
摘要：案例二：去重（shuffle/HashSet等方法）shuffle主要针对的是key去重HashSet主要针对values去重 阅读全文
posted @ 2016-09-10 11:03 yoghurt2016 阅读(312) 评论(0) 推荐(0)
MapReduce算法形式二：去重（shuffle）
摘要：案例二：去重（shuffle/HashSet等方法）shuffle主要针对的是key去重HashSet主要针对values去重 阅读全文
posted @ 2016-09-10 10:08 yoghurt2016 阅读(334) 评论(0) 推荐(0)
MapReduce算法形式一：WordCount
摘要：MapReduce算法形式一：WordCount 这种形式可以做一些网站登陆次数，或者某个电商网站的商品销量啊诸如此类的，主要就是求和，但是求和之前还是要好好清洗数据的，以免数据缺省值太多，影响真实性。 废话不多说，上代码吧，我把注释一行行的都写了~~可可可可~ 先封装了数据行的对象： public 阅读全文
posted @ 2016-09-10 09:38 yoghurt2016 阅读(404) 评论(0) 推荐(0)
理解yarn平台，理解万岁，肤浅理解也万岁~
摘要：从Hadoop1到Hadoop2很大程度上解放了Jobtracker资源调度的问题，这就得多亏了yarn平台了。我知道的，除了我们的大豆瓣用的是Mesos，咱们国家可以说应该是99.99%都使用的是yarn，当然了，国外使用的大多是Mesos。（然而我对Mesos并不理解啥，只知道他和yarn一样的 阅读全文
posted @ 2016-09-09 21:10 yoghurt2016 阅读(395) 评论(0) 推荐(0)
判断字符串是不是数字的方法
摘要：判断字符串是不是数字？ 方法一： /** * 用于验证获取的字符串是不是数字 * @param str * @return */ public static boolean isNumeric(String str) { for (int i = 0; i < str.length(); i++) 阅读全文
posted @ 2016-09-09 16:06 yoghurt2016 阅读(896) 评论(0) 推荐(0)
hadoop的一般端口使用
摘要： 阅读全文
posted @ 2016-09-05 08:22 yoghurt2016 阅读(195) 评论(0) 推荐(0)
搭建集群后再namenode上查看进程发现除了三个基本进程还可能有别的进程，例如本来在子节点出现的进程出现在了主节点上
摘要：搭建集群后再namenode上查看进程发现除了三个基本进程还可能有别的进程，例如本来在子节点出现的进程出现在了主节点上，namenode按正常来说是有三个进程的：namenode，resourcemanager，secondarynamenode，子节点上有两个进程：nodemanager，data 阅读全文
posted @ 2016-09-03 16:16 yoghurt2016 阅读(315) 评论(0) 推荐(0)
解决集群搭建找不到datanode的问题
摘要：解决"no datanode to stop"问题当我停止Hadoop时发现如下信息： no datanode to stop原因：每次namenode format会重新创建一个namenodeId，而tmp/dfs/data下包含了上次format下的id，namenode format清空了n 阅读全文
posted @ 2016-09-03 16:15 yoghurt2016 阅读(2800) 评论(0) 推荐(0)
搭建集群时遇到各种奇葩问题的大招~~
摘要：用自己电脑搭建hadoop集群的时候总是会遇到各种奇葩的问题，因为虚拟机总是会比真实的环境差很多的，有些奇葩的问题真是让我郁闷不行不行的~~像这个问题，搭了三遍的集群遇见各种奇葩问题，最后找了一个终极大招：但是，但是，前提是，新搭的集群，如果HDFS里面已经有数据了，那就别用了，因为会把你的hado 阅读全文
posted @ 2016-09-03 16:13 yoghurt2016 阅读(154) 评论(0) 推荐(0)