摘要：
MapReduce中，分片、分区、排序和分组（Group）的关系图： 分片大小 对于HDFS中存储的一个文件，要进行Map处理前，需要将它切分成多个块，才能分配给不同的MapTask去执行。 分片的数量等于启动的MapTask的数量。默认情况下，分片的大小就是HDFS的blockSize。 Map阶 阅读全文
posted @ 2017-12-20 00:43
at0x7c00
阅读(11890)
评论(2)
推荐(3)
摘要：
Maven依赖： Mapper类： Reducer类： 启动类： 在HDFS中准备输入数据： 记得启动yarn： 启动map-reduce程序： 查看结果： 阅读全文
posted @ 2017-12-19 10:20
at0x7c00
阅读(673)
评论(0)
推荐(0)
摘要：
命令行管理HDFS JAVA操作HDFS maven依赖： 上传&下载示例： 参考： HDFS文件管理：http://hadoop.apache.org/docs/r2.6.5/hadoop-project-dist/hadoop-hdfs/HDFSCommands.html API文档：https 阅读全文
posted @ 2017-12-16 21:59
at0x7c00
阅读(514)
评论(0)
推荐(0)
摘要：
集群架构 Hadoop的安装其实就是HDFS和YARN集群的配置，从下面的架构图可以看出，HDFS的每一个DataNode都需要配置NameNode的位置。同理YARN中的每一个NodeManager都需要配置ResourceManager的位置。 NameNode和ResourceManager的 阅读全文
posted @ 2017-12-16 01:08
at0x7c00
阅读(606)
评论(0)
推荐(0)
摘要：
Java内存模型 总的来说就分为两个区域，堆内存（Heap）和非堆内存（No-Heap），非堆内存又称为永久代（Permanent），“永久”其实有点儿容易使人误导，好像这部分内容不需要回收。但在永久区中的某些数据也是需要回收的！ 在新的JDK8中，这部分的名称已经不叫Permanent了，改成更好 阅读全文
posted @ 2017-12-14 16:00
at0x7c00
阅读(818)
评论(0)
推荐(0)
摘要：
怎么做 效果很简单，功能很强大，比如有下面这样一个接口： 有地方不是需要这样一个接口实现吗？现在根本没有一个具体的类实现了它，但我可以无中生有得给创建一个： 没错，得到的代理实例可以直接强转成IUserService。 然后就可以开心地进行方法调用了。 等会儿，不是没有地方实现接口吗？那调用方法调到 阅读全文
posted @ 2017-12-08 18:10
at0x7c00
阅读(229)
评论(0)
推荐(0)
摘要：
线程池的好处 1、线程的创建需要消耗的，用完了马上就扔了比较可惜，所以把它缓存起来，以后还能再用； 2、可以根据实际情况调整线程池的大小，防止线程太多； 3、有些场合可以用线程池来做同步（比如多个线程使用同一文件系统时，可以用SingleThreadExecutor来保持同步）； 可缓存（可变大小） 阅读全文
posted @ 2017-12-05 17:22
at0x7c00
阅读(1528)
评论(0)
推荐(0)
摘要：
HA(High Available), 高可用性集群，是保证业务连续性的有效解决方案，一般有两个或两个以上的节点，且分为活动节点及备用节点。 1.1. 高可靠软件keepalived keepalive是一款可以实现高可靠的软件，通常部署在2台服务器上，分为一主一备。Keepalived可以对本机上 阅读全文
posted @ 2017-12-05 00:58
at0x7c00
阅读(302)
评论(0)
推荐(0)
摘要：
cut 截取自定列 可以按照某个字符进行分割，然后取出其中的指定列： 可以指定更多的列： sort 对列进行排序 例如，对tomcat访问日志，对请求响应返回大小进行排序： -t : 指定分隔符 -k : 指定排序的列 排序是由方向的，默认是升序排序，如果要降序排列，可以在列号后面增加一个r： 最后 阅读全文
posted @ 2017-12-05 00:57
at0x7c00
阅读(383)
评论(0)
推荐(0)
摘要：
解压到src下： 然后检查安装环境： 如果报错： 需要手动安装依赖： yum在Linux中就类似于Java中的Maven，它可以管理各个软件的依赖，这样就不用手动去安装依赖了。 然后执行安装： 注意，如果这时候还是无法执行make，请确保在安装完依赖之后，再执行以下.configuration -- 阅读全文
posted @ 2017-12-05 00:56
at0x7c00
阅读(203)
评论(0)
推荐(0)
浙公网安备 33010602011771号