上一页 1 ··· 22 23 24 25 26 27 28 29 30 ··· 40 下一页
2017年3月5日
Java中的弱引用
摘要： 1.什么是弱引用？ Java中的弱引用具体指的是java.lang.ref.WeakReference<T>类，我们首先来看一下官方文档对它做的说明： 弱引用对象的存在不会阻止它所指向的对象变被垃圾回收器回收。弱引用最常见的用途是实现规范映射(canonicalizing mappings，比如哈希 阅读全文
posted @ 2017-03-05 17:41 DarrenChan陈驰 阅读(257) 评论(0) 推荐(0)
悟
摘要： 生活是什么？也许这个命题于我现在这个懵懂的年纪来说，还为时尚早；或者说，现在的我对于生活的理解还仅仅是管中窥豹，难以全面。但毕竟也算二十余载的光阴浸润，留在内心的有对生活触发的感动，也有对生活无端的抱怨。一言以蔽之，总有一些迄今为止对生活的感悟，伴随着我的成长，不断累积，历久弥新。 正如同所有人把生 阅读全文
posted @ 2017-03-05 11:33 DarrenChan陈驰 阅读(491) 评论(0) 推荐(1)
Java反射小结
摘要： 一、什么是反射？ 在运行状态中，对于任意一个类，都能够获取到这个类的所有属性和方法，对于任意一个对象，都能够调用它的任意一个方法和属性(包括私有的方法和属性)，这种动态获取的信息以及动态调用对象的方法的功能就称为java语言的反射机制。通俗点讲，通过反射，该类对我们来说是完全透明的，想要获取任何东西 阅读全文
posted @ 2017-03-05 10:28 DarrenChan陈驰 阅读(215) 评论(0) 推荐(0)
2017年3月3日
Linux下配置Hadoop全分布式环境
摘要： 1. 前提 部署全分布式环境，我们肯定不能在一台服务器上了，这里我用了7台服务器，在VMware上开了7个虚拟机，如下图所示： 我基本配置了一晚上才搞定，第一次配置一般都有错，这时候不妨去到hadoop的logs文件夹下查看日志，如果实在找不出来，索性把所有hadoop文件删掉，重新安装。 hado 阅读全文
posted @ 2017-03-03 01:20 DarrenChan陈驰 阅读(595) 评论(2) 推荐(0)
2017年3月2日
HDFS的HA机制
摘要： 传统的HDFS机制如下图所示： 也就是存在一个NameNode，一个SecondaryNameNode，然后若干个DataNode。这样的机制虽然元数据的可靠性得到了保证（靠edits，fsimage，meta.data等文件），但是服务的可用性并不高，因为一旦NameNode出现问题，那么整个系统 阅读全文
posted @ 2017-03-02 21:03 DarrenChan陈驰 阅读(2322) 评论(0) 推荐(0)
2017年3月1日
Dubbo—Zookeeper的典型应用
摘要： 1.Zookeeper 作为 Hadoop 项目中的一个子项目，是 Hadoop 集群管理的一个必不可少的模块，它主要用来控制集群中的数据，如它管理 Hadoop 集群中的 NameNode，还有 Hbase 中 Master Election、Server 之间状态同步等。Zoopkeeper 提 阅读全文
posted @ 2017-03-01 15:53 DarrenChan陈驰 阅读(372) 评论(0) 推荐(0)
2017年2月28日
Linux下vi命令小结
摘要： 进入vi的命令 vi filename :打开或新建文件,并将光标置于第一行首 vi n filename ：打开文件,并将光标置于第n行首 vi filename ：打开文件,并将光标置于一行首 vi /pattern filename：打开文件,并将光标置于第一个与pattern匹配的串处 vi 阅读全文
posted @ 2017-02-28 15:55 DarrenChan陈驰 阅读(210) 评论(0) 推荐(0)
Linux下搭建Zookeeper环境
摘要： Zookeeper 是 Google 的 Chubby一个开源的实现，是 Hadoop 的分布式协调服务，它包含一个简单的原语集，分布式应用程序可以基于它实现同步服务，配置维护和命名服务等。 其工作原理示意图如下： 1.为什么使用Zookeeper » 大部分分布式应用需要一个主控、协调器或控制器来 阅读全文
posted @ 2017-02-28 15:23 DarrenChan陈驰 阅读(351) 评论(0) 推荐(0)
MapReduce实战（四）倒排索引的实现
摘要： 需求： 以上三个文件，用MapReduce进行处理，最终输出以下格式： hello c.txt-->2 b.txt-->2 a.txt-->3jerry c.txt-->1 b.txt-->3 a.txt-->1tom c.txt-->1 b.txt-->1 a.txt-->2 思考： 我们需要进行 阅读全文
posted @ 2017-02-28 15:22 DarrenChan陈驰 阅读(442) 评论(0) 推荐(0)
Shuffle机制
摘要： 一个map task处理一个切片Split，切片是一个范围的数据，和blocksize大小没有必然关系。 1.每个map有一个环形内存缓冲区，用于存储任务的输出。默认大小100MB（io.sort.mb属性），一旦达到阀值0.8（io.sort.spill.percent）,一个后台线程把内容写到( 阅读全文
posted @ 2017-02-28 00:25 DarrenChan陈驰 阅读(1083) 评论(4) 推荐(0)
上一页 1 ··· 22 23 24 25 26 27 28 29 30 ··· 40 下一页