2017年9月3日

摘要: list接口,可重复,有序的。list有arrayList,因为是数组结构,适合用在数据的查询,linkedList,因为是链表结构,适合用在增删操作。数组如果增删的话,需要后面的元素都往前或者往后移动,如果是在第一个元素做增删,后面的元素移动量就很大,效率不高。链表如果做查询,需要从第一个元素开始 阅读全文
posted @ 2017-09-03 17:16 3池 阅读(88) 评论(0) 推荐(0)

2017年9月1日

摘要: 实现方式差不多,都是通过多态来实现不同子类的选取。 简单工厂模式是关注对象的创建,而策略模式是行为的封装,对象在Context里创建并执行对应的函数。 阅读全文
posted @ 2017-09-01 16:06 3池 阅读(85) 评论(0) 推荐(0)

2017年8月21日

摘要: Hadoop是使用Java语言开发的,但是有一些需求和操作并不适合使用java,所以就引入了本地库(Native Libraries)的概念,通过本地库,Hadoop可以更加高效地执行某一些操作。目前在Hadoop中,本地库应用在文件的压缩上面: zlib gzip在使用这两种压缩方式的时候,Had 阅读全文
posted @ 2017-08-21 11:39 3池 阅读(211) 评论(0) 推荐(0)

2017年8月18日

摘要: yarn主要是1.0mapreduce的新框架,主要解决了1.0单点故障的问题,yarn主要分为ResourceManager、ApplicationManager、NodeManager、Container。 yarn把1.0的资源管理和调度、应用程序的管理分开,主要由ResourceManage 阅读全文
posted @ 2017-08-18 18:07 3池 阅读(115) 评论(0) 推荐(0)
摘要: hdfs文件系统主要由四部分组成:client客户端、namenode、datanode、secondary namenode. client:1.分割文件成block. 2.与namenode交互,获取文件的位置信息。 3.与datanode交互,读取和写入数据。 namenode:1.接收客户端 阅读全文
posted @ 2017-08-18 16:32 3池 阅读(203) 评论(0) 推荐(0)
摘要: 1.首先是map获取分片,分片的大小和分片规则取决于文件输入的格式,FileInputFormat是输入格式的一个基类,FileInputFormat下有几个重要的子类,分别是TextInputFormat,KeyValueTextInputFormat,NLineInputFormat等等,使用什 阅读全文
posted @ 2017-08-18 16:20 3池 阅读(166) 评论(0) 推荐(0)

2017年8月15日

摘要: InputFormat 接口决定了mapreduce如何切分输入文件。 InputFormat 由getspilit和createRecordReader组成,getspilit主要是标记分片的初始位置和大小,获取inputSplit,createRecordReader配合getspilit的信息 阅读全文
posted @ 2017-08-15 15:20 3池 阅读(201) 评论(0) 推荐(0)

2017年8月2日

摘要: volatile只有可见性,就是说一个线程改了某个值之后,其他线程能马上得到最新的值,不过volatile不具有原子性,也就是说线程之间是不安全的,在开发中少用。 1.重排序:从cpu方面出发,为了尽可能减少内存操作速度远慢于CPU运行速度所带来的CPU空置的影响,虚拟机会把一些后面的代码提到前面执 阅读全文
posted @ 2017-08-02 16:20 3池 阅读(92) 评论(0) 推荐(0)

2017年8月1日

摘要: 1.find /.. -name test.txt -exec -rm -rf {} \; //分号不能少且紧跟在\的后面,exec的作用是根据查找后的文件做进一步的操作,例子的操作是把查找出来的文件删掉。-ok与-exec的区别是-ok会有提示。 2.chmod、chown、chgrp都是文件放后 阅读全文
posted @ 2017-08-01 17:05 3池 阅读(87) 评论(0) 推荐(0)
摘要: 1.hotspot虚拟机结构:类加载器、堆、栈、方法区、垃圾回收系统、执行引擎、本地方法栈、pc寄存器。 类加载器:负责将class文件从文件系统加载到方法区。 堆:存放对象的一块区域,所有线程共用。 栈:每个线程都有自己的一块栈空间,主要用于局部变量、方法参数保存。 垃圾回收系统:用于垃圾回收。 阅读全文
posted @ 2017-08-01 14:30 3池 阅读(93) 评论(0) 推荐(0)

导航