3池

摘要：Hadoop是使用Java语言开发的，但是有一些需求和操作并不适合使用java，所以就引入了本地库（Native Libraries）的概念，通过本地库，Hadoop可以更加高效地执行某一些操作。目前在Hadoop中，本地库应用在文件的压缩上面： zlib gzip在使用这两种压缩方式的时候，Had 阅读全文

摘要：yarn主要是1.0mapreduce的新框架，主要解决了1.0单点故障的问题，yarn主要分为ResourceManager、ApplicationManager、NodeManager、Container。 yarn把1.0的资源管理和调度、应用程序的管理分开，主要由ResourceManage 阅读全文

摘要：hdfs文件系统主要由四部分组成：client客户端、namenode、datanode、secondary namenode. client：1.分割文件成block. 2.与namenode交互，获取文件的位置信息。 3.与datanode交互，读取和写入数据。 namenode：1.接收客户端 阅读全文

摘要：1.首先是map获取分片，分片的大小和分片规则取决于文件输入的格式，FileInputFormat是输入格式的一个基类，FileInputFormat下有几个重要的子类，分别是TextInputFormat，KeyValueTextInputFormat，NLineInputFormat等等，使用什 阅读全文

摘要：InputFormat 接口决定了mapreduce如何切分输入文件。 InputFormat 由getspilit和createRecordReader组成，getspilit主要是标记分片的初始位置和大小，获取inputSplit，createRecordReader配合getspilit的信息 阅读全文

摘要：volatile只有可见性，就是说一个线程改了某个值之后，其他线程能马上得到最新的值，不过volatile不具有原子性，也就是说线程之间是不安全的，在开发中少用。 1.重排序：从cpu方面出发，为了尽可能减少内存操作速度远慢于CPU运行速度所带来的CPU空置的影响，虚拟机会把一些后面的代码提到前面执 阅读全文

摘要：1.find /.. -name test.txt -exec -rm -rf {} \; //分号不能少且紧跟在\的后面，exec的作用是根据查找后的文件做进一步的操作,例子的操作是把查找出来的文件删掉。-ok与-exec的区别是-ok会有提示。 2.chmod、chown、chgrp都是文件放后 阅读全文

摘要：1.hotspot虚拟机结构：类加载器、堆、栈、方法区、垃圾回收系统、执行引擎、本地方法栈、pc寄存器。 类加载器：负责将class文件从文件系统加载到方法区。 堆：存放对象的一块区域，所有线程共用。 栈：每个线程都有自己的一块栈空间，主要用于局部变量、方法参数保存。 垃圾回收系统：用于垃圾回收。 阅读全文

摘要：1）redis和memcached的不同是：1.支持更多的数据结构，后者只支持string。2.value可以存放更大到1g。3.速度更快。4.可以进行持久化到磁盘，rdb内存快照或者aof日志文件。2）redis的基于内存的一个key-value数据库，读写速度快，支持的数据类型多，可以用list 阅读全文