摘要：一、HDFS的基本概念 1.1、数据块(block) HDFS(Hadoop Distributed File System)默认的最基本的存储单位是64M的数据块。 和普通文件系统相同的是，HDFS中的文件是被分成64M一块的数据块存储的。 不同于普通文件系统的是，HDFS中，如果一个文件小于一个数据块的大小，并不占用整个数据块存储空间。 1.2、元数据节点(Namenode)和数据节点(datanode) 元数据节点用来管理文件系统的命名空间 其将所有的文件和文件夹的元数据保存在一个文件系统树中。 这些信息也会在硬盘上保存成以下文件：命名空间镜像(namespace imag... 阅读全文

摘要：在进行Lucene的搜索过程解析之前，有必要单独的一张把Lucene score公式的推导，各部分的意义阐述一下。因为Lucene的搜索过程，很重要的一个步骤就是逐步的计算各部分的分数。 Lucene的打分公式非常复杂，如下： 在推导之前，先逐个介绍每部分的意义： t：Term，这里的Term是指包含域信息的Term，也即title:hello和content:hello是不同的Term coord(q,d)：一次搜索可能包含多个搜索词，而一篇文档中也可能包含多个搜索词，此项表示，当一篇文档中包含的搜索词越多，则此文档则打分越高。 queryNorm(q)：计算每个查询条目的方差和，... 阅读全文

摘要：一、段合并过程总论 IndexWriter中与段合并有关的成员变量有： HashSet<SegmentInfo> mergingSegments = new HashSet<SegmentInfo>(); //保存正在合并的段，以防止合并期间再次选中被合并。 MergePolicy mergePolicy = new LogByteSizeMergePolicy(this);//合并策略，也即选取哪些段来进行合并。 MergeScheduler mergeScheduler = new ConcurrentMergeScheduler();//段合并器，背后有一个线程负 阅读全文

摘要：配置java环境变量： JAVA_HOME：配置JDK的目录 CLASSPATH：指定到哪里去找运行时需要用到的类代码（字节码） PATH：指定可执行程序的位置 LINUX系统（在" .bash_profile "下的环境变量设置） JAVA_HOME=/opt/jdk1.5.0_06 CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar PATH=$PATH:$JAVA_HOME/bin:. export JAVA_HOME CLASSPATH PATH (将指定的环境变量声明为全局的) windows系统： 阅读全文