hadoop修改

 https://github.com/medcl/elasticsearch-analysis-ik/releases

 

hadoop-2.7.7/etc/hadoop/core-site.xml
<configuration>
    <!-- 存放临时数据的目录，即包括NameNode和DataNode的数据
         如果不设置该文件夹，则每次重启hadoop后需要重hadoop namenode -format -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/home/hadoop/hadoop/tmp</value>
        <description>Abase for other temporary directories.</description>
    </property>
    <!-- 表示hdfs路径的逻辑名称,用来访问hdfs分布式系统 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://10.121.63.240:9000</value>
    </property>
    <property>
        <name>hadoop.proxyuser.hadoop.hosts</name>
        <value>*</value>
    </property>
    <property>
        <name>hadoop.proxyuser.hadoop.groups</name>
        <value>*</value>
    </property>
</configuration>


hadoop-2.7.7/etc/hadoop/hdfs-site.xml
<configuration>
    <!-- dfs.replication  表示副本的数量，通常设置为3-->
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <!-- dfs.namenode.name.dir表示本地磁盘目录，是存储fsimage文件的地方-->
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/home/hadoop/hadoop/name</value>
    </property>
</configuration>

dfs.namenode.data.dir 表示本地磁盘目录，HDFS数据存放block的地方

namenode属于hdfs
JobTracker属于mapreduce
Rack 机架
Shuffle 洗牌
hdfs不适合低延迟数据访问，不支持多用户写入及任意文件修改。不满足实时性需求。
HDFS无法存储大量小文件,通过元数据进行索引,索引会非常庞大。
HDFS 默认64M一个块。如果块太小，
hbase具备随机读取，满足实时性需求

 

hbase web访问
http://10.121.63.240:16010/master-status