对照

1.jdk

2.注意

3.fenfa.sh脚本放到 /root/下执行脚本sh fenfa.sh （下面代码是这个脚本的内容）

#!/bin/sh
for i in 2 3 4 5
do
scp -rq /usr/local/hadoop/ root@hadoop-$i:/usr/local/
#scp -rq /usr/local/spark/ root@hadoop-$i:/usr/local/
done

 4.修改 vim hadoop-env.sh 添加Java路径

 5.hbase问题

 上面这个backup-masters和regionservers自己写的文件在所有节点都要写

[root@hadoop-1 conf]# vim regionservers

 [root@hadoop-1 conf]# vim backup-masters

 

6.spark不准确

 7.es的配置错误(elasticsearch-5.6.3/config/elasticsearch.yml)。所有文件下面两个值都是false,

7A.kafka的配置，各自的节点配置各种的主机

 

8.active不能自动切换

  1.首先安装这个 yum -y install psmisc

  2.添加

<property>
     <name>dfs.ha.fencing.methods</name> 
     <value>sshfence</value>
     <value>shell(true)</value>//在hdfs-site.xml添加这个
</property>

   以上想知道问什么这么做百度，例如http://f.dataguru.cn/hadoop-707120-1-1.html。

9.ES启动

1---运行hadoop01,02,03
    cd /home/es/elasticsearch-5.6.3/bin/
    ./elasticsearch -d   
2---启动kibana
    cd kibana-5.6.3-linux-x86_64
    ./bin/kibana  
   //默认用户名和密码是elastic和changeme

汉化:

git clone https://github.com/anbai-inc/Kibana_Hanization.git
cd Kibana_Hanization/
python main.py ../kibana-5.6.3-linux-x86_64

 -----------------------------------------------------------------linux内存限制------------------------------------------------------------

1.linux系统文件位置  vi /etc/security/limits.conf

2.查看已有的配置命令

ulimit -a

/etc/security/limits.conf 是 Linux 资源使用配置文件，用来限制用户对系统资源的使用

语法：<domain>  <type>  <item>  <value>

[root@localhost ~]# cat /etc/security/limits.conf
* soft nproc 65535      # 警告设定所有用户最大打开进程数为65535
* hard nproc 65535      # 严格设定所有用户最大打开进程数为65535
* soft nofile 65535     # 警告设定所有用户最大打开文件数为65535
* hard nofile 65535     # 严格设定所有用户最大打开文件数为65535

<domain> 表示要限制的用户，可以是：

         ① 用户名
         ② 组名（组名前面加'@'以区别用户名）
         ③ *（表示所有用户）

<type> 有两个值：

         ① soft 表示警告的设定，可以超过这个设定值，但是超过会有警告信息
         ② hard 表示严格的设定，必定不能超过这个设定的值

<item> 表示可选的资源，如下：

         ① core：限制内核文件的大小
         ② data：最大数据大小
         ③ fsize：最大文件大小
         ④ memlock：最大锁定内存地址空间
         ⑤ nofile：打开文件的最大数目
         ⑥ rss：最大持久设置大小
         ⑦ stack：最大栈大小
         ⑧ cpu：以分钟为单位的最多CPU时间
         ⑨ nproc：进程的最大数目
         ⑩ as：地址空间限制

<value> 表示要限制的值

ulimit的参数

• -H 设置硬件资源限制.
• -S 设置软件资源限制.
• -a 显示当前所有的资源限制.
• -c size:设置core文件的最大值.单位:blocks
• -d size:设置数据段的最大值.单位:kbytes
• -f size:设置创建文件的最大值.单位:blocks
• -l size:设置在内存中锁定进程的最大值.单位:kbytes
• -m size:设置可以使用的常驻内存的最大值.单位:kbytes
• -n size:设置内核可以同时打开的文件描述符的最大值.单位:n
• -p size:设置管道缓冲区的最大值.单位:kbytes
• -s size:设置堆栈的最大值.单位:kbytes
• -t size:设置CPU使用时间的最大上限.单位:seconds
• -v size:设置虚拟内存的最大值.单位:kbytes
• unlimited 是一个特殊值，用于表示不限制

下面红色是es使用配置的

*  soft  nofile  65536
*  hard  nofile  131072
*  soft  nproc  4096
*  soft  memlock    12582912
*  hard  memlock    12582912
*  hard  nproc 4096

 还有es的配置文件