摘要： 前言： Mapreduce程序的效率的瓶颈在于两点： MapReduce优化方法 数据输入： （1）合并小文件：在执行任务前将小文件进行合并 （2）采用CombineTextInputformat来作为输入，解决输入端大量小文件的场景。将多个小文件从逻辑上规划到一个切片中，这样，多个小文件就可以交给 阅读全文

摘要： 说明：操作系统centOS6.5 zookeeper版本3.4.10 1、解压安装 tar -zxvf zookeeper-3.4.10.tar.gz 2、在安装路径下面建一个文件夹用来存放data mkdir -p zkData 3、配置zoo.cfg文件 1、在目录下面没有zoo.cfg文件，只 阅读全文

摘要： 备注：新添的机器为hadoop05，现有hadoop01、hadoop02、hadoop03、hadoop04 环境准备： 1、先克隆一台和集群中一样的机器 2、修改机器ip和主机名称 3、删除原来的data文件和log日志的残存的文件 服役新节点的具体步骤： 1、在namenode的安装目录中的e 阅读全文

摘要： 1、查看本机是否安装了ntpdate服务，安装 时间同步软件 ​ yum install -y ntpdate yum install -y ntp 2、同步时间 ​ ntpdate time.nist.gov // 同步时间 ​ 如果同步不了 ​ ntpdate time.nuri.net // 阅读全文

摘要： Namenode 故障后，可以采用如下两种方法恢复数据。 方法一：将 SecondaryNameNode 中数据拷贝到 namenode 存储数据的目录； 方法 二： 使用 -importCheckpoint 选项 启动 namenode 守 护 进 程 ， 从 而 将SecondaryNameNo 阅读全文

摘要： 1、通常情况下，SecondaryNameNode 每隔一小时执行一次。 在hdfs-default.xml文件中： 2、修改hdfs-site.xml文件 一分钟检查一次操作次数，当操作次数达到 1 百万时，SecondaryNameNode 执行一次。 阅读全文

摘要： 配置历史服务器 1、在mapred-site.xml中写入一下配置 2、查看启动历史服务器文件目录 在Hadoop安装目录中的sbin中有mr-jobhistory-daemon.sh命令 3、启动历史服务器 mr-jobhistory-daemon.sh start historyserver 4 阅读全文

摘要： 1、xcall.sh 批量命令脚本，例：xcall.sh jps ,查看hadoop101~ hadoop104的jps进程 注意：在执行命令的时候，若是提示没有这个命令，但是在本机又可以执行，记得在/usr/local/bin 下面创建一个符号连接指向那个命令所在目录。 2、xsync.sh 集群 阅读全文

摘要： 1、检查是否正确的启动了resourcemanager服务 若是没有启动，请检查yarn-site-xml配置 2、若是启动了 1、检查客户机和虚拟机之间是否能够相互ping通 2、检查虚拟机防火墙是否关闭 3、排查 1、首先，各个虚拟机和客户端之前都能ping通，虚拟机都能上外网，说明网络没有问题 阅读全文

摘要： 1、centos操作系统位数： file /bin/ls 此为64位 2、java jdk 位数： java -version 这个是64为的，若是没有，则默认为32位 3、hadoop位数： 进入hadoop安装目录的lib/native下面，查看libhadoop.so.1.0.0 file l 阅读全文

摘要： 1、jps发现namenode启动失败 每次开机都要重新格式化一下namenode才可以 其实问题出现自tmp文件上，因为每次开机就会被清空，所以现在我们配置一个tmp文件目录。 如果之前没有配置过，默认是在 /tmp 根目录下的tmp文件下，我的tmp没啥重要文件所以在配置之前，把里面的文件清空了 阅读全文

摘要： 1、运算符： 1、基本语法：$((运算式))或$[运算式] 2、expr + n // 注意运算符中间有空格 再用expr时要加 ` ` 号，* 号加转义字符\ \* ，表示乘 2、判断语句 [ condition ] // 注意condition前后要有空格，非空返回true，可使用$?验证（0位 阅读全文

摘要： 1、Mycat的分片 两台数据库服务器： 192.168.80.11 192.168.80.4 操作系统版本环境：centos6.5 数据库版本：5.6 mycat版本：1.4 release 数据库：db1,db2,db3 说明：db1.db2 在192.168.80.11 服务器上 ，db3在1 阅读全文

摘要： 1、如果网络中没有VMware的网卡，记得重置即可 2、如果右上角没有了网络图标，直接 server NetworkManager restart 3、网络配置 1）在/etc/sysconfig/network-scripts/ifcfg-eth0(确认ONBOOT=yes),其中eth0是设备名 阅读全文

摘要： 1、ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa // 在自己主机生成私钥和公钥 2、scp id_rsa.pub centos@s201:/home/centos/.ssh/authorized_keys // 分发公钥 // 安装　scp yum -y ins 阅读全文