Hbase支持snappy压缩格式
说明
本篇文章整个操作都是在root账号下进行,所有操作步骤完成后,可以根据实际的需求,更改目录权限。
整个操作的目的有两个:
- 安装snappy包,安装完成后所在路径是/usr/local/lib/
- 安装hadoop依赖的snappy包,安装完成后所在路径是 $HADOOP_HOME/lib/native
然后将上面两个拷贝分发到所有节点,其中第2个在安装hadoop时会拷贝,通常第一个分发拷贝操作可能会遗忘。
1. 安装编译环境
1.1 安装C++编译器
yum install -y automake autoconf gcc-c++ libedit libtool openssl-devel ncurses-devel
1.2 安装cmake
注意版本需要大于3
查看cmake的版本,如果是2.8.12.2,则需要卸载掉,单独安装。
cmake --version
卸载cmake
yum remove cmake -y
重新安装cmake3.9版本
wget https://cmake.org/files/v3.9/cmake-3.9.2.tar.gz
tar zxvf cmake-3.9.2.tar.gz
cd cmake-3.9.2
./configure
make & make install
1.3 安装protobuf-2.5.0
版本必须是该版本
tar zxvf protobuf-2.5.0.tar.gz
cd protobuf-2.5.0
./configure
make & make install
安装完成后,退出重新登录。
1.4 安装maven
yum install wget -y
wget http://mirror.bit.edu.cn/apache/maven/maven-3/3.5.4/binaries/apache-maven-3.5.4-bin.tar.gz
tar xvf apache-maven-3.5.4-bin.tar.gz
修改环境变量/etc/profile
export MAVEN_HOME=/opt/local/maven
export PATH=$PATH:$MAVEN_HOME/bin
修改setting文件仓库位置:
<localRepository>/opt/local/maven/repo</localRepository>
修改镜像服务器地址:
<mirror>
<id>alimaven</id>
<name>aliyun maven</name>
<url>http://maven.aliyun.com/nexus/content/groups/public/</url>
<mirrorOf>central</mirrorOf>
</mirror>
2. 安装snappy
2.1 安装snappy
wget https://src.fedoraproject.org/repo/pkgs/snappy/snappy-1.1.3.tar.gz/7358c82f133dc77798e4c2062a749b73/snappy-1.1.3.tar.gz
tar xvf snappy-1.1.3.tar.gz
cd snappy-1.1.3
./configure
make
make install
#卸载命令 make uninstall
注意:安装完成后,在/usr/local/lib/目录下生成对应的snappy文件
将/usr/local/lib
目录下所有文件拷贝到 其他节点相同目录下。
2.2 编译hadoop-snappy(未做似乎不影响)
wget下载,或者直接从git地址https://github.com/electrum/hadoop-snappy
手工选择download ZIP包。
wget https://github.com/electrum/hadoop-snappy/archive/refs/heads/master.zip
解压缩,编译
yum install unzip
unzip master.zip
cd hadoop-snappy-master
mvn package
一定要先安装好snappy,然后检查在/usr/local/lib/目录下有对应的snappy文件,否则该步骤无法打包成功。
编译成功后,在target文件夹下面如下:
3. hadoop
hadoop编译的目的是为了获取到编译完成后的lib库,编译完成的lib库保存在路径
/opt/local/hadoop-3.1.3-src/hadoop-dist/target/hadoop-3.1.3/lib/native
然后将lib库拷贝到对应版本已安装的节点上。
拷贝后,需要重启节点。
3.1 编译hadoop
wget http://archive.apache.org/dist/hadoop/core/hadoop-3.1.3/hadoop-3.1.3-src.tar.gz
tar -zxvf hadoop-3.1.3-src.tar.gz
cd hadoop-3.1.3-src
在hadoop-3.1.3-src
目录里新建文件compile.sh,填写以下内容,并修改权限755。
vim compile.sh
export MAVEN_OPTS="-Xms256m -Xmx512m"
mvn clean package -Pdist,native -DskipTests -Dtar -rf :hadoop-common -Drequire.snappy -X
这种编译是将snappy包直接编译到一起,编译过程大于20分钟左右。
chmod 755 compile.sh
./compile.sh
编译成功如下:
网上还有一段增加其他依赖的编译命令如下,可以自行尝试。
#!/bin/bash
mvn package -Pdist,native,nexus -DskipTests=true -Dmaven.javadoc.skip=true -Dtar -Dcontainer-executor.conf.dir=/etc/hadoop/ -Drequire.snappy -Dbundle.snappy -Dsnappy.lib=/opt/develop/snappy/lib -Dsnappy.prefix=/opt/develop/snappy -Drequire.openssl -Dbundle.openssl -Dopenssl.lib=/opt/develop/openssl/lib -Dopenssl.prefix=/opt/develop/openssl -Drequire.bzip2=true -Dzstd.prefix=/opt/develop/zstd -Dzstd.lib=/opt/develop/zstd/lib -Dbundle.zstd -Drequire.zstd -Disal.prefix=/opt/develop/isal -Drequire.isal=true -Dbundle.isal -Disal.lib=/opt/develop/isal/lib
3.2 修改hadoop配置文件
3.2.1 修改core-site.xml
<!-- 用于压缩/解压的CompressionCodec列表,多种算法使用逗号分隔的类名 -->
<property>
<name>io.compression.codecs</name>
<value>org.apache.hadoop.io.compress.SnappyCodec</value>
</property>
3.2.2 修改yarn-site.xml
<!-- 压缩MapReduce作业的输出 -->
<property>
<name>mapreduce.map.output.compress</name>
<value>true</value>
</property>
<!-- 指定压缩算法的类名 -->
<property>
<name>mapred.map.output.compress.codec</name>
<value>org.apache.hadoop.io.compress.SnappyCodec</value>
</property>
4. 拷贝文件
4.1 分发snappy文件
如果2.1没做拷贝,就将/usr/local/lib
目录下所有文件拷贝到 其他节点相同目录下
scp -r /usr/local/lib/* hadoop100:/usr/local/lib/
4.2 分发hadoop lib库
将hadoop目录中lib/native文件夹复制拷贝到 /opt/local/hbase/lib/目录下,需要所有节点都拷贝。
scp -r $HADOOP_HOME/lib/native hadoop100:/opt/local/hbase/lib/
5. 修改hbase配置
修改hbase-env.sh,在末尾添加以下配置:
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:$HADOOP_HOME/lib/native/:/usr/local/lib/
export HBASE_LIBRARY_PATH=$HBASE_LIBRARY_PATH:$HBASE_HOME/lib/native/:/usr/local/lib/
export CLASSPATH=$CLASSPATH:$HBASE_LIBRARY_PATH
修改完,在所有节点同步该文件。
6. Hbase测试
create 'test2',{NAME=>'f1',COMPRESSION => 'gz'}
create 'test3',{NAME=>'f1',COMPRESSION => 'SNAPPY'}
本文来自博客园,作者:硅谷工具人,转载请注明原文链接:https://www.cnblogs.com/30go/p/16243455.html