大数据常见问题列表

Ambari

1.ambari在检查集群节点的时候报错

报错如下：

SSLError: Failed to connect. Please check openssl library versions

解决方法如下：

• 查看openssl版本

# 如果低于openssl-1.0.1e-16.el6.x86_64版本,则需要更新到openssl-1.0.1e-16.el6.x86_64及以上版本
rpm -qa | grep openssl

• 查看Python版本

# 如果低于Python2.7版本,则升级Python到2.7及以上版本
python -V

• 修改cert-verification.cf配置文件

sed -i "s/^verify=.*$/verify=disable/" /etc/python/cert-verification.cfg

• 修改ambari-agent.ini配置文件

sed -i '/ssl_verify_cert=0$/a force_https_protocol=PROTOCOL_TLSv1_2' /etc/ambari-agent/conf/ambari-agent.ini

2.ambari安装hdp时无法解析yum源配置的域名

解决方法如下：

sed -i '$a \nameserver 223.5.5.5\nnameserver 223.6.6.6' /etc/resolv.conf

3.rpmdb库受损

解决方法如下：

• 删除受损的库

rm -rf /var/lib/rpm/__db.*

• 重新建立库

rpm --rebuilddb

• 重新建立缓存

yum clean all
yum makecache

4. 软件包与预期下载的不符

解决方法如下：

rm -f /var/lib/rpm/__*
rpm --rebuilddb -v -v
 
yum clean dbcache
yum clean metadata
yum clean rpmdb
yum clean headers
yum clean all
rm -rf /var/cache/yum/timedhosts.txt
rm -rf /var/cache/yum/*
yum makecache

Spark

1.hadoop-lzo导致class not found

解决方法如下：

删除配置项中的/usr/hdp/${hdp.version}/hadoop/lib/hadoop-lzo-0.6.0.${hdp.version}.jar配置

Hive

1.Hive数据库注释中文乱码问题

Hive的元数据存在Mysql中，而Mysql字符集的默认Latin1，则会出现乱码

解决方法如下：

• 修改mysql字符集latin1改成utf-8

## 修改表字段注解和表注解
use hive;
alter table COLUMNS_V2 modify column COMMENT varchar(256) character set utf8;
alter table TABLE_PARAMS modify column PARAM_VALUE varchar(4000) character set utf8;
 
## 修改分区字段注解
alter table PARTITION_PARAMS modify column PARAM_VALUE varchar(4000) character set utf8;
alter table PARTITION_KEYS modify column PKEY_COMMENT varchar(4000) character set utf8;
 
## 修改索引注解
alter table INDEX_PARAMS modify column PARAM_VALUE varchar(4000) character set utf8;

• 在ambari web界面修改hive metastore的连接url

## Ambari集群界面修改hive-site.xml配置文件
## 在JDBC URL后缀添加编码配置项
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://ip:port/db_name?createDatabaseIfNotExist=true&useUnicode=true&characterEncoding=UTF-8</value>
<description>JDBC connect string for a JDBC metastore</description>
</property>

• 修改完成后要在Ambari界面重启Hive

2.hive使用动态分区的问题

解决方法如下：

在ambari界面修改hive的General配置文件

hive.exec.dynamic.partition = true
Allow all partitions to be Dynamic = nonstrict

Docker

1. docker容器运行错误之文件系统问题

报错如下：

/usr/bin/docker-current: Error response from daemon: error creating overlay mount to /var/lib/docker/overlay2/c425dd16805566df0f9e3f6b2495154d1328a748dab042dc240df2cda98ac253-init/merged: invalid argument. See '/usr/bin/docker-current run --help'.

解决方法如下：

• 先停用docker服务

systemctl stop docker

• 删除docker镜像文件夹

rm -rf /var/lib/docker

• 重新指定docker文件系统

vim /etc/sysconfig/docker-storage
# 找到下面的参数，做如下修改：
DOCKER_STORAGE_OPTIONS="--storage-driver overlay "

• 修改配置文件

vim /etc/sysconfig/docker
# 找到OPTIONS="--selinux-enabled --log-driver=journald --signature-verification=false"
# 删除 --selinux-enabled
OPTIONS="--log-driver=journald --signature-verification=false"

• 重启docker服务

systemctl start docker