10 2019 档案

使用Beeline连接Impala
摘要：1.环境 CDH 5.16.1 集群未集成Kerberos 2.下载Impala JDBC驱动 下载地址：https://downloads.cloudera.com/connectors/impala_jdbc_2.5.41.1061.zip 3.将压缩包下的ImpalaJDBC41.jar，TC 阅读全文
posted @ 2019-10-29 10:38 大数据小码农 阅读(1994) 评论(0) 推荐(0)
Azkaban安装配置
摘要：1. 环境 Centos 7.6 Mysql 5.7.25 2.安装Azkaban 1.创建 /opt/module/azkaban 目录 ~~~ mkdir p /opt/module/azkaban ~~~ 2.解压 azkaban executor server 2.5.0.tar.gz、az 阅读全文
posted @ 2019-10-28 16:44 大数据小码农 阅读(1342) 评论(0) 推荐(0)
CentOS7 离线搭建 CDH5.16.1
摘要：#1. 环境 Centos 7.6 JDK 1.8 Scala 2.11.8 服务器3台 #2. 服务器搭建前环境准备 ####1.所有节点关闭防火墙 #查看防火墙状态 firewall-cmd --state #停止firewall systemctl stop firewalld.service 阅读全文
posted @ 2019-10-25 18:04 大数据小码农 阅读(1502) 评论(0) 推荐(0)
CDH5.16.1 Hue服务的 Load Balancer 启动失败
摘要：1.集群环境 CentOS 7.6 CDH5.16.1 2.问题详情 报错原因： 与服务器通信失败 No such file or directory: '/var/log/hue httpd/error_log' 3.问题原因及解决方法 原因 ：服务器环境没有预先安装httpd，mod_ssl服务 阅读全文
posted @ 2019-10-25 17:57 大数据小码农 阅读(864) 评论(0) 推荐(0)
CDH添加Hue服务时，验证数据库连接报错 Unexpected error. Unable to verify database connection.
摘要：1.问题 2.查看CDH服务节点日志 ~~~shell /opt/module/cloudera manager/cm 5.16.1/log/cloudera scm server tail n 10 cloudera scm server.log ~~~ 3.问题原因 因为我们的mysql是重新安 阅读全文
posted @ 2019-10-25 16:25 大数据小码农 阅读(6037) 评论(0) 推荐(0)
安装CDH，建议将 /proc/sys/vm/swappiness 设置为最大值 10
摘要：1.在安装CDH中，Cloudera 建议将 /proc/sys/vm/swappiness 设置为最大值 10 2.修改swappiness参数 1.临时修改 ~~~shell sysctl vm.swappiness=10 ~~~ ~~~shell cat /proc/sys/vm/swappi 阅读全文
posted @ 2019-10-25 15:33 大数据小码农 阅读(1626) 评论(0) 推荐(0)
Mysql登录报错 “Access denied for user 'root'@'localhost' (using password: YES)”
摘要：1.环境 CentOS 7.6 Mysql 5.7 2.问题 3.解决方案 1. 关闭Mysql服务 ~~~shell service mysqld stop ~~~ 2. 使用命令跳过输入密码验证过程 ~~~ mysqld_safe skip grant tables & skip grant t 阅读全文
posted @ 2019-10-25 12:51 大数据小码农 阅读(2212) 评论(0) 推荐(0)
NameNode 切换时，Hive自定义的函数不可用？
摘要：1. 集群环境 1. HDFS配置了HA 2. Hive的自定义函数在HDFS没配置HA之前创建的 3. Hive的元数据有Mysql管理 2. 配置双NameNode cdh01 cdh05 3. 当NameNode从cdh01切换到cdh05后，Hive自定义的函数使用报错 原因： 在 Hive 阅读全文
posted @ 2019-10-18 16:21 大数据小码农 阅读(476) 评论(0) 推荐(0)
Scala样例类转换为Json
摘要：1. 前言 业务上需求将SparkStreaming处理好的数据回传给广告平台 2. 代码 ~~~scala import org.json4s.{Formats, NoTypeHints} import org.json4s.jackson.Serialization import org.jso 阅读全文
posted @ 2019-10-18 11:32 大数据小码农 阅读(2469) 评论(0) 推荐(0)
CDH5.16.1 安装配置Kudu
摘要：1. 安装环境 CDH 5.16.1 集群未启动 Kerberos 2. 安装Kudu 1. 点击添加服务，添加Kudu服务到CDH 2. 分配角色 集群总共7个节点，这里Master配置了两个 3. 设置 Master 和 Tablet 路径 4. 启动Kudu 3. 配置Impala支持Kudu 阅读全文
posted @ 2019-10-08 23:30 大数据小码农 阅读(2281) 评论(1) 推荐(0)