摘要: 1.集群环境 CentOS 7.6 CDH5.16.1 2.问题详情 报错原因: 与服务器通信失败 No such file or directory: '/var/log/hue httpd/error_log' 3.问题原因及解决方法 原因 :服务器环境没有预先安装httpd,mod_ssl服务 阅读全文
posted @ 2019-10-25 17:57 大数据小码农 阅读(819) 评论(0) 推荐(0) 编辑
摘要: 1.问题 2.查看CDH服务节点日志 ~~~shell /opt/module/cloudera manager/cm 5.16.1/log/cloudera scm server tail n 10 cloudera scm server.log ~~~ 3.问题原因 因为我们的mysql是重新安 阅读全文
posted @ 2019-10-25 16:25 大数据小码农 阅读(5741) 评论(0) 推荐(0) 编辑
摘要: 1.在安装CDH中,Cloudera 建议将 /proc/sys/vm/swappiness 设置为最大值 10 2.修改swappiness参数 1.临时修改 ~~~shell sysctl vm.swappiness=10 ~~~ ~~~shell cat /proc/sys/vm/swappi 阅读全文
posted @ 2019-10-25 15:33 大数据小码农 阅读(1588) 评论(0) 推荐(0) 编辑
摘要: 1.环境 CentOS 7.6 Mysql 5.7 2.问题 3.解决方案 1. 关闭Mysql服务 ~~~shell service mysqld stop ~~~ 2. 使用命令跳过输入密码验证过程 ~~~ mysqld_safe skip grant tables & skip grant t 阅读全文
posted @ 2019-10-25 12:51 大数据小码农 阅读(2168) 评论(0) 推荐(0) 编辑
摘要: 1. 集群环境 1. HDFS配置了HA 2. Hive的自定义函数在HDFS没配置HA之前创建的 3. Hive的元数据有Mysql管理 2. 配置双NameNode cdh01 cdh05 3. 当NameNode从cdh01切换到cdh05后,Hive自定义的函数使用报错 原因: 在 Hive 阅读全文
posted @ 2019-10-18 16:21 大数据小码农 阅读(437) 评论(0) 推荐(0) 编辑
摘要: 1. 前言 业务上需求将SparkStreaming处理好的数据回传给广告平台 2. 代码 ~~~scala import org.json4s.{Formats, NoTypeHints} import org.json4s.jackson.Serialization import org.jso 阅读全文
posted @ 2019-10-18 11:32 大数据小码农 阅读(2409) 评论(0) 推荐(0) 编辑
摘要: 1. 安装环境 CDH 5.16.1 集群未启动 Kerberos 2. 安装Kudu 1. 点击添加服务,添加Kudu服务到CDH 2. 分配角色 集群总共7个节点,这里Master配置了两个 3. 设置 Master 和 Tablet 路径 4. 启动Kudu 3. 配置Impala支持Kudu 阅读全文
posted @ 2019-10-08 23:30 大数据小码农 阅读(2220) 评论(1) 推荐(0) 编辑
摘要: 1. 删除Phoenix中系统的表数据 查询Phoenix系统表 (SYSTEM.CATALOG) ~~~sql select distinct(TABLE_NAME) FROM SYSTEM.CATALOG; ~~~ 在Phoenix中删除表 ~~~sql delete from SYSTEM.C 阅读全文
posted @ 2019-09-23 15:19 大数据小码农 阅读(3428) 评论(0) 推荐(0) 编辑
摘要: 1.HDFS上数据准备 ~~~sql 2019 03 24 09:21:57.347,869454021315519,8,1 2019 03 24 22:07:15.513,867789020387791,8,1 2019 03 24 21:43:34.81,357008082359524,8,1 阅读全文
posted @ 2019-09-23 00:34 大数据小码农 阅读(1562) 评论(1) 推荐(0) 编辑
摘要: 1. 创建HBase 表 ~~~sql create 'hbase_test','user' ~~~ 2. 插入数据 ~~~sql put 'hbase_test','111','user:name','jack' put 'hbase_test','111','user:age','18' ~~~ 阅读全文
posted @ 2019-09-22 19:06 大数据小码农 阅读(1043) 评论(0) 推荐(0) 编辑