11 2019 档案

CDH5.16.1新增节点
摘要：1.环境 CentOS 7.6 CDH 5.16.1 2.服务器环境准备 1.设置 hostname 和 hosts ~~~ vim /etc/hostname ~~~ ~~~ vim /etc/hosts ~~~ 2.关闭SELINUX,将SELINUX=enforcing 改为SELINUX=d 阅读全文
posted @ 2019-11-25 18:22 大数据小码农 阅读(726) 评论(0) 推荐(0)
mysql搭建主从结构
摘要：1.安装 mysql服务 1.卸载系统自带的相关数据库 ~~~shell rpm qa | grep mysql rpm qa | grep mariadb rpm e nodeps mariadb libs 5.5.60 1.el7_5.x86_64 ~~~ 2.部署Mysql ~~~shell 阅读全文
posted @ 2019-11-25 14:50 大数据小码农 阅读(302) 评论(0) 推荐(0)
Kerberos常见错误
摘要：1.CDH安装Kerberos后，重启集群报错 ~~~ Socket Reader 1 for port 8022: readAndProcess from client 192.168.50.83 threw exception [javax.security.sasl.SaslException 阅读全文
posted @ 2019-11-22 10:38 大数据小码农 阅读(2199) 评论(0) 推荐(0)
expect实现脚本的 自动交互
摘要：1.需求 最近需要使用scp自动将本地服务器的文件拷贝到远程服务器上; 2.安装expect ~~~ 安装expect前，需要安装tcl环境 yum y install tcl yum y install expect ~~~ 3.expect脚本 ~~~ !/usr/bin/expect set 阅读全文
posted @ 2019-11-21 23:11 大数据小码农 阅读(276) 评论(0) 推荐(0)
Hive分区表新增字段，查询为Null
摘要：1.问题 在开发过程中，向hive分区表新增字段，发现查询新增字段的值为NULL 2.问题复现 1.创建分区表，并插入数据 ~~~ create table student(id int,name string) partitioned by (dt string); insert into tab 阅读全文
posted @ 2019-11-15 16:43 大数据小码农 阅读(1870) 评论(0) 推荐(0)
通过crontab监控SparkStreaming任务运行状态
摘要：1.问题 最近发现SparkStreaming提交的job经常在半夜挂掉，于是写了个定时任务监控SparkStreaming的运行状态，保证其不挂掉 2.shell脚本 ~~~ touch /opt/module/jobs/monitorlog.txt vim /opt/module/jobs/mo 阅读全文
posted @ 2019-11-14 23:15 大数据小码农 阅读(1062) 评论(0) 推荐(0)
Linux服务器修改系统时间
摘要：1.问题 最近发现有一台服务器的时间比北京时间慢了8个小时,发现采用的是 UTC 时区 2.修改 UTC 时区为 CST 中国标准时间 ~~~ mv /etc/localtime /etc/localtime.bak ln s /usr/share/zoneinfo/Asia/Shanghai /e 阅读全文
posted @ 2019-11-04 09:42 大数据小码农 阅读(5857) 评论(0) 推荐(0)
CDH5.16.1安装Sentry
摘要：1.环境 CentOS 7.6 CDH 5.16.1 2.安装Sentry 1.创建数据库 ~~~sql create database sentry default character set utf8; CREATE USER 'sentry'@'%' IDENTIFIED BY 'admin' 阅读全文
posted @ 2019-11-02 14:02 大数据小码农 阅读(923) 评论(0) 推荐(0)
Linux命令删除指定日期的文件
摘要：1.需求 按时间删除 hive 产生的日志 2.查看 /var/log/hive目录 ~~~ cd /var/log/hive ll ~~~ 3.使用find命令按时间筛选 find 参数说明 ~~~ amin n: 最后一次访问发生在 n分钟 之内 amin n: 最后一次访问发生在距离当前时间 阅读全文
posted @ 2019-11-02 14:01 大数据小码农 阅读(36232) 评论(3) 推荐(2)