大数据小码农

摘要： 1.CDH安装Kerberos后，重启集群报错 ~~~ Socket Reader 1 for port 8022: readAndProcess from client 192.168.50.83 threw exception [javax.security.sasl.SaslException 阅读全文

摘要： 1.需求 最近需要使用scp自动将本地服务器的文件拷贝到远程服务器上; 2.安装expect ~~~ 安装expect前，需要安装tcl环境 yum y install tcl yum y install expect ~~~ 3.expect脚本 ~~~ !/usr/bin/expect set 阅读全文

摘要： 1.问题 在开发过程中，向hive分区表新增字段，发现查询新增字段的值为NULL 2.问题复现 1.创建分区表，并插入数据 ~~~ create table student(id int,name string) partitioned by (dt string); insert into tab 阅读全文

摘要： 1.问题 最近发现SparkStreaming提交的job经常在半夜挂掉，于是写了个定时任务监控SparkStreaming的运行状态，保证其不挂掉 2.shell脚本 ~~~ touch /opt/module/jobs/monitorlog.txt vim /opt/module/jobs/mo 阅读全文

摘要： 1.问题 最近发现有一台服务器的时间比北京时间慢了8个小时,发现采用的是 UTC 时区 2.修改 UTC 时区为 CST 中国标准时间 ~~~ mv /etc/localtime /etc/localtime.bak ln s /usr/share/zoneinfo/Asia/Shanghai /e 阅读全文

摘要： 1.环境 CentOS 7.6 CDH 5.16.1 2.安装Sentry 1.创建数据库 ~~~sql create database sentry default character set utf8; CREATE USER 'sentry'@'%' IDENTIFIED BY 'admin' 阅读全文

摘要： 1.需求 按时间删除 hive 产生的日志 2.查看 /var/log/hive目录 ~~~ cd /var/log/hive ll ~~~ 3.使用find命令按时间筛选 find 参数说明 ~~~ amin n: 最后一次访问发生在 n分钟 之内 amin n: 最后一次访问发生在距离当前时间 阅读全文

摘要： 1.环境 CDH 5.16.1 集群未集成Kerberos 2.下载Impala JDBC驱动 下载地址：https://downloads.cloudera.com/connectors/impala_jdbc_2.5.41.1061.zip 3.将压缩包下的ImpalaJDBC41.jar，TC 阅读全文

摘要： 1. 环境 Centos 7.6 Mysql 5.7.25 2.安装Azkaban 1.创建 /opt/module/azkaban 目录 ~~~ mkdir p /opt/module/azkaban ~~~ 2.解压 azkaban executor server 2.5.0.tar.gz、az 阅读全文

摘要： #1. 环境 Centos 7.6 JDK 1.8 Scala 2.11.8 服务器3台 #2. 服务器搭建前环境准备 ####1.所有节点关闭防火墙 #查看防火墙状态 firewall-cmd --state #停止firewall systemctl stop firewalld.service 阅读全文