摘要： kerberos的安装过程可以参考https://blog.csdn.net/cy309173854/article/details/79288491 但是照着它安装的过程有些要注意的点: 1. realms其实就是你票据生成的服务器这里两个要记得填写的是你票据生成服务器的hostname或者IP 阅读全文

摘要： 搭建CDH集群已经挺多套了，在搭建CDH时候出现server无法检测到agent的问题大概可以这么解决: 1.IP,hostname问题这两个需要认真搭配，一旦IP hostname出现错误或者安装一半机器出问题，解决办法就是删除agent在mysql生成的元数据,具体操作如下（要分为server出 阅读全文

摘要： 1.事故起因是是报表开发人员在运行大报表的过程主备namenode同时出现下线挂死。 此时可以看出CM管理工具还未告警fsimage延迟的问题(一般正常情况下,fsimage的延迟CM应该会进行告警行为) 2.刚开始以为是普通namenode压力过大进行namenode重启,但是还是起不来,发现大量 阅读全文

摘要： 先启动ntpd时间同步再启动CDH的agent。但是机房停电自重启一般是先启动agent了。所以一直造成时间不同步问题 阅读全文

摘要： 提交任务经常出现这个问题,查询是由于JDK版本不匹配造成,但是ES7.X又必须使用1.8的JDK。于是google找到方法 client.jartransformer.class : 'org.apache.storm.hack.StormShadeTransformer'删除 或者重置为nil。 阅读全文

摘要： Index lifecycle Managent 是ES6.6后才提供基于X-Pack Basic License（可以免费使用的一个功能） 大致作用如下入,可以根据时间,条目数,数据块大小进行数据生命周期管理,具体好处还很多,这里记录下用法。 一.创建生命周期的规则,可以通过代码进行创建,也可以通 阅读全文

摘要： ##hive 双表合并生成新主键 insert overwrite into dim_goods_d partition(dt='2018-06-01') select tb.*, row_number() over(order by id) + ta.max_id as gid from tmp_ 阅读全文

摘要： 整体分几步做 首先下载需要的包，包括系统镜像文件+虚拟机工具,cloudera manager版本文件，CDH版本文件，flink parcls文件（最后集成flink才需要） 1.安装镜像文件 2.配置虚拟机环境包括网络的打通配置host,关闭防火墙，rzsz（方便上传下载）,rsa机器之间免密操 阅读全文

摘要： 今天把集群关闭后会造成shards移动到其他正常节点，但是重新启动shares并不会移动到恢复的节点。 在网上找了一会儿资料发现一个方法: 把副本数调整为0,会自动平衡shares,再增加number_of_replicas，会自动再建立副本数。（怀疑是重启过程出现副本数损坏了），此时shared又 阅读全文

摘要： 详细用法可以oracle官方查看(https://docs.oracle.com/javase/8/docs/technotes/tools/index.html) GC情况是否正常排查 通过top查看任务的负载.抓到负载高的pid jstat -gcutil pid 时间 打印多少次 (base) 阅读全文