• 博客园logo
  • 会员
  • 众包
  • 新闻
  • 博问
  • 闪存
  • 赞助商
  • HarmonyOS
  • Chat2DB
    • 搜索
      所有博客
    • 搜索
      当前博客
  • 写随笔 我的博客 短消息 简洁模式
    用户头像
    我的博客 我的园子 账号设置 会员中心 简洁模式 ... 退出登录
    注册 登录
呢喃的歌声
博客园 | 首页 | 新随笔 | 新文章 | 联系 | 订阅 订阅 | 管理
上一页 1 2 3 4 5 6 ··· 29 下一页

2020年12月9日

kerberos安装过程和一些问题解决
摘要: kerberos的安装过程可以参考https://blog.csdn.net/cy309173854/article/details/79288491 但是照着它安装的过程有些要注意的点: 1. realms其实就是你票据生成的服务器这里两个要记得填写的是你票据生成服务器的hostname或者IP 阅读全文
posted @ 2020-12-09 09:45 呢喃的歌声 阅读(367) 评论(0) 推荐(0)
 
CDH server无法检测到agent的问题
摘要: 搭建CDH集群已经挺多套了,在搭建CDH时候出现server无法检测到agent的问题大概可以这么解决: 1.IP,hostname问题这两个需要认真搭配,一旦IP hostname出现错误或者安装一半机器出问题,解决办法就是删除agent在mysql生成的元数据,具体操作如下(要分为server出 阅读全文
posted @ 2020-12-09 09:35 呢喃的歌声 阅读(1020) 评论(0) 推荐(0)
 
namenode挂死问题(checkpoint bug引起fsimage长期未更新)
摘要: 1.事故起因是是报表开发人员在运行大报表的过程主备namenode同时出现下线挂死。 此时可以看出CM管理工具还未告警fsimage延迟的问题(一般正常情况下,fsimage的延迟CM应该会进行告警行为) 2.刚开始以为是普通namenode压力过大进行namenode重启,但是还是起不来,发现大量 阅读全文
posted @ 2020-12-09 09:24 呢喃的歌声 阅读(778) 评论(1) 推荐(0)
 
 

2020年10月9日

机房断电导致CDH时间不同步的问题
摘要: 先启动ntpd时间同步再启动CDH的agent。但是机房停电自重启一般是先启动agent了。所以一直造成时间不同步问题 阅读全文
posted @ 2020-10-09 10:26 呢喃的歌声 阅读(176) 评论(0) 推荐(0)
 
 

2020年9月10日

storm和ES7.X使用的问题
摘要: 提交任务经常出现这个问题,查询是由于JDK版本不匹配造成,但是ES7.X又必须使用1.8的JDK。于是google找到方法 client.jartransformer.class : 'org.apache.storm.hack.StormShadeTransformer'删除 或者重置为nil。 阅读全文
posted @ 2020-09-10 15:30 呢喃的歌声 阅读(173) 评论(0) 推荐(0)
 
 

2020年8月18日

elastchsearch基于kibana Index lifecycle Managent管理模块做生命周期管理
摘要: Index lifecycle Managent 是ES6.6后才提供基于X-Pack Basic License(可以免费使用的一个功能) 大致作用如下入,可以根据时间,条目数,数据块大小进行数据生命周期管理,具体好处还很多,这里记录下用法。 一.创建生命周期的规则,可以通过代码进行创建,也可以通 阅读全文
posted @ 2020-08-18 14:58 呢喃的歌声 阅读(2098) 评论(0) 推荐(0)
 
 

2020年7月22日

hive数仓中两个维度表如果想合并纬度产生新自增ID方法
摘要: ##hive 双表合并生成新主键 insert overwrite into dim_goods_d partition(dt='2018-06-01') select tb.*, row_number() over(order by id) + ta.max_id as gid from tmp_ 阅读全文
posted @ 2020-07-22 14:24 呢喃的歌声 阅读(741) 评论(0) 推荐(0)
 
 

2020年7月10日

CDH6.3安装集成FLINK1.9parcels
摘要: 整体分几步做 首先下载需要的包,包括系统镜像文件+虚拟机工具,cloudera manager版本文件,CDH版本文件,flink parcls文件(最后集成flink才需要) 1.安装镜像文件 2.配置虚拟机环境包括网络的打通配置host,关闭防火墙,rzsz(方便上传下载),rsa机器之间免密操 阅读全文
posted @ 2020-07-10 14:07 呢喃的歌声 阅读(4774) 评论(3) 推荐(1)
 
 

2020年7月3日

es集群share平衡问题
摘要: 今天把集群关闭后会造成shards移动到其他正常节点,但是重新启动shares并不会移动到恢复的节点。 在网上找了一会儿资料发现一个方法: 把副本数调整为0,会自动平衡shares,再增加number_of_replicas,会自动再建立副本数。(怀疑是重启过程出现副本数损坏了),此时shared又 阅读全文
posted @ 2020-07-03 14:59 呢喃的歌声 阅读(697) 评论(0) 推荐(0)
 
 

2020年6月8日

GC情况是否正常排查
摘要: 详细用法可以oracle官方查看(https://docs.oracle.com/javase/8/docs/technotes/tools/index.html) GC情况是否正常排查 通过top查看任务的负载.抓到负载高的pid jstat -gcutil pid 时间 打印多少次 (base) 阅读全文
posted @ 2020-06-08 10:05 呢喃的歌声 阅读(564) 评论(0) 推荐(0)
 
 
上一页 1 2 3 4 5 6 ··· 29 下一页

公告


博客园  ©  2004-2025
浙公网安备 33010602011771号 浙ICP备2021040463号-3