会员
周边
新闻
博问
AI培训
云市场
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
呢喃的歌声
博客园
|
首页
|
新随笔
|
新文章
|
联系
|
订阅
|
管理
上一页
1
2
3
4
5
6
···
29
下一页
2020年10月9日
机房断电导致CDH时间不同步的问题
摘要: 先启动ntpd时间同步再启动CDH的agent。但是机房停电自重启一般是先启动agent了。所以一直造成时间不同步问题
阅读全文
posted @ 2020-10-09 10:26 呢喃的歌声
阅读(166)
评论(0)
推荐(0)
编辑
2020年9月10日
storm和ES7.X使用的问题
摘要: 提交任务经常出现这个问题,查询是由于JDK版本不匹配造成,但是ES7.X又必须使用1.8的JDK。于是google找到方法 client.jartransformer.class : 'org.apache.storm.hack.StormShadeTransformer'删除 或者重置为nil。
阅读全文
posted @ 2020-09-10 15:30 呢喃的歌声
阅读(161)
评论(0)
推荐(0)
编辑
2020年8月18日
elastchsearch基于kibana Index lifecycle Managent管理模块做生命周期管理
摘要: Index lifecycle Managent 是ES6.6后才提供基于X-Pack Basic License(可以免费使用的一个功能) 大致作用如下入,可以根据时间,条目数,数据块大小进行数据生命周期管理,具体好处还很多,这里记录下用法。 一.创建生命周期的规则,可以通过代码进行创建,也可以通
阅读全文
posted @ 2020-08-18 14:58 呢喃的歌声
阅读(2000)
评论(0)
推荐(0)
编辑
2020年7月22日
hive数仓中两个维度表如果想合并纬度产生新自增ID方法
摘要: ##hive 双表合并生成新主键 insert overwrite into dim_goods_d partition(dt='2018-06-01') select tb.*, row_number() over(order by id) + ta.max_id as gid from tmp_
阅读全文
posted @ 2020-07-22 14:24 呢喃的歌声
阅读(711)
评论(0)
推荐(0)
编辑
2020年7月10日
CDH6.3安装集成FLINK1.9parcels
摘要: 整体分几步做 首先下载需要的包,包括系统镜像文件+虚拟机工具,cloudera manager版本文件,CDH版本文件,flink parcls文件(最后集成flink才需要) 1.安装镜像文件 2.配置虚拟机环境包括网络的打通配置host,关闭防火墙,rzsz(方便上传下载),rsa机器之间免密操
阅读全文
posted @ 2020-07-10 14:07 呢喃的歌声
阅读(4586)
评论(3)
推荐(1)
编辑
2020年7月3日
es集群share平衡问题
摘要: 今天把集群关闭后会造成shards移动到其他正常节点,但是重新启动shares并不会移动到恢复的节点。 在网上找了一会儿资料发现一个方法: 把副本数调整为0,会自动平衡shares,再增加number_of_replicas,会自动再建立副本数。(怀疑是重启过程出现副本数损坏了),此时shared又
阅读全文
posted @ 2020-07-03 14:59 呢喃的歌声
阅读(644)
评论(0)
推荐(0)
编辑
2020年6月8日
GC情况是否正常排查
摘要: 详细用法可以oracle官方查看(https://docs.oracle.com/javase/8/docs/technotes/tools/index.html) GC情况是否正常排查 通过top查看任务的负载.抓到负载高的pid jstat -gcutil pid 时间 打印多少次 (base)
阅读全文
posted @ 2020-06-08 10:05 呢喃的歌声
阅读(533)
评论(0)
推荐(0)
编辑
2020年5月17日
公司测试环境namenode修复过程
摘要: 公司测试环境的namenode出现损坏启动不了。 一开始是因为把机器的dfs目录改成了权限777,后来百度了下发现755才可以。 修改完发现namenode启动过程一直报edits文件里面存在文件丢失。 通过下面两个命令进行对edits转换成xml 修改内部不存在文件为OP_SET_PERMISSI
阅读全文
posted @ 2020-05-17 18:25 呢喃的歌声
阅读(387)
评论(0)
推荐(0)
编辑
2020年5月2日
数据仓库大致模型,建模一些标准
摘要: 市面公司大多基础模型如图 数仓建模目标 1.访问性能-快速查询所需数据,减少IO,缩短统计路径 2.数据成本-减少不必要的数据冗余,实际计算结果数据复用,降低达数据系统中的存储成本和计算成本 3.使用效率-改善用户体验,提高使用数据率 4.数据质量-改善数据口径不一致性,减少计算错误的可能性,提供高
阅读全文
posted @ 2020-05-02 01:17 呢喃的歌声
阅读(602)
评论(0)
推荐(0)
编辑
2020年4月26日
数据仓库的原则
摘要: 数仓作用 1.面向注意的 2.集成的 3.包含历史的 4.不可更新的 5.面向决策支持的 6.面向企业的 7.最明细的数据存储 8.数据快照式的数据获取 CIF(Corporation information factory)数仓理论 ODS,DW,DM等
阅读全文
posted @ 2020-04-26 11:25 呢喃的歌声
阅读(238)
评论(0)
推荐(0)
编辑
上一页
1
2
3
4
5
6
···
29
下一页
公告