摘要： 公司测试环境的namenode出现损坏启动不了。 一开始是因为把机器的dfs目录改成了权限777，后来百度了下发现755才可以。 修改完发现namenode启动过程一直报edits文件里面存在文件丢失。 通过下面两个命令进行对edits转换成xml 修改内部不存在文件为OP_SET_PERMISSI 阅读全文

摘要： 市面公司大多基础模型如图 数仓建模目标 1.访问性能-快速查询所需数据,减少IO,缩短统计路径 2.数据成本-减少不必要的数据冗余，实际计算结果数据复用,降低达数据系统中的存储成本和计算成本 3.使用效率-改善用户体验，提高使用数据率 4.数据质量-改善数据口径不一致性,减少计算错误的可能性,提供高 阅读全文

摘要： 数仓作用 1.面向注意的 2.集成的 3.包含历史的 4.不可更新的 5.面向决策支持的 6.面向企业的 7.最明细的数据存储 8.数据快照式的数据获取 CIF（Corporation information factory）数仓理论 ODS，DW，DM等 阅读全文

摘要： 每次都遇到这问题这里记录下 1.创建新用户（ES7不让用root跑，应该可以改，但是既然这么设置还是遵循默认吧） # 创建用户组 groupadd es # 创建用户并添加至用户组 useradd es -g es # 更改用户密码（输入 123123） passwd es赋予权限 chown -R 阅读全文

摘要： 以前系统学习过数据仓库,今天重新复习下 数据仓库 1.面向主题的:在较高层次上将企业信息系统的数据综合归并分析利用的抽象的概念.每个主题基本上对应一个相应的分析领域 2.集成的:企业级别数据,同时数据要保持一致性(在数据库可以存在A，M，男,但是数据仓库必须一致性只有一种表示方式),完整性,有效性, 阅读全文

摘要： 由于logstash更新不是实时而是采用了轮训的方式,去触法更新,对于实时性要求比较高的场景显然不能满足需求,于是衍生出用canal方案解决实时更新入库es的方案 方法 1.安装canal（阿里的开源组件,可以从https://github.com/alibaba/canal/releases找到比 阅读全文

摘要： 定制分化词步骤: 在config目录下新增new_word.dic 加入凯悦，修改IKAnalyzer.cfg.xml，加入new_word.diccopy到其他两个节点重启es GET _analyze?pretty{"analyzer": "ik_max_word","text":"xx"} G 阅读全文

摘要： Node接入 node client（客户端相当于一个node接入） Transport接入 transport client（5之前多用这种方式，基于二进制设计效率比较高） Http接入 rest client（基于http通信，做到了不受语言限制，不受框架限制，5之后推介这种方式，7之后es会废 阅读全文

摘要： 一直以为自己spring哪里配置出错了,查了很多资料都说@service注解每加入。后来发现是httpclient 和httpcore版本不对。改成比较新的版本就可以了。可能我用es7.6.1比较新所以要对应比较新的版本。 阅读全文

摘要： 最近写个项目发现maven已经成功引入jar，但是idea项目的path一直没引入对应依赖，导致启动项目一直处于失败中,下图这里点下就引入了 阅读全文