摘要： 运维任务 regionserver添加/删除节点 master备份 1 添加新节点 复制hbase目录并进行配置文件修改（regionserver增加新节点）并保持配置文件在全集群一致，在新节点上启动相关进程如hbase-daemon.sh start regionserver命令 ​ 2 删除节点 阅读全文

摘要： hbase集群搭建之前首先完成hadoop集群搭建 环境搭建 wget http://mirror.bit.edu.cn/apache/hbase/1.x.y/hbase-1.x.y-bin.tar.gz #解压 tar -xzvf hbase-1.x.y-bin.tar.gz -C /usr/lo 阅读全文

摘要： HBase中的存储包括HMaster、HRegionSever、HRegion、HLog、Store、MemStore、StoreFile、HFile等角色构成，具体如下HMaster的作用 1.为HRegionServer分配HRegion 2.负责HRegionServer的负载均衡 3.发现失 阅读全文

摘要： 有关数据安全及可靠我们认为大体上分为存储安全和使用安全 1 数据存储安全 hbase是基于hdfs的一种数据存储解决方案，所以有关数据的安全性可靠性可以利用hdfs自身的副本机制保障。另外原生的hbase（1.x）并没有提供数据备份机制，目前还是依赖于企业自身的研发保障，如阿里的云hbase进行数据 阅读全文

摘要： 架构方式 inmon架构 自上而下的开发模式，从多个数据源出发，根据需求将不同数据源的数据经过ETL过程获取到各个主题需求的数据集成到数仓中，完成了数据治理后再进行统计业务，将统计结果存入数据集市。 kimball架构 自下而上的开发模式，往往已经存在某个关系明确的业务数据库，架构师需要根据数据库中 阅读全文

摘要： 建模流程 业务建模 根据业务部门进行划分，理清部门之间的关系，然后将各个部门的具体业务程序化，与业务部门开会协商出需求的指标、保存年限、维度等等。总体来讲，就是要知道他们需要哪些指标以及他们能提供哪些数据。业务建模的时间最长，而且与公司实际的业务环境息息相关，因此在这里需要根据实际生产环境和业务需求 阅读全文

摘要： 数仓是一个面向主题的、集成的、稳定的、时变的，存储历史数据的仓库。 面向主题的：数仓中的数据按照主题进行存储，每个主题都是决策层分析的一个角度; 集成的：不同来源的数据会统一整合后存入数仓中; 稳定的：数据一旦进入仓库后不会轻易发生改变，就算数据本身需要变化也轻易不会改动原数据，会根据分析需求考虑数 阅读全文

摘要： KEY="所要搜索的关键字符串"FullPath=所要搜索的文件的路径str=“要替换行的字符串" 根据关键字符串定位行号：line=`sed -n '/'"$KEY"'/=' $FullPath` 打印匹配行的方法： sed -n -e '/关键词/p' 文件全路径 打印行号的方法： sed -n 阅读全文

摘要： 水晶报表乱码中文乱码问题 － Crystal reports原因1：CR輸出的漢字格式不对(簡體還是繁體)，簡體要先在區域設成(中國)，然後在cr裡設字體為"宋體“即可原因2：字符集问题。应查看web.config中字符集配置原因3：数据流量过大。有时候，在水晶报表中导入的数据过多，并配置有图表，而 阅读全文

摘要： SQL*PLUS维护系统变量,也称SET变量,利用它可为SQL*PLUS交互建立一个特殊的环境,如:设置NUMBER数据的显示宽度;设置每页的行数;设置列的宽度等。可用SET命令改变这些系统变量,也可用SHOW命令列出它们. 使用set命令的语法如下: SET系统变量值其中系统变量及其可选值如下: 阅读全文