摘要：
1.如果是安装了hbase,在hbase里也可以备份(网上有)。下面介绍在hadoop下备份hdfs数据(我的也安装hbase) 不是cdh.找自己的配置文件也可以 2.进入这个目录下然后执行下面的命令 参考cdh4升级5:https://yq.aliyun.com/articles/25690?s 阅读全文
posted @ 2019-02-19 15:56
聚云
阅读(2494)
评论(0)
推荐(0)
只有注册用户登录后才能阅读该文。 阅读全文
posted @ 2019-01-03 11:03
聚云
阅读(2)
评论(0)
推荐(0)
摘要：
1.修改yarn每个节点的内存大小 下图yarn是各个节点内存的大小 2.对yarn这些资源配置解释 yarn.nodemanager.resource.memory-mb表示该节点上YARN可使用的物理内存总量，默认是8192（MB），注意，如果你的节点内存资源不够8GB，则需要调减小这个值，而Y 阅读全文
posted @ 2018-12-19 11:25
聚云
阅读(909)
评论(0)
推荐(0)
摘要：
1.hbase shell命令行没有模糊查询，但有一个类似的模糊查询，过滤器 阅读全文
posted @ 2018-11-16 15:41
聚云
阅读(176)
评论(0)
推荐(0)
摘要：
1.全部代码不再粘贴，只粘贴主要代码。spark streaming主方法代码 主方法入hbase(和上面的代码片段在一个文件里) 2.DataBaseOperation类 另一个对象文件 上面是传一个machno作为数据的关联。只获取了一个字符串，下面另一个案例是传一个Map 1.主函数 2.主要 阅读全文
posted @ 2018-11-14 19:02
聚云
阅读(491)
评论(0)
推荐(0)
摘要：
1.时间戳(毫秒)转时间 普通显示的 2.保留小数点后12位数字 3.2进制转10进制 4.16进制转2进制 5.进制转换 6.正则匹配 7.截取特殊符号前后字符串 8.时间格式化 综合，下面有可能会重复，但实现方式是不一样的 9.一个程序同时消费多个kafkak里的数据 10.两个map合并为一个 阅读全文
posted @ 2018-11-12 20:04
聚云
阅读(1405)
评论(0)
推荐(0)
摘要：
背景：集群一个节点无缘无故重启了，导致该节点的所有大数据的组件都不能开启。而且集群一片报红 解决方法，在出问题的节点重启一下agent就可以了 之后开启该节点的yarn重启 再开启hdfs重启就好了(注意这个开启顺序) 阅读全文
posted @ 2018-10-25 18:42
聚云
阅读(2043)
评论(0)
推荐(0)
摘要：
1、RowFilter:筛选出匹配的所有的行(使用过)eg：Filter rf=new RowFilter(CompareFilter.CompareOp.EQUAL,new BinaryComparator(Bytes.toBytes("row1")));//OK筛选出匹配的所有的行 2、Pref 阅读全文
posted @ 2018-10-25 10:01
聚云
阅读(1193)
评论(0)
推荐(0)
摘要：
1.hbase的导入与导出 命令: 说明:上面都是例子，以增量导入为例 首先查看表的版本，命令:desc '表名' 就可以查看表的版本 后面的时间是转化过去的：2017-05-19 00:00:00 1495123200000 如果想增量导入。自己转化好时间即可 2.查看文件： 注：上面的路径并不是 阅读全文
posted @ 2018-10-24 09:50
聚云
阅读(159)
评论(0)
推荐(0)
摘要：
Scala中的None,Nothing,Null,Nil 在scala中这四个类型名称很类似，作用确实完全不同的。 1.None是一个object，是Option的子类型 scala推荐在可能返回空的方法使用Option[X]作为返回类型。如果有值就返回Some[x](Some也是Option的子类 阅读全文
posted @ 2018-10-09 19:28
聚云
阅读(575)
评论(0)
推荐(0)
浙公网安备 33010602011771号