10 2018 档案

linux的根目录总是爆满
摘要：cdh集群各个节点每过一段时间就根目录爆满且linux重启。 查看各个盘的空间 问题根源是因为fakfa积存导致 cd /var/local/kafka/data 查看各个文件大小 删除文件里的日志即可(Location-0文件夹) 阅读全文
posted @ 2018-10-26 14:55 聚云 阅读(1509) 评论(0) 推荐(0)
cdh单个节点挂掉或重启，导致这个节点hadoop组件不能重启
摘要：背景：集群一个节点无缘无故重启了，导致该节点的所有大数据的组件都不能开启。而且集群一片报红 解决方法，在出问题的节点重启一下agent就可以了 之后开启该节点的yarn重启 再开启hdfs重启就好了(注意这个开启顺序) 阅读全文
posted @ 2018-10-25 18:42 聚云 阅读(2054) 评论(0) 推荐(0)
spark streaming入hbase
摘要：1.一般的入hbase 2.下面给出一个发送kafka和接收kafka入spark hbase 生产数据 接收并入hbase代码 阅读全文
posted @ 2018-10-25 11:08 聚云
HBase内置过滤器的总结
摘要：1、RowFilter:筛选出匹配的所有的行(使用过)eg：Filter rf=new RowFilter(CompareFilter.CompareOp.EQUAL,new BinaryComparator(Bytes.toBytes("row1")));//OK筛选出匹配的所有的行 2、Pref 阅读全文
posted @ 2018-10-25 10:01 聚云 阅读(1200) 评论(0) 推荐(0)
java统计hbase条数(开始rowkey,结束rowkey,字符反转，模糊匹配)
摘要：代码如下，不需要配置文件 阅读全文
posted @ 2018-10-25 09:32 聚云
spark structed streaming 自定义sink源入hbase
只有注册用户登录后才能阅读该文。
posted @ 2018-10-24 17:56 聚云 阅读(17) 评论(0) 推荐(0)
hbase工作---新特性
摘要：1.hbase的导入与导出 命令: 说明:上面都是例子，以增量导入为例 首先查看表的版本，命令:desc '表名' 就可以查看表的版本 后面的时间是转化过去的：2017-05-19 00:00:00 1495123200000 如果想增量导入。自己转化好时间即可 2.查看文件： 注：上面的路径并不是 阅读全文
posted @ 2018-10-24 09:50 聚云
scala一些特殊的类型或用法
摘要：Scala中的None,Nothing,Null,Nil 在scala中这四个类型名称很类似，作用确实完全不同的。 1.None是一个object，是Option的子类型 scala推荐在可能返回空的方法使用Option[X]作为返回类型。如果有值就返回Some[x](Some也是Option的子类 阅读全文
posted @ 2018-10-09 19:28 聚云 阅读(577) 评论(0) 推荐(0)
spark streaming方法
摘要：1.window滑动窗口操作 2.output操作 阅读全文
posted @ 2018-10-04 00:46 聚云 阅读(149) 评论(0) 推荐(0)