随笔分类 -  Hive Hbase Flume

创表,插入数据 , shell操作
hbase 创建多version的表 , 并预分区
摘要：1.请先创建好命名空间 .然后再创建表 . create 'gld:student',{NAME=>'cf1', VERSIONS=>5}, {SPLITS => ['1', '2', '3', '4', '5', '6', '7', '8', '9']} 我这里的namespace是提前创建好了的 阅读全文
posted @ 2020-06-15 08:30 挪威森林猫Zzz 阅读(590) 评论(0) 推荐(0)
Hive 开启 service2 服务
摘要：1. 需要修改 hive的 conf 下 hive-site.xml 添加 <!--这是service2的配置--> <property> <name>hive.server2.thrift.port</name> <value>10000</value> </property> <property 阅读全文
posted @ 2020-06-11 04:06 挪威森林猫Zzz 阅读(1444) 评论(0) 推荐(0)
Hbase 如何用对rowkey加盐
摘要：EX. 业务原因: hbase 的 region 是将范围内的rowkey 放一起 但是如果某一段时期数据量大 , 就会造成region(分区) 数据的分布不均 , ,所以需要加盐 ,加哪里 ,放最前面　解释:我这里是1000个分区 有问题的地方: 我用 1-100连续的数, 去求hashcode( 阅读全文
posted @ 2020-05-23 14:55 挪威森林猫Zzz 阅读(1848) 评论(0) 推荐(0)
Flume 监听本地目录到 HDFS
摘要：a1.sources = s1a1.channels = c1a1.sinks = k1 a1.sources.s1.channels = c1a1.sources.s1.type = spooldira1.sources.s1.spoolDir = /home/abby/dataa1.source 阅读全文
posted @ 2020-03-20 05:11 挪威森林猫Zzz 阅读(311) 评论(0) 推荐(0)
日常收集
摘要： 阅读全文
posted @ 2019-09-17 18:49 挪威森林猫Zzz 阅读(131) 评论(0) 推荐(0)
Hbase 的安装与配置
摘要：#: 安装Hbase需要安装zookeeper , 单节点hbase集成了单zk ,故一个机器不需要再安装 #:先把解压,记住路径. 1.添加环境变量 HBASE_HOME=/home/candle/module/hbase-1.2.0-cdh5.15.0 PATH=$PATH:$HBASE_HOM 阅读全文
posted @ 2019-09-13 11:27 挪威森林猫Zzz 阅读(1316) 评论(0) 推荐(0)