2019年6月1日
大数据基础之Gobblin（2）持久化kafka到hdfs
摘要： gobblin 0.10 想要持久化kafka到hdfs有很多种方式，比如flume、logstash、gobblin，其中flume和logstash是流式的，gobblin是批处理式的，gobblin通过定时任务触发来完成数据持久化，在任务和任务之间是没有任何读写的，这点是和flume、logs 阅读全文
posted @ 2019-06-01 14:29 匠人先生 阅读(1675) 评论(0) 推荐(0)
大叔经验分享（65）spark读取不到hive表
摘要： spark 2.4.3 spark读取hive表，步骤： 1）hive-site.xml hive-site.xml放到$SPARK_HOME/conf下 2）enableHiveSupport SparkSession.builder.enableHiveSupport().getOrCreate 阅读全文
posted @ 2019-06-01 14:05 匠人先生 阅读(5345) 评论(3) 推荐(1)
大数据基础之Kudu（6）kudu tserver内存占用统计分析
摘要： kudu tserver占用内存过高后会拒绝部分写请求，日志如下： 19/06/01 13:34:12 INFO AsyncKuduClient: Invalidating location 34b1c13d04664cc8bae6689d39b08b77($kudu_tserver:7050) f 阅读全文
posted @ 2019-06-01 13:48 匠人先生 阅读(3564) 评论(0) 推荐(0)