Thinking in BigData

摘要： docker启动tomcat默认是： Run the default Tomcat server (CMD ["catalina.sh", "run"]): 查看tomcat启动脚本catalish.sh elif [ "$1" = "run" ]; then shift if [ "$1" = " 阅读全文

摘要： 经常有一些需要做id打通的场景，比如用户id打通等， 问题抽象是每条数据都可以解析出一个或多个kv pair:(id_type,id)，然后需要将某一个kv pair匹配的多条数据进行merge； 比如： data1: Array(('type1', 'id1'), ('type2', 'id2') 阅读全文

摘要： gobblin 0.10 想要持久化kafka到hdfs有很多种方式，比如flume、logstash、gobblin，其中flume和logstash是流式的，gobblin是批处理式的，gobblin通过定时任务触发来完成数据持久化，在任务和任务之间是没有任何读写的，这点是和flume、logs 阅读全文

摘要： spark 2.4.3 spark读取hive表，步骤： 1）hive-site.xml hive-site.xml放到$SPARK_HOME/conf下 2）enableHiveSupport SparkSession.builder.enableHiveSupport().getOrCreate 阅读全文

摘要： kudu tserver占用内存过高后会拒绝部分写请求，日志如下： 19/06/01 13:34:12 INFO AsyncKuduClient: Invalidating location 34b1c13d04664cc8bae6689d39b08b77($kudu_tserver:7050) f 阅读全文

摘要： linux换行为\n，windows换行为\r\n，windows环境编辑的shell脚本在linux下执行会报错： line 2: $'\r': command not found 查看 # cat -A test.sh #!/bin/sh^M$^M$... 解决方法： vi 1）替换 :%s/^ 阅读全文

摘要： 概述 The Agent is started by init.d at start-up. It, in turn, contacts the Cloudera Manager Server and determines which processes should be running. The 阅读全文

摘要： 一 对比 存储空间对比： 查询性能对比： 二 设计方案 将数据拆分为：历史数据（hdfs+parquet+snappy）+ 近期数据（kudu），可以兼具各种优点： 1）整体低于10%的磁盘占用； 2）更少的查询耗时； 3）近期数据实时更新； 4）近期数据可修改； 5）kudu集群重启时间降低90% 阅读全文

摘要： kudu的副本数量是在表上设置，可以通过命令查看 # sudo -u kudu kudu cluster ksck $master ... Summary by table Name | RF | Status | Total Tablets | Healthy | Recovering | Und 阅读全文

摘要： kudu加减数据盘不能直接修改配置fs_data_dirs后重启，否则会报错： Check failed: _s.ok() Bad status: Already present: FS layout already exists; not overwriting existing layout: 阅读全文