Thinking in BigData

摘要： 1 准备analyzer 内置analyzer 参考：https://www.elastic.co/guide/en/elasticsearch/reference/current/analysis-analyzers.html 中文分词 smartcn 参考：https://www.elastic 阅读全文

摘要： 当hdfs空间不足时，除了删除临时数据或垃圾数据之外，还可以适当调整部分大目录的副本数量，多管齐下； 1 查看 $ hdfs dfs -ls /user/hive/warehouse/temp.db/test_ext_o-rwxr-xr-x 3 hadoop supergroup 44324200 阅读全文

摘要： 当kudu有tserver下线或者迁移或者修改hostname之后，旧的tserver会一直以dead状态出现，并且tserver日志中会有大量的连接重试日志，一天的错误日志会有几个G， W0322 22:13:59.202749 16927 tablet_service.cc:290] Inval 阅读全文

摘要： logstash6.6.0-6.6.2版本使用jdbc input plugin时如果设置了jdbc_default_timezone，会报错： { 2012 rufus-scheduler intercepted an error: 2012 job: 2012 Rufus::Scheduler: 阅读全文

摘要： kudu中的flume sink代码路径： https://github.com/apache/kudu/tree/master/java/kudu-flume-sink kudu-flume-sink默认使用的producer是 org.apache.kudu.flume.sink.SimpleK 阅读全文

摘要： flume sink核心类结构 1 核心接口Sink org.apache.flume.Sink /** * <p>Requests the sink to attempt to consume data from attached channel</p> * <p><strong>Note</st 阅读全文

摘要： hive2.3.4 presto0.215 使用hive2.3.4的beeline连接presto报错 $ beeline -d com.facebook.presto.jdbc.PrestoDriver -u "jdbc:presto://localhost:8080/hive" Error: U 阅读全文

摘要： ruby2.6.2 官方：https://www.ruby-lang.org/en/ 一 简介 A dynamic, open source programming language with a focus on simplicity and productivity. It has an ele 阅读全文

摘要： 一个logstash很容易通过http打断成两个logstash实现跨服务器或者跨平台间数据同步，比如原来的流程是 logstash: nginx log -> kafka 打断成两个是 logstash1: nginx log -> http out logstash2: http in ->ka 阅读全文

摘要： 从nginx日志中进行url解析 /v1/test?param2=v2&param3=v3&time=2019-03-18%2017%3A34%3A14->{'param1':'v1','param2':'v2','param3':'v3','time':'2019-03-18 17:34:14'} 阅读全文