摘要：
Log Cleanup 简介 在Kafka中，存在数据过期的机制，称为data expire。如何处理过期数据是根据指定的policy（策略）决定的，而处理过期数据的行为，即为log cleanup。 在Kafka中有以下几种处理过期数据的策略： · log.cleanup.policy=delet 阅读全文
摘要：
导入数据后发现大量分区字段插入错误，需要批量删除分区，发现不能批量操作，只能手写一个脚本分布执行。 shell 脚本如下： ports="8888" user='' pwd='' host='' dbtable='' drop_sql=(`curl -u $user:$pwd 'http://hos 阅读全文
摘要：
同比、环比分析是一对常见的分析指标，其增长率公式如下： 同比增长率 =（本期数 - 同期数) / 同期数 环比增长率 =（本期数 - 上期数) /上期数 在一些提供了开窗函数的数据库中(如Oracle、Hive)，可以利用lag()、lead()函数配合over()，非常方便的实现同比和环比的查询。 阅读全文
摘要：
Bool query 包含那些？ Bool query 对应lucene 的BooleanQuery，一般由一个或者多个查询子句组成，如下表格所示： 用法描述 must 查询一定包含匹配查询内容，并且提供得分 filter 查询一定包含匹配查询内容，但是不提供得分，会对查询结果进行缓存 should 阅读全文
摘要：
shell中用sftp连接报错，发现是校验证书的，可以先手动连接一下。在当前用户目录下的./ssh里面会生成一个秘钥。这样下次就会不校验直接可以登录了。在这里插入图片描述cd: Fatal error: Host key verification failed.ls: ls -l: Fatal er 阅读全文
摘要：
一、背景 需求： redis通过tcp来对外提供服务，client通过socket连接发起请求，每个请求在命令发出后会阻塞等待redis服务器进行处理，处理完毕后将结果返回给client。 其实和一个http的服务器类似，一问一答，请求一次给一次响应。而这个过程在排除掉redis服务本身做复杂操作时 阅读全文
摘要：
目录 1、在 shell 脚本中定义变量，在 hive -e 中使用 2、通过 --hiveconf 定义变量 3、通过 --hivevar 定义变量 4、通过 -define 定义变量 操作的表： hive> select * from hbase_table_1; OK 1 zhangsan 2 阅读全文
摘要：
ck 目前支持了更新和删除，但是与传统sql语法 略有不同，我也记录下来，防止后面忘记。 测试数据 :) select count(*) from system.columns where table='test_update'; ┌─count()─┐ │ 332 │ └─────────┘ :) 阅读全文
摘要：
日期和时间运算符 时区转化 SELECT timestamp '2012-10-31 01:00 UTC'; 2012-10-31 01:00:00.000 UTC SELECT timestamp '2012-10-31 01:00 UTC' AT TIME ZONE 'America/Los_A 阅读全文
摘要：
add(增加元素) name = set(['Tom','Lucy','Ben']) name.add('Juny') print(name)#输出：{'Lucy', 'Juny', 'Ben', 'Tom'} clear(清空所有元素) name = set(['Tom','Lucy','Ben' 阅读全文