huangfox

冰冻三尺,非一日之寒!

  博客园 :: 首页 :: 博问 :: 闪存 :: 新随笔 :: 联系 :: 订阅 订阅 :: 管理 ::

2018年10月16日

摘要: 1、代码实现 kafkaListener 需要指定id,例如这里是:full-part-id。 消费开关 参考: 1、How can i stop consumers from consuming? 阅读全文
posted @ 2018-10-16 15:48 huangfox 阅读(6145) 评论(2) 推荐(1) 编辑

2018年9月26日

摘要: 参考: MD5 Hashing in Java 阅读全文
posted @ 2018-09-26 15:01 huangfox 阅读(263) 评论(0) 推荐(0) 编辑

2018年9月11日

摘要: 转自:Caching in Presto Qubole’s Presto-as-a-Service is primarily targeted at Data Analysts who are tasked with translating ad-hoc business questions int 阅读全文
posted @ 2018-09-11 16:20 huangfox 阅读(247) 评论(0) 推荐(0) 编辑

2018年9月5日

摘要: 1、orc列式存储概念 a)列式存储:orc并不是纯粹的列式存储,也是先基于行对数据表进行分组(行组),然后对行组进行列式存储。 b)查询数据的时候不需要扫描全部数据(磁盘IO),只需查询指定列即可。 c)orc对每一列提供了常规统计信息(min 、 max 、 sum等),加速查询。例如过滤条件f 阅读全文
posted @ 2018-09-05 11:11 huangfox 阅读(1518) 评论(0) 推荐(0) 编辑

2018年9月1日

摘要: 有关presto查询优化的tips 阅读全文
posted @ 2018-09-01 01:12 huangfox 阅读(5471) 评论(0) 推荐(0) 编辑

2018年8月31日

摘要: 原文地址:We need tool support for keyset pagination 1、offset的定义 …the rows are first sorted according to the <order by clause> and then limited by dropping 阅读全文
posted @ 2018-08-31 17:21 huangfox 阅读(413) 评论(0) 推荐(0) 编辑

2018年8月21日

摘要: 1、TooManyClause 我们在使用terms query、prefix query、fuzzy query、wildcard query、range query的时候,一不小心就会遇到TooManyClause异常。这个异常是提醒我们查询子句太多了(超过默认阈值1024),而上面这类查询最终 阅读全文
posted @ 2018-08-21 14:51 huangfox 阅读(546) 评论(0) 推荐(0) 编辑

2018年8月14日

摘要: 1、Index Templates 之前我们聊过Dynamic template,它作用范围是特定的Index,如果我们想针对全局Index进行设置该如何操作呢? Index Templates 可以定义一些模板,新创建index的时候会自动应用相应的模板。 Index templates allo 阅读全文
posted @ 2018-08-14 14:12 huangfox 阅读(976) 评论(0) 推荐(0) 编辑

2018年8月13日

摘要: 1、ES Mapping 在lucene中,索引中每个字段都需要指定很多属性,例如:是否分词、采用哪个分词器、是否存储等。 在ES中,其实索引中每个字段也需要指定这些属性,我们有时候并没有对这些属性进行设置,这得益于ES的动态映射(Dynamic Mapping)。 参考:Dynamic Mappi 阅读全文
posted @ 2018-08-13 16:32 huangfox 阅读(9394) 评论(0) 推荐(0) 编辑

2018年8月11日

摘要: 1、index、type的初衷 之前es将index、type类比于关系型数据库(例如mysql)中database、table,这么考虑的目的是“方便管理数据之间的关系”。 2、为什么现在要移除type? 2.1 在关系型数据库中table是独立的(独立存储),但es中同一个index中不同typ 阅读全文
posted @ 2018-08-11 17:14 huangfox 阅读(10993) 评论(0) 推荐(2) 编辑

2018年8月10日

摘要: Dynamic field mapping 1、我们向es提交一个json对象进行索引,es会对json字段和索引字段进行字段类型适配。 规则如下: 2、string字段的转换规则 当date detection、numeric detection开启后,string类型可能转换成:date、num 阅读全文
posted @ 2018-08-10 17:13 huangfox 阅读(680) 评论(0) 推荐(0) 编辑

2017年5月4日

摘要: The delete-by-query plugin adds support for deleteing all of the documents which match the specified query. It is a replacement for the problematic de 阅读全文
posted @ 2017-05-04 17:40 huangfox 阅读(572) 评论(0) 推荐(0) 编辑

2017年4月20日

摘要: Kibi extends Kibana 4.6.4 with data intelligence features. The core feature of Kibi is the capability to join and filter data from multiple Elasticsea 阅读全文
posted @ 2017-04-20 15:31 huangfox 阅读(443) 评论(0) 推荐(0) 编辑

2016年6月8日

摘要: Distributed Result Grouping Caveats Grouping is supported distributed searches, with some caveats: 1)Currently group.func is not supported in any dist 阅读全文
posted @ 2016-06-08 17:20 huangfox 阅读(205) 评论(0) 推荐(0) 编辑

2016年5月27日

摘要: 转载: http://club.alibabatech.org/article_detail.htm?articleId=61 【导读】本文从商品类目预测的难点分析出发,衍生出一淘商品类目预测的架构以及实现,同时还对商品类目预测的进阶提出了畅想。适合想对商品类目预测有一些了解的同学阅读。 什么是一淘 阅读全文
posted @ 2016-05-27 10:37 huangfox 阅读(1878) 评论(0) 推荐(0) 编辑