Lemo_wd - 博客园

es 基础概念总结 —— Query DSL

摘要：一、query DSL 叶子查询于特定字段查询特定值。如 match, term 或 range 查询复合查询包装其它叶子查询或复合查询。如使用 bool or dis_max 混合多个查询 match_all GET /_search { "query": { "match_all": {} 阅读全文

posted @ 2020-03-21 08:47 Lemo_wd 阅读(461) 评论(0) 推荐(0)

es 基础概念总结 —— URI Search

摘要：搜索 API GET /<index>/_search POST /<index>/_search GET /_search POST /_search 同时在多个索引上查询 # 单个索引： GET /twitter/_search?q=tag:wow # 多个索引： GET /kimchy,ela 阅读全文

posted @ 2020-03-18 08:28 Lemo_wd 阅读(453) 评论(0) 推荐(0)

es 基础概念总结 —— 索引

摘要：一、基本 CRUD 增 Index PUT /<index>/_doc/<_id> POST /<index>/_doc/ 查 Get GET <index>/_doc/<_id> 删 Delete DELETE /<index>/_doc/<_id> 改 Update POST /<index>/ 阅读全文

posted @ 2020-03-17 21:25 Lemo_wd 阅读(222) 评论(0) 推荐(0)

es 基础概念总结 —— 自定义分析器

摘要：一、分析器 analyzer 包括 1.字符过滤器 character filter 比如去除HTML标记，或者转化“&”为“and” 2.分词器 tokenizer 比如按空格分词 3.词单元标准化过滤器 token filter 如大小写转换，去掉停用词，增加同义词二、内置分析器标准分析器阅读全文

posted @ 2020-03-17 21:00 Lemo_wd 阅读(458) 评论(0) 推荐(0)

es 基础概念总结 —— 映射

摘要：索引 index 创建索引 PUT test/_doc/1 { "count": 5, "date": "2015/09/02" } 查看索引 GET _cat/indices?v 发现当前索引状态为 yellow, 副本数 rep是 1。这是由于单机状态不需要设置副本，因此将其改成 0 就正常了。阅读全文

posted @ 2020-03-17 09:41 Lemo_wd 阅读(446) 评论(0) 推荐(0)

流处理技术的演变

摘要： lambda 架构对低成本规模化的需求促使人们开始使用分布式文件系统，例如 HDFS 和基于批量数据的计算系统（MapReduce 作业）。但是这种系统很难到低延迟。用 Storm 开发的实时流处理技术可以帮助解决延迟性的问题，但并不完美。其中的一个原因是，Storm 不支持 exactly 阅读全文

posted @ 2020-03-09 19:54 Lemo_wd 阅读(382) 评论(0) 推荐(0)

netcat 命令学习

摘要：一、安装 gnu-netcat 不支持 ipv6，简化命令 nc nmap 实现的 ncat 二、例子 1.监听入站连接 ncat -l port_number 如 ncat -l 8080 2.连接远程系统 ncat IP_address port_number 如 ncat -C 192.168 阅读全文

posted @ 2020-02-24 10:52 Lemo_wd 阅读(761) 评论(0) 推荐(0)

Flink 分布式运行时

摘要： 1.Job Managers、Task Managers、客户端（Clients） Flink 运行时包含两类进程： JobManagers （也称为 masters）协调分布式计算。它们负责调度任务、协调 checkpoints、协调故障恢复等。每个 Job 至少会有一个 JobManager。阅读全文

posted @ 2020-02-23 09:57 Lemo_wd 阅读(348) 评论(0) 推荐(0)

Flink 编程模型

摘要： 1.流式数据流 Flink程序的基本构建块是流和转换。（请注意，Flink的DataSet API中使用的DataSet也是内部流-稍后将进行更多介绍。）从概念上讲，流是数据记录流（可能永无止境），而转换是将一个或多个流作为一个操作的操作。输入，并因此产生一个或多个输出流。执行时，Flink 阅读全文

posted @ 2020-02-23 09:18 Lemo_wd 阅读(349) 评论(0) 推荐(0)

记一次开发中遇到副作用与幂等问题

摘要：问题代码： private final ConcurrentHashMap<String, List<Region>> store = new ConcurrentHashMap<>(); @Override public List<Region> tree(boolean province) { 阅读全文

posted @ 2020-02-05 10:32 Lemo_wd 阅读(458) 评论(0) 推荐(0)