Lemo_wd - 博客园

es 基础概念总结 —— 索引

摘要：一、基本 CRUD 增 Index PUT /<index>/_doc/<_id> POST /<index>/_doc/ 查 Get GET <index>/_doc/<_id> 删 Delete DELETE /<index>/_doc/<_id> 改 Update POST /<index>/ 阅读全文

posted @ 2020-03-17 21:25 Lemo_wd 阅读(221) 评论(0) 推荐(0)

es 基础概念总结 —— 自定义分析器

摘要：一、分析器 analyzer 包括 1.字符过滤器 character filter 比如去除HTML标记，或者转化“&”为“and” 2.分词器 tokenizer 比如按空格分词 3.词单元标准化过滤器 token filter 如大小写转换，去掉停用词，增加同义词二、内置分析器标准分析器阅读全文

posted @ 2020-03-17 21:00 Lemo_wd 阅读(456) 评论(0) 推荐(0)

es 基础概念总结 —— 映射

摘要：索引 index 创建索引 PUT test/_doc/1 { "count": 5, "date": "2015/09/02" } 查看索引 GET _cat/indices?v 发现当前索引状态为 yellow, 副本数 rep是 1。这是由于单机状态不需要设置副本，因此将其改成 0 就正常了。阅读全文

posted @ 2020-03-17 09:41 Lemo_wd 阅读(444) 评论(0) 推荐(0)

流处理技术的演变

摘要： lambda 架构对低成本规模化的需求促使人们开始使用分布式文件系统，例如 HDFS 和基于批量数据的计算系统（MapReduce 作业）。但是这种系统很难到低延迟。用 Storm 开发的实时流处理技术可以帮助解决延迟性的问题，但并不完美。其中的一个原因是，Storm 不支持 exactly 阅读全文

posted @ 2020-03-09 19:54 Lemo_wd 阅读(380) 评论(0) 推荐(0)

netcat 命令学习

摘要：一、安装 gnu-netcat 不支持 ipv6，简化命令 nc nmap 实现的 ncat 二、例子 1.监听入站连接 ncat -l port_number 如 ncat -l 8080 2.连接远程系统 ncat IP_address port_number 如 ncat -C 192.168 阅读全文

posted @ 2020-02-24 10:52 Lemo_wd 阅读(758) 评论(0) 推荐(0)

Flink 分布式运行时

摘要： 1.Job Managers、Task Managers、客户端（Clients） Flink 运行时包含两类进程： JobManagers （也称为 masters）协调分布式计算。它们负责调度任务、协调 checkpoints、协调故障恢复等。每个 Job 至少会有一个 JobManager。阅读全文

posted @ 2020-02-23 09:57 Lemo_wd 阅读(346) 评论(0) 推荐(0)

Flink 编程模型

摘要： 1.流式数据流 Flink程序的基本构建块是流和转换。（请注意，Flink的DataSet API中使用的DataSet也是内部流-稍后将进行更多介绍。）从概念上讲，流是数据记录流（可能永无止境），而转换是将一个或多个流作为一个操作的操作。输入，并因此产生一个或多个输出流。执行时，Flink 阅读全文

posted @ 2020-02-23 09:18 Lemo_wd 阅读(346) 评论(0) 推荐(0)

记一次开发中遇到副作用与幂等问题

摘要：问题代码： private final ConcurrentHashMap<String, List<Region>> store = new ConcurrentHashMap<>(); @Override public List<Region> tree(boolean province) { 阅读全文

posted @ 2020-02-05 10:32 Lemo_wd 阅读(457) 评论(0) 推荐(0)

关于使用 docker 打包 maven 项目

摘要：不要使用 docker:maven 镜像作为基础镜像构建 Dockerfile 。如果非要使用的话，需要将 settings.xml 等文件手动添加到 /usr/share/maven/ref/repository 目录下，再执行构建（因为 docker:maven 镜像默认设定本地仓库为 /us 阅读全文

posted @ 2020-01-12 22:26 Lemo_wd 阅读(3332) 评论(0) 推荐(0)

消息队列客户端开发向导（基于 Spring 的 amqp 实现）

摘要：上篇文章 RabbitMQ 入门通过 4个基本实例展示了 RabbitMQ 的基本用法。下面，继续介绍相关的 API 1.声明交换器几个常见交换器都是实现的 Exchange，该接口有几个重要属性 //交换器名称 String name; //交换器类型 String type; //是否可持久阅读全文

posted @ 2019-12-30 21:10 Lemo_wd 阅读(373) 评论(0) 推荐(0)