Lemo_wd - 博客园

Flink 操作 —— 计算函数

摘要：一、窗口流 WindowedStream 通常由 keyedStream + windowAssigner函数生成。运行时将与 KeyedStream 和窗口上的操作合并为一个操作。 aggregate 用于按字段或者按位置（元组）对流聚合/分组 private def aggregate(aggr 阅读全文

posted @ 2020-04-06 09:33 Lemo_wd 阅读(1672) 评论(0) 推荐(0)

Flink 基础概念 —— 窗口(续)

摘要：内置方法 WindowedStream 通过 KeyedStream 可以直接创建 Count Window和 Time Window。他们最终都是基于 window(WindowAssigner)方法创建，在window方法中创建 WindowedStream实例，参数使用当前的 KeyedStr 阅读全文

posted @ 2020-03-31 08:38 Lemo_wd 阅读(763) 评论(0) 推荐(0)

Flink 基础概念 —— 窗口

摘要：时间概念事件时间、处理时间与进入时间（进入处理系统的时间)。有些程序（如预警程序）允许小的误差（事件迟到），并且希望尽快得到结果，考虑使用处理时间语义。欺诈检测系统或账单系统对准确性要求高，只有在时间窗口内发生的事件才能被算进来，考虑使用事件时间语义。窗口 1.时间窗口时间窗口是最简单和最阅读全文

posted @ 2020-03-28 18:00 Lemo_wd 阅读(577) 评论(0) 推荐(0)

es 基础概念总结 —— Query DSL

摘要：一、query DSL 叶子查询于特定字段查询特定值。如 match, term 或 range 查询复合查询包装其它叶子查询或复合查询。如使用 bool or dis_max 混合多个查询 match_all GET /_search { "query": { "match_all": {} 阅读全文

posted @ 2020-03-21 08:47 Lemo_wd 阅读(474) 评论(0) 推荐(0)

es 基础概念总结 —— URI Search

摘要：搜索 API GET /<index>/_search POST /<index>/_search GET /_search POST /_search 同时在多个索引上查询 # 单个索引： GET /twitter/_search?q=tag:wow # 多个索引： GET /kimchy,ela 阅读全文

posted @ 2020-03-18 08:28 Lemo_wd 阅读(465) 评论(0) 推荐(0)

es 基础概念总结 —— 索引

摘要：一、基本 CRUD 增 Index PUT /<index>/_doc/<_id> POST /<index>/_doc/ 查 Get GET <index>/_doc/<_id> 删 Delete DELETE /<index>/_doc/<_id> 改 Update POST /<index>/ 阅读全文

posted @ 2020-03-17 21:25 Lemo_wd 阅读(237) 评论(0) 推荐(0)

es 基础概念总结 —— 自定义分析器

摘要：一、分析器 analyzer 包括 1.字符过滤器 character filter 比如去除HTML标记，或者转化“&”为“and” 2.分词器 tokenizer 比如按空格分词 3.词单元标准化过滤器 token filter 如大小写转换，去掉停用词，增加同义词二、内置分析器标准分析器阅读全文

posted @ 2020-03-17 21:00 Lemo_wd 阅读(476) 评论(0) 推荐(0)

es 基础概念总结 —— 映射

摘要：索引 index 创建索引 PUT test/_doc/1 { "count": 5, "date": "2015/09/02" } 查看索引 GET _cat/indices?v 发现当前索引状态为 yellow, 副本数 rep是 1。这是由于单机状态不需要设置副本，因此将其改成 0 就正常了。阅读全文

posted @ 2020-03-17 09:41 Lemo_wd 阅读(465) 评论(0) 推荐(0)

流处理技术的演变

摘要： lambda 架构对低成本规模化的需求促使人们开始使用分布式文件系统，例如 HDFS 和基于批量数据的计算系统（MapReduce 作业）。但是这种系统很难到低延迟。用 Storm 开发的实时流处理技术可以帮助解决延迟性的问题，但并不完美。其中的一个原因是，Storm 不支持 exactly 阅读全文

posted @ 2020-03-09 19:54 Lemo_wd 阅读(393) 评论(0) 推荐(0)

netcat 命令学习

摘要：一、安装 gnu-netcat 不支持 ipv6，简化命令 nc nmap 实现的 ncat 二、例子 1.监听入站连接 ncat -l port_number 如 ncat -l 8080 2.连接远程系统 ncat IP_address port_number 如 ncat -C 192.168 阅读全文

posted @ 2020-02-24 10:52 Lemo_wd 阅读(791) 评论(0) 推荐(0)