Mr.Yan

摘要： 什么是ElasticSearch ElasticSearch是一款非常强大的、基于Lucene的开源搜索及分析引擎；它是一个实时的分布式搜索分析引擎，它能让你以前所未有的速度和规模，去探索你的数据。 它在用作全文检索、结构化搜索、分析以及这三个功能的组合： Wikipedia使用ElasticSea 阅读全文

摘要： Flink Uid设计剖析 首先我们先了解一下flink 是如何将应用状态映射到数据集的 一个flink job通常由一个或多个source operators、一些处理计算的operators、和一个或者多个sink oper组成。每个operators在一个或者多个task中并行运行，并且使用不 阅读全文

摘要： Bundled Examples Flink 不同的api详细例子 DataStream applications ( "Java" / "Scala" ) DataSet applications ( "Java" / "Scala" ) Table API / SQL queries ( "Ja 阅读全文

摘要： 下载并启动flink 运行flink，唯一的前置要求是就是安装了java8。 可以本地查看命令： 如果是安装了java8，则输出的命令则类似于： 对于mac系统，可以通过Homebrew来安装 启动本地的flink集群 你可以检查 http://localhost:8081，是否有页面正常可以访问。 阅读全文

摘要： 设置一个maven项目 使用maven 创建一个flink项目，使用下面命令： 可以根据需要编辑groupid artifactId 和 package，目录项目结构如下： 这是项目已经创建了一些样例代码，我们可以直接删除这些样例代码结构在src/main/java 最后我们需要添加一些我们程序需要 阅读全文

摘要： 目的：根据条件 输出指定条件的文件 例如： awk输出文件名长度为32 的文件 ls | awk F ':' '{ if(length($0) == 32) {print $0} }' 在结合 rm 去删除上面的文件夹 ls | awk F ':' '{ if(length($0) == 32) { 阅读全文

摘要： 使用Akka，所有远程过程调用现在都实现为异步消息。 这主要影响JobManager，TaskManager和JobClient的组件。 将来，甚至可能会将更多的组件转换为参与者，从而允许它们发送和处理异步消息。 Akka and the Actor Model Akka是开发并发，容错和可扩展应用 阅读全文

摘要： 状态如何保存和恢复 1.定时制作分布式快照，对程序中的状态进行备份 2.发生故障时： 将整个作业中所有的task都回滚到最后一次成功的checkpoint中的状态，然后从那个点开始执行； 3.必要条件：数据支持重发的 4.一致性语句：恰好一次， 至少一次 checkpoint执行机制 1.check 阅读全文

摘要： 抽象层次 flink提供不同级别的抽象来开发流/批处理应用程序。 最低级抽象只提供有状态流。它通过 Process Function嵌入到DataStream中。它允许用户自由处理来自一个或多个流的事件，并使用一致的容错状态。此外，用户可以注册事件时间和处理时间回调，允许程序实现复杂的计算。 实际上 阅读全文

摘要： 通过反射实现 import java.lang.reflect.Field; import java.lang.reflect.Method; import java.util.Collections; import java.util.Comparator; import java.util.Da 阅读全文