胜迹寻芳

摘要： Flink作为一个软件栈，是一个分层系统。栈的不同层相互叠加，并提高它们接受的程序表示的抽象级别： 运行时（runtime）层以JobGraph的形式接收程序。JobGraph是一个通用的并行数据流，其中包含消费数据流和生成数据流的任务。 DataStream API和DataSet API都可以通 阅读全文

摘要： 本篇我们介绍下，Flink在YARN上运行流程： 注意事项： 客户端：这里的客户端就是用户提交Flink应用的节点。 ApplicationMaster和JobManager运行同一个container中；因此ApplicationMaster，生成新的配置文件时，就知道JobManager的信息， 阅读全文

摘要： Distributed Runtime Environment（分布式运行环境） Tasks and Operator Chains 在分布式执行情况下，Flink将operator subtasks 链接到一起，形成任务（task）。每个任务（subtask）由一个线程执行。将operator s 阅读全文

摘要： 一、Hive介绍： Apache Hive能够使用SQL读取，写入和管理持久化在分布式存储(比如HDFS)中的大型数据集。 可以和已经存储好的数据(比如HDFS)建立映射关系。 用户可以使用客户端命令行(hive/beeline2)和JDBC驱动程序和数据进行交互。 定位：离线数据仓库 特性： 1、 阅读全文

摘要： 机器学习概念： 机器学习是一门从数据中研究算法的科学学科。机器学习直白来讲，是根据已有的数据，进行算法选择，并基于算法和数据构建模型，最终对未来进行预测。来看看大佬对机器学习的定义吧，美国卡内基梅隆大学（Carnegie Mellon University）机器学习研究领域的著名教授TomMitch 阅读全文

摘要： scala类库文档 Scala中，最顶端的两个trait是Nothing和Null： Nothing： Nothing是其它任何类型的子类型（包括scala.Null）。Nothing类型没有实例。尽管Nothing类型没有实例，然而它在一些方面也是非常有用的。例如： Null： Null是任何引用 阅读全文

摘要： 序言： Flink系列的文章会一直更新，这里只是参考官方文档，给出一个大概的解释，这里面涉及很多的细节需要划分多个模块单独来讲解，有兴趣的同学还是直接去看官网（官方文档和社区）和源码，这样获取知识最真实。Flink可能会是Spark之后的一个趋势，只说可能哦。据我所知，国内一些大厂已经开始使用Fli 阅读全文

摘要： 4.6 Message Delivery Semantic（消息传递语义） 现在我们了解了生产者和消费者的工作方式，让我们讨论Kafka在生产者和消费者之间提供的语义保证。显然，可以提供多种可能的消息传递保证： 最多一次 -消息可能会丢失，但永远不会被重新发送。 至少一次 -消息永远不会丢失，但可能 阅读全文

摘要： 4 Design（设计、构思）： 4.1 Motivation(Kafka设计动机)： 我们设计Kafka的目标是能够成为一个统一的平台，能够作为处理大公司（就是大数据量，复杂的业务场景）所拥有的实时数据流。为此，我们必须考虑一些使用场景，比如说： 支持这些用途，需要使用到有许多独特元素的设计，它可 阅读全文

摘要： 前文链接： （一）Kafka0.8.2官方文档中文版系列-入门指南 （二）Kafka0.8.2官方文档中文版系列-API Topic-level configuration（主题级别的参数配置） 与主题相关的配置具有全局默认值（参考broker部分）和每个主题可选重写（broker部分有明确提示）。 阅读全文