dlimeng

摘要： 一.调度 Flink通过Task Slots来定义执行资源。每个TaskManager有一到task slot，每个task slot可以运行一条由多个并行task组成的流水线。这样一条流水线由多个连续的task组成，比如并行度n的MapFunction和并行度为n的ReduceFunction。需 阅读全文

摘要： 一.简介 Flink是一个用于状态化并行流处理的分布式系统。分布式系统需要应对的常见挑战包括分配合管理集群计算资源，进程协调，持久且高可用的数据存储及故障恢复等等。 Flink在已经有的集群基础设施和服务之上专注于它的核心功能——分布式数据流处理。Flink和很多集群管理器（Yarn、Kuberne 阅读全文

摘要： 当今应用多是类微服务架构，每个服务解耦，只处理一种逻辑，服务之间的调用为了实现异步和解耦，通过提交事件后再由服务分发消费的形式完成。 这使得事件的分发消费算法需要处理大量不同种类的事件，这些事件在紧急程度、预计执行时间、是否可放弃等方面具有不同的要求，而且事件抵达的高峰与低谷之间的差距非常大，处于难 阅读全文

摘要： 一.服务库 本文分析Hadoop2.6源码，生命周期长的对象，Yarn采用基于服务的对象管理模型对其进行管理。 特点 将每个被服务化的对象分为4个状态：NOTINITED(被创建)、INITED（已初始化）、STARTED（已启动）、STOPPED（停止）。任何服务状态变化都可以出发另外一些动作。可 阅读全文

摘要： 一.简介 CDH除了能够管理自生所提供的一些大数据相关服务外，还允许将第三方服务添加到CDH集群（托管在CDH上）。你需要做的就是按照一定的规则流程制作相关程序包，最后发布到CDH上。虽然过程并不困难，但是手动操作尤其是一些关键配置容易出错，往往导致最终服务无法正常在CDH上安装运行。 二.cm_e 阅读全文

摘要： 链表指针转动，很容易转晕，介绍其中有几个常见的技巧。 一.指针/引用含义 指针/引用，实际上都是存储所指对象内存。 将某个变量赋值给指针，实际上就是将这个变量的地址赋值给指针，或者反过来说，指针中存储了这个变量的内存地址，指向了这个变量，通过指针就能找到这个变量。 二.指针丢失和内存泄漏 插入节点时 阅读全文

摘要： 一.简介 链表在初始化时仅需要分配一个元素的存储空间，并且插入和删除新的元素也相当便捷，同时链表在内存分配上可以是不连续的内存，也不需要做任何内存复制和重新分配的操作，由此看来顺序表的缺点在链表中都变成了优势，实际上也是如此，当然链表也有缺点，主要是在访问单个元素的时间开销上。 二.LRU 缓存是一 阅读全文

摘要： 一.图简介 图数据结构可以很好的展示关联关系，关联性计算是大数据计算核心，Pregel是一种基于BSP模型实现的并行图处理系统。主要用于图遍历（BFS）、最短路径（SSSP）、PageRank计算等等计算。 二.模型 2.1 简介 Pregel计算模型，输入是一个有向图，该有向图每个顶点（Verte 阅读全文

摘要： 文章目录 一.简介 二.环境 三.flink-shaded 四.flink 五.测试 六.下载 一.简介 Flink 1.10.0 正式宣告发布！作为 Flink 社区迄今为止规模最大的一次版本升级，Flink 1.10 容纳了超过 200 位贡献者对超过 1200 个 issue 的开发实现，包含 阅读全文

摘要： 一.简介 一种通过网络从远程计算机程序上请求服务，而不需要了解底层网络技术的协议。RPC协议假定某些传输协议的存在，如TCP或UDP，为通信程序之间携带信息数据。在OSI网络通信模型中，RPC跨越了传输层和应用层。RPC使得开发包括网络分布式程序在内的应用程序更加轻易。 （Hadoop 2.6版本） 阅读全文