摘要：
简介： 作为 Dataflow 模型的最早采用者之一，Apache Flink 在流批一体特性的完成度上在开源项目中是十分领先的。本文将基于社区资料和笔者的经验，介绍 Flink 目前（1.10）流批一体的现状以及未来的发展规划。 自 Google Dataflow 模型被提出以来，流批一体就成为分 阅读全文
posted @ 2021-09-28 09:56
ludongguoa
阅读(3602)
评论(0)
推荐(0)
摘要：
到目前为止，我们一直在从pipeline开发者的角度研究流处理，第二章介绍了watermarks，回答了计算什么时间范围内的数据以及什么时候将处理结果物化等基本问题。在本章中，我们将从流处理系统的底层机制的角度来看同样的问题。研究这些机制将帮助我们理解和应用有关watermarks的概念。我们将讨论 阅读全文
posted @ 2021-09-28 09:55
ludongguoa
阅读(105)
评论(0)
推荐(0)
摘要：
文章整理 ：加米谷大数据 本文将从大数据架构变迁历史，Pravega 简介，Pravega 进阶特性以及车联网使用场景这四个方面介绍 Pravega，重点介绍 DellEMC 为何要研发 Pravega，Pravega 解决了大数据处理平台的哪些痛点以及与 Flink 结合会碰撞出怎样的火花。 大数 阅读全文
posted @ 2021-09-28 09:54
ludongguoa
阅读(353)
评论(0)
推荐(0)
摘要：
2015 年 HTTP/2 标准发表后，大多数主流浏览器也于当年年底支持该标准。此后，凭借着多路复用、头部压缩、服务器推送等优势，HTTP/2 得到了越来越多开发者的青睐，不知不觉的 HTTP 已经发展到了第三代。本文基于兴趣部落接入 HTTP/3 的实践，聊一聊 HTTP/3 的原理以及业务接入的 阅读全文
posted @ 2021-09-28 09:53
ludongguoa
阅读(90)
评论(0)
推荐(0)
摘要：
Flink作为新一代的大数据处理引擎，不仅是业内公认的最好的流处理引擎，而且具备机器学习等多种强大计算功能，用户只需根据业务逻辑开发一套代码，无论是全量数据还是增量数据，亦或者实时处理，一套方案即可全部解决。K8S是业内最流行的容器编排工具，与docker容器技术结合，可以提供比Yarn与Mesos 阅读全文
posted @ 2021-09-28 09:52
ludongguoa
阅读(1262)
评论(0)
推荐(0)
摘要：
Flink笔记02－－Flink基本概念及架构 1、基本概念 无界和有界数据。任何类型的数据都可以形成一种事件流。信用卡交易、传感器测量、机器日志、网站或移动应用程序上的用户交互记录，所有这些数据都形成一种流。数据可以被作为 无界 或者 有界 流来处理。 无界流 有定义流的开始，但没有定义流的结束。 阅读全文
posted @ 2021-09-28 09:51
ludongguoa
阅读(181)
评论(0)
推荐(0)
摘要：
收获一：公众号写作从高频模式转为精品模式 从前面开始写公众号，作为一个没有任何互联网运营经验的码农，一开始不知道应该如何弄，但不要紧，不管三七二十一，先搞起来再说。 一开始秉承的理念就是，对自己狠一点，一天一篇，无论多晚都要搞定。 无论是底层到linux，云计算，上层到大数据，容器，微服务，能写的都 阅读全文
posted @ 2021-09-28 09:49
ludongguoa
阅读(140)
评论(0)
推荐(0)
摘要：
在上一篇文章以业务为核心的云原生体系建设中，我们给出了一张云原生体系建设的总图，并且从演进的角度讲述了云原生落地的三个阶段。 有的同学留言说，还是不够落地呀，所谓“听了很多道理，还是过不好这一生”，同理“看了很多文章，还是落地不好云原生”。 从今天这一篇开始，我们开始落地篇，从此会进入大量的技术细节 阅读全文
posted @ 2021-09-28 09:48
ludongguoa
阅读(239)
评论(0)
推荐(0)
摘要：
来自Greenplum原厂的Greenplum内核工程师 Hubert Zhang（张桓）与Asim Praveen合作发表了演讲《Distributed Snapshot and Global Deadlock Detector》。在演讲中Hubert通过理论结合实例的方式讲解了Postgres单 阅读全文
posted @ 2021-09-28 09:45
ludongguoa
阅读(534)
评论(0)
推荐(0)
摘要：
今天是机器学习专题的第27文章，我们一起来聊聊数据处理领域的降维(dimensionality reduction)算法。 我们都知道，图片格式当中有一种叫做svg，这种格式的图片无论我们将它放大多少倍，也不会失真更不会出现边缘模糊的情况。原因也很简单，因为这种图片是矢量图，一般的图片存储的是每一个 阅读全文
posted @ 2021-09-28 09:43
ludongguoa
阅读(346)
评论(0)
推荐(0)
浙公网安备 33010602011771号