摘要：
概论 结构化流式查询使用微批处理引擎进行处理，该引擎将数据流作为一系列小批量作业处理，从而实现低至100毫秒的端到端延迟和完全一次的容错保证。但是，自Spark 2.3以来，我们引入了一种称为连续处理的新型低延迟处理模式，它可以实现低至1毫秒的端到端延迟，并且具有至少一次的保证。 编程模型 结构化流 阅读全文
posted @ 2020-09-07 10:53
大鹏o
阅读(461)
评论(0)
推荐(0)
摘要：
Spark的join操作可能触发shuffle操作。shuffle操作要经过磁盘IO，网络传输，对性能影响比较大。本文聊一聊Spark的join在哪些情况下可以避免shuffle过程。 1 DataFrame/Dataset的join如何避免shuffle 针对Spark DataFrame/Dat 阅读全文
posted @ 2020-09-07 10:51
大鹏o
阅读(956)
评论(0)
推荐(0)
摘要：
本篇文章将以问答的方式对Executor的启动进行分析。 1. executor在什么时候开始启动？ 新app的加入和集群资源的变动将调用到Master的schedule方法， 这个时候会进行startExecutorsOnWorkers()进行executor的调度和启动。 （资源申请的是在 ap 阅读全文
posted @ 2020-09-07 10:50
大鹏o
阅读(463)
评论(0)
推荐(0)
摘要：
配置Git 配置GitHub 配置账户 日常使用 初始化 创建Git仓库，位置选择当前项目根目录，完成后，文件名会变成褐色 忽略一些不需要提交的东西 修改.git\info\exclude添加需要忽略的配置已忽略的文件在IDEA中会置灰 添加到缓存区 右键项目→Git→Add，完成后，文件名会变绿 阅读全文
posted @ 2020-09-07 10:48
大鹏o
阅读(617)
评论(0)
推荐(0)
摘要：
为什么需要版本控制 git和svn都是程序员用来管理代码的，如果是一个人开发一个项目，版本控制这个玩意儿根本用不上，对吧。但是呢，在企业中进行开发，一个人负责一个项目的情况几乎不可能，从需求评审，UI设计，前端开发，后台开发，测试，整个过程都是需要团队来配合的。这个时候呢，版本控制都显得尤为重要啦。 阅读全文
posted @ 2020-09-07 10:46
大鹏o
阅读(145)
评论(0)
推荐(0)
摘要：
Flink on Yarn模式部署始末：Flink的Standalone和on Yarn模式都属于集群运行模式，但是有很大的不同，在实际环境中，使用Flink on Yarn模式者居多。 那么使用on yarn模式到底好在哪呢？ 首先，在集群运行时，可能会有很多的集群实例包括MapReduce、Sp 阅读全文
posted @ 2020-09-07 10:45
大鹏o
阅读(3661)
评论(0)
推荐(0)
摘要：
Flink项目是大数据处理领域最近冉冉升起的一颗新星，其不同于其他大数据项目的诸多特性吸引了越来越多的人关注Flink项目。本文将深入分析Flink一些关键的技术与特性，希望能够帮助读者对Flink有更加深入的了解，对其他大数据系统的开发者也能有所裨益。 Flink简介 Flink的核心是一个流式的 阅读全文
posted @ 2020-09-07 10:40
大鹏o
阅读(250)
评论(0)
推荐(0)
摘要：
概念和基础篇 1. 简单介绍一下Flink Flink核心是一个流式的数据流执行引擎，其针对数据流的分布式计算提供了数据分布、数据通信以及容错机制等功能。基于流执行引擎，Flink提供了诸多更高抽象层的API以便用户编写分布式任务： DataSet API， 对静态数据进行批处理操作，将静态数据抽象 阅读全文
posted @ 2020-09-07 10:37
大鹏o
阅读(1081)
评论(0)
推荐(0)
浙公网安备 33010602011771号