Mars.wang - 博客园

2021年3月26日

摘要：一、转换操作 1.基本转换 #DataStream转换成DataStreammap()filter()flatMap() 2.键值对转换 #将DataStream转换成KeyedStreamkeyBy()#KeyedStream聚合函数sum()min()max()minBy()maxBy()red 阅读全文

posted @ 2021-03-26 16:58 Mars.wang 阅读(134) 评论(0) 推荐(0)

flink检查点算法

摘要：检查点是flink处理分布式任务中故障的重要机制，通过周期性保存任务状态，可以实现在个别任务发生故障时恢复程序的功能。 flink检查点算法中用到了一种名为检查点分隔符的特殊标记，和水位线相似，这些检查点分隔符会通过数据源算子注入到数据流中，每个检查点分隔符都会带有一个编号，这样就把一个数据流从逻辑阅读全文

posted @ 2021-03-26 16:54 Mars.wang 阅读(648) 评论(0) 推荐(0)

2021年3月25日

实时数据采集必备工具debezium

摘要：一、前言随着业务的发展，以往的离线批量计算方式，因为延迟太长已经不能满足需求，随着flink这种实时计算工具的出现，实时采集也成为大数据工作中非常重要的一环。现今企业的数据来源大体分为两种：存储在各种关系数据库中的业务数据、网站或APP产生的用户行为日志数据日志数据通过flume、kafka等阅读全文

posted @ 2021-03-25 17:31 Mars.wang 阅读(3687) 评论(0) 推荐(1)

2021年3月13日

spark经典PDF电子书

摘要：工作之余，我收集了不少spark方面的PDF电子书，书目如下，持续更新中。。。很多都是经典，不敢独享，跟大家分享下。有需要的请关注文末的微信公众号，发送消息“spark电子书”获取下载链接《learning spark》《learning sparkstreaming》《Machine L 阅读全文

posted @ 2021-03-13 10:47 Mars.wang 阅读(2017) 评论(0) 推荐(0)

软件工程、编程语言经典PDF电子书

摘要：工作之余，我收集了不少软件工程和编程语言方面的PDF电子书，书目如下，持续更新中。。。很多都是经典，不敢独享，跟大家分享下。有需要的请关注文末的微信公众号，发送消息“软件工程编程语言电子书”获取下载链接《需求分析与系统设计》《软件需求》《软件工程-实践者的研究方法》《软件测试》《C++ 阅读全文

posted @ 2021-03-13 10:23 Mars.wang 阅读(684) 评论(0) 推荐(0)

数据库系统方面经典PDF电子书

摘要：工作之余，我收集了不少数据库方面的PDF电子书，书目如下，持续更新中。。。很多都是经典，不敢独享，跟大家分享下。有需要的请关注文末的微信公众号，发送消息“数据库电子书”获取下载链接《数据库系统实现》《数据库系统设计实现与管理》《数据库系统概念》《数据库系统基础教程》阅读全文

posted @ 2021-03-13 10:20 Mars.wang 阅读(829) 评论(0) 推荐(0)

计算机网络类经典PDF电子书

摘要：工作之余，我收集了不少计算机网络方面的PDF电子书，书目如下，持续更新中。。。很多都是经典，不敢独享，跟大家分享下。有需要的请关注文末的微信公众号，发送消息“计算机网络电子书”获取下载链接一本书读懂TCP/IP 计算机网络自顶向下方法 java网络编程阅读全文

posted @ 2021-03-13 10:11 Mars.wang 阅读(1070) 评论(0) 推荐(0)

2021年3月12日

计算机系统、文化、概论、导论类经典PDF电子书合集

摘要：工作之余，收集了不少计算机入门、计算机系统的电子书，持续更新中。。。不敢独享，跟大家分享一下。有兴趣的请关注文末微信公众号，发送消息“计算机系统电子书”获取下载链接。计算机文化导论计算机文化计算机科学概论计算机系统概论计算机组成与体系结构性能设计深入理解计算机系统系统分析与设计方法阅读全文

posted @ 2021-03-12 21:24 Mars.wang 阅读(674) 评论(0) 推荐(0)

大数据hadoop,spark,flink等经典电子书PDF下载

摘要：工作之余，我收集了不少大数据方面的PDF电子书，书目如下，持续更新中。。。很多都是经典，不敢独享，跟大家分享下。有需要的请关注文末的微信公众号，发送消息“大数据电子书”获取下载链接 Hadoop权威指南 hive编程指南 HBase权威指南 HBase实战 spark权威指南基于Apache f 阅读全文

posted @ 2021-03-12 20:58 Mars.wang 阅读(1449) 评论(0) 推荐(0)

2021年3月10日

spark权威指南PDF下载

摘要：关注微信号，发送消息“spark权威指南”获取下载链接阅读全文

posted @ 2021-03-10 09:06 Mars.wang 阅读(5831) 评论(0) 推荐(0)