文章分类 -  大数据相关

上一页 1 2 3 4 5 6 下一页
大数据相关
Flink知识点
摘要：来源于：https://www.cnblogs.com/lcmichelle/p/10742912.html 1. Flink、Storm、Sparkstreaming对比 Storm只支持流处理任务，数据是一条一条的源源不断地处理，而MapReduce、spark只支持批处理任务，spark-st 阅读全文
posted @ 2020-02-27 01:39 苦行者的刀 阅读(592) 评论(0) 推荐(0)
Kafka与Flink集成
摘要：来源于： https://www.cnblogs.com/huxi2b/p/7219792.html 阅读目录 1. 目标 2. 环境准备 3. 创建Flink Streaming工程 4. 增加kafka和kafka-connector依赖 5. 启动Flink环境（本例使用local测试环境） 阅读全文
posted @ 2020-02-27 01:01 苦行者的刀 阅读(257) 评论(0) 推荐(0)
【译】Flink + Kafka 0.11端到端精确一次处理语义的实现
摘要：来源于： https://www.cnblogs.com/huxi2b/p/8459342.html 本文是翻译作品，作者是Piotr Nowojski和Michael Winters。前者是该方案的实现者。 原文地址是https://data-artisans.com/blog/end-to-en 阅读全文
posted @ 2020-02-27 00:58 苦行者的刀 阅读(197) 评论(0) 推荐(0)
【译】Apache Flink Kafka consumer
摘要：来源于：https://www.cnblogs.com/huxi2b/p/7456936.html 阅读目录 DeserializationSchema Kafka consumer起始位移配置 Kafka consumer容错性 Kafka consumer位移提交 Kafka consumer时 阅读全文
posted @ 2020-02-27 00:53 苦行者的刀 阅读(573) 评论(0) 推荐(0)
Flink 零基础实战教程：如何计算实时热门商品
摘要：转载于：https://zhuanlan.zhihu.com/p/69972410 在上一篇入门教程中，我们已经能够快速构建一个基础的 Flink 程序了。本文会一步步地带领你实现一个更复杂的 Flink 应用程序：实时热门商品。在开始本文前我们建议你先实践一遍上篇文章，因为本文会沿用上文的my-f 阅读全文
posted @ 2020-02-18 18:03 苦行者的刀 阅读(312) 评论(0) 推荐(0)
Flink零基础实战教程：股票价格数据流处理
摘要：转载于： https://zhuanlan.zhihu.com/p/96912630 使用WordCount展示了Flink程序的基本结构，本文将以股票价格案例来演示如何使用Flink的DataStream API。通过本文，你可以学到： 定义相关数据结构。 Flink流处理程序的骨架。 Flink 阅读全文
posted @ 2020-02-18 17:26 苦行者的刀 阅读(851) 评论(0) 推荐(0)
Apache Flink 零基础入门（八）： SQL 编程实践
摘要：Apache Flink 零基础入门（八）： SQL 编程实践 巴蜀真人 2019-08-20 1597浏览量 简介： 本文是 Apache Flink 零基础入门系列文章第八篇，将通过五个实例讲解 Flink SQL 的编程实践。 作者：伍翀（云邪） 本文是 Apache Flink 零基础入门系 阅读全文
posted @ 2020-01-14 15:25 苦行者的刀 阅读(783) 评论(0) 推荐(0)
Apache Flink 零基础入门（七）：Table API 编程
摘要：Apache Flink 零基础入门（七）：Table API 编程 巴蜀真人 2019-09-02 1032浏览量 简介： 本文主要包含三部分：第一部分，主要介绍什么是 Table API，从概念角度进行分析，让大家有一个感性的认识；第二部分，从代码的层面介绍怎么使用 Table API；第三部分 阅读全文
posted @ 2020-01-14 15:22 苦行者的刀 阅读(388) 评论(0) 推荐(0)
Apache Flink 零基础入门教程（六）：状态管理及容错机制
摘要：Apache Flink 零基础入门教程（六）：状态管理及容错机制 巴蜀真人 2019-08-05 4182浏览量 简介： 本文主要分享内容如下：状态管理的基本概念；状态的类型与使用示例；容错机制与故障恢复； **作者：孙梦瑶整理：韩非** 本文主要分享内容如下： 状态管理的基本概念； 状态的类型与 阅读全文
posted @ 2020-01-14 15:20 苦行者的刀 阅读(185) 评论(0) 推荐(0)
Apache Flink 零基础入门（五）：流处理核心组件 Time&Window 深度解析
摘要：Apache Flink 零基础入门（五）：流处理核心组件 Time&Window 深度解析 巴蜀真人 2019-08-05 2322浏览量 简介： 为什么要有 Window； Window 中的三个核心组件：WindowAssigner、Trigger 和 Evictor；Window 中怎么处理 阅读全文
posted @ 2020-01-14 15:19 苦行者的刀 阅读(256) 评论(0) 推荐(0)
Apache Flink 零基础入门（四）：客户端操作的 5 种模式
摘要：Apache Flink 零基础入门（四）：客户端操作的 5 种模式 巴蜀真人 2019-08-05 2102浏览量 简介： 本文主要分享 Flink 的 5 种任务提交的方式。熟练掌握各种任务提交方式，有利于提高我们日常的开发和运维效率。 作者：周凯波（宝牛） 1.环境说明 在前面几期的课程里面讲 阅读全文
posted @ 2020-01-14 15:17 苦行者的刀 阅读(633) 评论(0) 推荐(0)
Apache Flink 零基础入门（三）：DataStream API 编程
摘要：Apache Flink 零基础入门（三）：DataStream API 编程 巴蜀真人 2019-08-05 3916浏览量 简介： 本次课程将首先介绍 Flink 开发中比较核心的 DataStream API 。我们首先将回顾分布式流处理的一些基本概念，这些概念对于理解实际的 DataStre 阅读全文
posted @ 2020-01-14 15:15 苦行者的刀 阅读(185) 评论(0) 推荐(0)
Apache Flink 零基础入门（二）：开发环境搭建和应用的配置、部署及运行
摘要：Apache Flink 零基础入门（二）：开发环境搭建和应用的配置、部署及运行 巴蜀真人 2019-08-05 2527浏览量 简介： 本文主要面向于初次接触 Flink、或者对 Flink 有了解但是没有实际操作过的同学。希望帮助大家更顺利地上手使用 Flink，并着手相关开发调试工作。 作者： 阅读全文
posted @ 2020-01-14 15:14 苦行者的刀 阅读(206) 评论(0) 推荐(0)
Apache Flink 零基础入门（一）：基础概念解析
摘要：Apache Flink 零基础入门（一）：基础概念解析 巴蜀真人 2019-08-05 3023浏览量 简介： 本文是根据 Apache Flink 基础篇系列直播整理而成，由 Apache Flink PMC 戴资力与阿里巴巴高级产品专家陈守元共同分享。Apache Flink 系列入门教程每周 阅读全文
posted @ 2020-01-14 15:13 苦行者的刀 阅读(262) 评论(0) 推荐(0)
kafka自定义消息序列化和反序列化方式
摘要：转自 https://blog.csdn.net/shirukai/article/details/82152172 kafka自定义消息序列化和反序列化方式版本说明： kafka版本：kafka_2.12-2.0.0.tgz pom依赖： <dependency> <groupId>org.apa 阅读全文
posted @ 2020-01-14 15:05 苦行者的刀 阅读(4174) 评论(0) 推荐(0)
在 Flink 算子中使用多线程如何保证不丢数据？
摘要：分析痛点 笔者线上有一个 Flink 任务消费 Kafka 数据，将数据转换后，在 Flink 的 Sink 算子内部调用第三方 api 将数据上报到第三方的数据分析平台。这里使用批量同步 api，即：每 50 条数据请求一次第三方接口，可以通过批量 api 来提高请求效率。由于调用的外网接口，所以 阅读全文
posted @ 2020-01-14 14:47 苦行者的刀 阅读(504) 评论(0) 推荐(0)

上一页 1 2 3 4 5 6 下一页