文章分类 - 大数据相关
大数据相关
摘要：来源于 https://www.cnblogs.com/sodawoods-blogs/p/8969774.html （1）Customer和Customer Group （1）两种常用的消息模型 队列模型（queuing）和发布-订阅模型（publish-subscribe）。 队列的处理方式是一
阅读全文
摘要：来源于 https://blog.csdn.net/qq_34796981/article/details/80777181 事件描述公司使用的是Spring Cloud工作的微服务框架。其中做了SpringBoot和kafka的结合。但是意外的是enable.auto.commit参数设置成了fa
阅读全文
摘要：来源于 https://www.jianshu.com/p/9eba3dfc4b3d 一、zhisheng 个人 Flink 学习博客、简书、GitHub地址 1.1、zhisheng的博客 http://www.54tianzhisheng.cn/ 1.2、zhisheng_blog - 简书 h
阅读全文
摘要：来源于 https://developer.aliyun.com/article/712704 简介： 本文主要分享 Flink 的 5 种任务提交的方式。熟练掌握各种任务提交方式，有利于提高我们日常的开发和运维效率。 作者：周凯波（宝牛） 1.环境说明 在前面几期的课程里面讲过了 Flink 开发
阅读全文
摘要：来源于： https://www.cnblogs.com/smartloli/p/10963221.html 1.前言 目前实时计算的业务场景越来越多，实时计算引擎技术及生态也越来越成熟。以Flink和Spark为首的实时计算引擎，成为实时计算场景的重点考虑对象。那么，今天就来聊一聊基于Kafka的
阅读全文
摘要：来源 https://blog.csdn.net/charry_a/article/details/79892107 一、背景 kafka使用版本为0.10.1.0，今天在测试kafkaConsumer的时候，代码如下 public static void main(String[] args) {
阅读全文
摘要：来源于 https://www.jianshu.com/p/7bbf14996d39 看完了Flink的datasource、sink，也就把一头一尾给看完了，从数据流入到数据流出，缺少了中间的处理环节。 而flink的大头恰恰是只在这个中间环节，如下图： source-transform-sink
阅读全文
摘要：来源于 https://blog.csdn.net/Mark_Chao/article/details/80810030 flatMap的用法和含义住要通过一个案例来讲解， 案例：对给定单词列表 ["Hello","World"],你想返回列表["H","e","l","o","W","r","d"
阅读全文
摘要：来源于 https://blog.csdn.net/lukabruce/article/details/100737292 背景 最近项目中使用Flink消费kafka消息，并将消费的消息存储到mysql中，看似一个很简单的需求，在网上也有很多flink消费kafka的例子，但看了一圈也没看到能解决
阅读全文
摘要：来源于： https://www.cnblogs.com/importbigdata/p/11845631.html 前言一年一度的双11又要到了，阿里的双11销量大屏可以说是一道特殊的风景线。实时大屏（real-time dashboard）正在被越来越多的企业采用，用来及时呈现关键的数据指标。并
阅读全文
摘要：来源于： https://blog.csdn.net/weixin_44575542/article/details/88594773 kafka+flink集成1.目的1.1 Flink简介Apache Flink是一个面向数据流处理和批量数据处理的可分布式的开源计算框架，它基于同一个Flink流
阅读全文
摘要：来源于 https://blog.csdn.net/haitianxueyuan521/article/details/81736155 问题：描述以下是在本地STS中运行Flink 出现的问题。 SLF4J: See http://www.slf4j.org/codes.html#StaticLo
阅读全文
摘要：来源于：https://blog.csdn.net/huzechen/article/details/100140768 Fliter import org.apache.flink.api.common.functions.FilterFunction;import org.apache.flin
阅读全文
摘要：来源于：https://www.cnblogs.com/lcmichelle/p/10742912.html 1. Flink、Storm、Sparkstreaming对比 Storm只支持流处理任务，数据是一条一条的源源不断地处理，而MapReduce、spark只支持批处理任务，spark-st
阅读全文
浙公网安备 33010602011771号