随笔分类 -  大数据部分

1 2 3 下一页
flink双流join
摘要：一. 基本概念(https://blog.csdn.net/xianzhen376/article/details/89810958) 双流Join是Flink面试的高频问题。一般情况下说明以下几点就可以hold了： 1.join大体分类有两种：window join和interval join。w 阅读全文
posted @ 2020-07-09 23:23 一y样 阅读(1768) 评论(0) 推荐(0)
canal从mysql拉取数据，并以protobuf的格式往kafka中写数据
摘要：大致思路： canal去mysql拉取数据，放在canal所在的节点上，并且自身对外提供一个tcp服务，我们只要写一个连接该服务的客户端，去拉取数据并且指定往kafka写数据的格式就能达到以protobuf的格式往kafka中写数据的要求。 1. 配置canal（/bigdata/canal/con 阅读全文
posted @ 2020-07-09 00:09 一y样 阅读(1780) 评论(0) 推荐(1)
flink-----实时项目---day09-------1.Flink执行计划图
摘要：druid 阅读全文
posted @ 2020-07-03 22:18 一y样 阅读(292) 评论(0) 推荐(0)
flink-----实时项目---day08-------
摘要：flinkSql，flinkTable 阅读全文
posted @ 2020-07-03 14:35 一y样 阅读(244) 评论(0) 推荐(0)
flink-----实时项目---day07-----1.Flink的checkpoint原理分析 2. 自定义两阶段提交sink（MySQL） 3 将数据写入Hbase（使用幂等性结合at least Once实现精确一次性语义） 4 ProtoBuf
摘要：1.Flink中exactly once实现原理分析 生产者从kafka拉取数据以及消费者往kafka写数据都需要保证exactly once。目前flink中支持exactly once的source不多，有kafka source；能实现exactly once的sink也不多，如kafka s 阅读全文
posted @ 2020-06-30 16:45 一y样 阅读(2552) 评论(2) 推荐(0)
flink-----实时项目---day06-------1. 获取窗口迟到的数据 2.双流join（inner join和left join（有点小问题）） 3 订单Join案例（订单数据接入到kafka，订单数据的join实现，订单数据和迟到数据join的实现）
摘要：1. 获取窗口迟到的数据 主要流程就是给迟到的数据打上标签，然后使用相应窗口流的实例调用sideOutputLateData(lateDataTag)，从而获得窗口迟到的数据，进而进行相关的计算，具体代码见下 WindowLateDataDemo package cn._51doit.flink.d 阅读全文
posted @ 2020-06-28 22:41 一y样 阅读(2016) 评论(0) 推荐(0)
flink-----实时项目---day05-------1. ProcessFunction 2. apply对窗口进行全量聚合 3使用aggregate方法实现增量聚合 4.使用ProcessFunction结合定时器实现排序
摘要：1. ProcessFunction ProcessFunction是一个低级的流处理操作，可以访问所有(非循环)流应用程序的基本构建块: event(流元素) state(容错，一致性，只能在Keyed流中使用) timers(事件时间和处理时间，只能在keyed流中使用) ProcessFunc 阅读全文
posted @ 2020-06-27 12:33 一y样 阅读(1305) 评论(0) 推荐(0)
flink-----实时项目---day04-------1. 案例:统计点击、参与某个活动的人数和次数 2. 活动指标多维度统计（自定义redisSink）
摘要：1. 案例 用户ID,活动ID,时间,事件类型,省份 u001,A1,2019-09-02 10:10:11,1,北京市 u001,A1,2019-09-02 14:10:11,1,北京市 u001,A1,2019-09-02 14:10:11,2,北京市 u002,A1,2019-09-02 14 阅读全文
posted @ 2020-06-25 23:44 一y样 阅读(1294) 评论(1) 推荐(1)
flink---实时项目----day03---1.练习讲解（全局参数，数据以parquet格式写入hdfs中） 2 异步查询 3 BroadcastState
摘要：1 练习讲解(此处自己没跑通，以后debug) 题目见flink 实时项目 day02 kafka中的数据，见day02的文档 GeoUtils package cn._51doit.flink.day07; import ch.hsr.geohash.GeoHash; import com.ali 阅读全文
posted @ 2020-06-23 23:26 一y样 阅读(1097) 评论(0) 推荐(0)
flink---实时项目--day02-----1. 解析参数工具类 2. Flink工具类封装 3. 日志采集架构图 4. 测流输出 5. 将kafka中数据写入HDFS 6 KafkaProducer的使用 7 练习
摘要：1. 解析参数工具类（ParameterTool） 该类提供了从不同数据源读取和解析程序参数的简单实用方法，其解析args时，只能支持单只参数。 用来解析main方法传入参数的工具类 public class ParseArgsKit { public static void main(String 阅读全文
posted @ 2020-06-21 11:45 一y样 阅读(1171) 评论(0) 推荐(0)
flink---实时项目--day01--1. openrestry的安装 2. 使用nginx+lua将日志数据写入指定文件中 3. 使用flume将本地磁盘中的日志数据采集到的kafka中去
摘要：1. openrestry的安装 OpenResty = Nginx + Lua，是⼀一个增强的Nginx，可以编写lua脚本实现⾮非常灵活的逻辑 （1）安装开发库依赖 yum install -y pcre-devel openssl-devel gcc curl （2）配置yum的依赖源 yum 阅读全文
posted @ 2020-06-20 23:39 一y样 阅读(855) 评论(0) 推荐(0)
flink04 -----1 kafkaSource 2. kafkaSource的偏移量的存储位置 3 将kafka中的数据写入redis中去 4 将kafka中的数据写入mysql中去
摘要：1. kafkaSource 见官方文档 2. kafkaSource的偏移量的存储位置 默认存在kafka的特殊topic中，但也可以设置参数让其不存在kafka的特殊topic中 3 将kafka中的数据写入redis中去 redisSink不支持exactly Once，只支持AtLeast 阅读全文
posted @ 2020-06-19 22:14 一y样 阅读(616) 评论(0) 推荐(0)
flink03-----1.Task的划分 2.共享资源槽 3.flink的容错
摘要：1. Task的划分 在flink中，划分task的依据是发生shuffle（也叫redistrubute），或者是并行度发生变化 1. wordcount为例 package cn._51doit.flink.day03; import org.apache.flink.api.common.fu 阅读全文
posted @ 2020-06-17 22:33 一y样 阅读(2103) 评论(0) 推荐(0)
flink02------1.自定义source 2. StreamingSink 3 Time 4窗口 5 watermark
摘要：1.自定义sink 在flink中，sink负责最终数据的输出。使用DataStream实例中的addSink方法，传入自定义的sink类 定义一个printSink()，使得其打印显示的是真正的task号（默认的情况是task的id+1） MyPrintSink package cn._51doi 阅读全文
posted @ 2020-06-16 22:45 一y样 阅读(380) 评论(0) 推荐(0)
flink01--------1.flink简介 2.flink安装 3. flink提交任务的2种方式 4. 4flink的快速入门 5.source 6 常用算子（keyBy，max/min，maxBy/minBy，connect，union，split+select）
摘要：1. flink简介 1.1 什么是flink Apache Flink是一个分布式大数据处理引擎，可以对有限数据流（如离线数据）和无限流数据及逆行有状态计算（不太懂）。可以部署在各种集群环境，对各种大小的数据规模进行快速计算。 1.2 flink的架构体系 具体见文档 2. flink的安装 修改 阅读全文
posted @ 2020-06-15 23:26 一y样 阅读(638) 评论(0) 推荐(2)
大数据学习day39----数据仓库02------1. log4j 2. 父子maven工程（子spring项目的创建）3.项目开发（埋点日志预处理-json数据解析、清洗过滤、数据集成实现、uid回补）
摘要：1. log4j（具体见log4j文档） log4j是一个java系统中用于输出日志信息的工具。log4j可以将日志定义成多种级别：ERROR / WARN / INFO / DEBUG log4j通过获取到一个logger对象来输出日志： val logger = Logger.getLogger 阅读全文
posted @ 2020-03-13 23:52 一y样 阅读(316) 评论(0) 推荐(0)
大数据学习day38----数据仓库01-----区域字典的生成
摘要：更多内容见文档 1. 区域字典的生成 mysql中有如下表格数据 现要将这类数据转换成（GEOHASH码， 省，市，区）如下所示 （1）第一步：在mysql中使用sql语句对表格数据进行整理（此处使用到了自关联，具体见文档大数据学习day03） create table area_dict as S 阅读全文
posted @ 2020-03-12 22:08 一y样 阅读(290) 评论(0) 推荐(0)
大数据学习day37-----flume03------1 flume复习梳理 2.吞吐量调优 3. 吞吐量调优实战 4Flume自定义扩展组件（自定义拦截器和source） 5综合案例
摘要：1 flume复习梳理 （1）flume是什么？ flume是一个分布式、高可用的数据采集系统 （2）flume主要适用于哪些场景 日志文件的采集 kafka数据的采集 说明：本质上来说，flume可以读取任何数据源，然后传到任何一个数据存储。读不同的数据源有不同的source实现组件来适配，写入不 阅读全文
posted @ 2020-03-09 16:26 一y样 阅读(671) 评论(0) 推荐(0)
大数据学习day36-----flume02--------1.avro source和kafka source 2. 拦截器（Interceptor） 3. channel详解 4 sink 5 slector（选择器）6 sink processor
摘要：1.avro source和kafka source 1.1 avro source avro source是通过监听一个网络端口来收数据，而且接受的数据必须是使用avro序列化框架序列化后的数据。avro是一种序列化框架，并且是跨语言的。 扩展：什么是序列化，什么是序列化框架？ 序列化：是将一个有 阅读全文
posted @ 2020-03-04 19:02 一y样 阅读(498) 评论(0) 推荐(0)
大数据学习day35----flume01-------1 agent（关于agent的一些问题），2 event，3 有关agent和event的一些问题，4 transaction(事务控制机制)，5 flume安装 6.Flume入门案例
摘要：具体见文档，以下只是简单笔记（内容不全） 1.agent Flume中最核心的角色是agent，flume采集系统就是由一个个agent连接起来所形成的一个或简单或复杂的数据传输通道。对于每一个Agent来说,它就是一个独立的守护进程(JVM),它负责从数据源接收数据，并发往下一个目的地，如下图所示 阅读全文
posted @ 2020-03-02 10:43 一y样 阅读(525) 评论(0) 推荐(0)

1 2 3 下一页