摘要:Flink窗口背景 Flink认为Batch是Streaming的一个特例,因此Flink底层引擎是一个流式引擎,在上面实现了流处理和批处理。而Window就是从Streaming到Batch的桥梁。通俗讲,Window是用来对一个无限的流设置一个有限的集合,从而在有界的数据集上进行操作的一种机制。 阅读全文
posted @ 2021-05-31 00:35 Hoult丶吴邪 阅读(310) 评论(0) 推荐(2) 编辑
摘要:介绍 大概4月,Flink1.13就发布了,参加 了Flink1.13 的Meetup,收获还是挺多,从大的方面讲就是FlingSql的改进和优化,资源调度管理方面的优化,以及流批一体Flink在运行时与DataStream API的优化,另外就是State backend 模块的优化,本篇文章既是 阅读全文
posted @ 2021-05-22 23:40 Hoult丶吴邪 阅读(494) 评论(0) 推荐(0) 编辑
摘要:Flink主要用来处理数据流,所以从抽象上来看就是对数据流的处理,正如前面大数据开发-Flink-体系结构 && 运行架构提到写Flink程序实际上就是在写DataSource、Transformation、Sink. DataSource是程序的数据源输入,可以通过StreamExecutionE 阅读全文
posted @ 2021-05-12 00:47 Hoult丶吴邪 阅读(447) 评论(2) 推荐(0) 编辑
摘要:1.连接mysql --driver-class-path mysql-connector-java-5.1.21.jar 在数据库中,SET GLOBAL binlog_format=mixed; 2.Spark中 使用Hive的udf 同样使用—jars 才行 3.Spark jupyter使用 阅读全文
posted @ 2021-03-07 22:50 Hoult丶吴邪 阅读(89) 评论(0) 推荐(0) 编辑
摘要:1.union 和 union all 前者可以去重 select sex,address from test where dt='20210218' union all select sex,address from test where dt='20210218'; + + +--+ | sex 阅读全文
posted @ 2021-03-07 19:43 Hoult丶吴邪 阅读(68) 评论(0) 推荐(0) 编辑
摘要:前面一篇讲到streamin读取kafka数据加工处理后写到kafka数据,大数据开发-Spark-开发Streaming处理数据 && 写入Kafka是针对比如推荐领域,实时标签等场景对于实时处理结果放到mysql也是一种常用方式,假设一些车辆调度的地理位置信息处理后写入到mysql 1.说明 数 阅读全文
posted @ 2021-02-28 13:02 Hoult丶吴邪 阅读(88) 评论(0) 推荐(0) 编辑
摘要:算法 - 链表操作题目套路 前面这一篇文章主要讲链表操作时候的实操解决方式,本文从本质讲解链表操作的元信息,学完后,再也不怕链表操作题目了。 1.链表的基本操作 链表的基本操作无外乎插入,删除,遍历 插入的化,要考虑到前驱节点和后继节点,记住下面的伪代码 nex = 当前节点.next 当前节点.n 阅读全文
posted @ 2021-02-27 23:36 Hoult丶吴邪 阅读(56) 评论(0) 推荐(0) 编辑
摘要:Hive作为大数据领域常用的数据仓库组件,在设计和开发阶段需要注意效率。影响Hive效率的不仅仅是数据量过大;数据倾斜、数据冗余、job或I/O过多、MapReduce分配不合理等因素都对Hive的效率有影响。对Hive的调优既包含对HiveQL语句本身的优化,也包含Hive配置项和MR方面的调 整 阅读全文
posted @ 2021-02-23 17:43 Hoult丶吴邪 阅读(433) 评论(0) 推荐(1) 编辑
摘要:1.为什么是json4s 从json4s的官方描述 At this moment there are at least 6 json libraries for scala, not counting the java json libraries. All these libraries have 阅读全文
posted @ 2021-02-23 11:38 Hoult丶吴邪 阅读(390) 评论(0) 推荐(0) 编辑
摘要:1.user ss is currently user by process 3234 问题原因:root --> ss --> root 栈递归一样 解决方式:exit 退出当前到ss再退出到root 然后执行命令即可。 2.列出某目录下的目录而不是文件 参考:ls --https://jingy 阅读全文
posted @ 2021-02-20 10:46 Hoult丶吴邪 阅读(66) 评论(0) 推荐(0) 编辑