摘要: # 发士大夫 # 大数据开发-解决Windows下,开发环境常遇的几个问题 # 1.背景 大数据开发的测试环境,很多人不以为然,其实重复的打包,上传,测试虽然每次时间大概也就几分钟,但是积累起了往往会花费很多的时间,但是一个完整的测试环境在生产环境下往往难形成闭环,抛开堡垒机权限不说,hadoop, 阅读全文
posted @ 2023-09-03 19:04 Hoult丶吴邪 阅读(8) 评论(0) 推荐(0) 编辑
摘要: # 大数据开发-从Scala到Akka并发编程 # 大数据开发-从Scala到Akka并发编程 [4-1 Scala作业.pdf](file/4-1 Scala作业_UVqqJLwoIp.pdf) # 1.递归实现瓶盖,瓶子换酒瓶的算法 ## 1.1 需求描述 每瓶啤酒2元,3个空酒瓶或者5个瓶盖可 阅读全文
posted @ 2023-09-03 18:57 Hoult丶吴邪 阅读(4) 评论(0) 推荐(0) 编辑
摘要: # 大数据实战-Hive-技巧实战_2LgaeiFwLs7mCTwG5T3c9M # 大数据实战-Hive-技巧实战 # 1.union 和 union all - 前者可以去重 ```sql select sex,address from test where dt='20210218' unio 阅读全文
posted @ 2023-09-03 18:31 Hoult丶吴邪 阅读(11) 评论(0) 推荐(0) 编辑
摘要: # 使用Nginx做页面采集, Kafka收集到对应Topic_6XwWe5qWHGM2PojVPUSejM # 使用Nginx做页面采集, Kafka收集到对应Topic # 0.架构简介 模拟线上的实时流,比如用户的操作日志,采集到数据后,进行处理,暂时只考虑数据的采集,使用`Html+Jque 阅读全文
posted @ 2023-09-03 18:29 Hoult丶吴邪 阅读(3) 评论(0) 推荐(0) 编辑
摘要: 真正在工作中用Go的时间不久,所以也作为新手,总结了一些常见的问题和坑 Go 中指针使用注意点 // 1.空指针反向引用不合法 package main func main() { var p *int = nil *p = 0 } // in Windows: stops only with: < 阅读全文
posted @ 2021-08-08 14:09 Hoult丶吴邪 阅读(163) 评论(0) 推荐(0) 编辑
摘要: 基于vue(element ui) + ssm + shiro 的权限框架。 领悟,理解,消化它! 引言 心声 现在的Java世界,各种资源很丰富,不得不说,从分布式,服务化,orm,再到前端控制,权限等等玲琅满目,网上有句话说,语言框架迭代太快了,我学不动了,不如回去搬砖吧,可是天这么热,砖烫手啊 阅读全文
posted @ 2021-08-08 12:57 Hoult丶吴邪 阅读(473) 评论(0) 推荐(0) 编辑
摘要: new()和make的区别 二者看起来没什么区别,但是他们的行为不同,分别适用于不同的类型 new (T) 为每个新的类型 T 分配一片内存,初始化为 0 并且返回类型为 * T 的内存地址:这种方法 返回一个指向类型为 T,值为 0 的地址的指针,它适用于值类型如数组和结构体;它相当于 &T{}。 阅读全文
posted @ 2021-08-08 10:26 Hoult丶吴邪 阅读(193) 评论(0) 推荐(0) 编辑
摘要: Flink窗口背景 Flink认为Batch是Streaming的一个特例,因此Flink底层引擎是一个流式引擎,在上面实现了流处理和批处理。而Window就是从Streaming到Batch的桥梁。通俗讲,Window是用来对一个无限的流设置一个有限的集合,从而在有界的数据集上进行操作的一种机制。 阅读全文
posted @ 2021-05-31 00:35 Hoult丶吴邪 阅读(664) 评论(0) 推荐(2) 编辑
摘要: 介绍 大概4月,Flink1.13就发布了,参加 了Flink1.13 的Meetup,收获还是挺多,从大的方面讲就是FlingSql的改进和优化,资源调度管理方面的优化,以及流批一体Flink在运行时与DataStream API的优化,另外就是State backend 模块的优化,本篇文章既是 阅读全文
posted @ 2021-05-22 23:40 Hoult丶吴邪 阅读(1330) 评论(0) 推荐(0) 编辑
摘要: Flink主要用来处理数据流,所以从抽象上来看就是对数据流的处理,正如前面大数据开发-Flink-体系结构 && 运行架构提到写Flink程序实际上就是在写DataSource、Transformation、Sink. DataSource是程序的数据源输入,可以通过StreamExecutionE 阅读全文
posted @ 2021-05-12 00:47 Hoult丶吴邪 阅读(1024) 评论(2) 推荐(0) 编辑