摘要：
分区/分桶，静态分区/动态分区 阅读全文
posted @ 2020-09-02 17:35
水木青楓
阅读(982)
评论(0)
推荐(0)
摘要：
on 表示在 join 前进行条件筛选，然后再进行join操作
where 表示在 join 操作完了再做数据过滤 阅读全文
posted @ 2020-09-01 19:37
水木青楓
阅读(1097)
评论(0)
推荐(0)
摘要：
Flink 自定义Sink，把socket数据流数据转换成对象写入到mysql存储。 阅读全文
posted @ 2020-08-31 17:12
水木青楓
阅读(2615)
评论(0)
推荐(0)
摘要：
Flink常用算子代码实现 (Scala版本和Java版本) 阅读全文
posted @ 2020-08-31 11:38
水木青楓
阅读(1069)
评论(0)
推荐(0)
摘要：
1、冒泡排序 2、 插入排序 3、堆排序 4、快速排序 5、希尔排序 6、归并排序 7、计数排序 8、桶排序 9、基数排序 10、选择排序 阅读全文
posted @ 2020-08-30 23:53
水木青楓
阅读(348)
评论(0)
推荐(0)
摘要：
面试总结： ##1、HDFS小文件 小文件的产生原因 1） 数据本身的特点：比如我们在 HDFS 上存储大量的图片、短视频、短音频等文件，这些文件本身较小，达不到一个block的大小，而且数量众多。 2） MapReduce产生：例如使用查询一张含有海量数据的表，然后存储在另外一张表中，而这个查询只 阅读全文
posted @ 2020-08-29 15:29
水木青楓
阅读(1016)
评论(0)
推荐(1)
摘要：
某公司面试题： 1、阐述数据库的三大范式？ 2、Linux 自带的常用命令举例至少20个？ 3、Spark 有哪些聚合类的算子，我们应该尽量避免什么类型的算子？ 4、Hive 和 HBase 的区别？ 5、你了解设计模式吗？写出你知道的设计模式。 6、常见的GC算法有哪些？ 7、kafka 的数据存 阅读全文
posted @ 2020-08-28 12:54
水木青楓
阅读(656)
评论(0)
推荐(1)
摘要：
前言 ZooKeeper 是一个分布式的，开放源码的分布式应用程序协调服务。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。 ZooKeeper 的目标就是封装好复杂易出错的关键服务，将简单易用的接口和性能高效、功能稳定的系统提供给用户。 ZooK 阅读全文
posted @ 2020-08-27 22:15
水木青楓
阅读(2652)
评论(0)
推荐(0)
浙公网安备 33010602011771号