2022年4月1日

Morphlines 介绍

摘要: Morphlines Cloudera Morphlines, a new command-based framework that simplifies data preparation for Apache Hadoop workloads A “morphline” is a rich con 阅读全文

posted @ 2022-04-01 11:37 Deemoo 阅读(280) 评论(0) 推荐(0) 编辑

Presto 简略介绍

摘要: Presto 0.271 Documentation ​ presto 原有团队重立了 presto 项目并改名为 prestosql,后来又改名为 Trino,这个版本不支持 Java 8,以及 Java 11 的低级版本,但拥有更活跃的社区和更多的贡献者。 概览 ​ presto 不是一个关系型 阅读全文

posted @ 2022-04-01 11:26 Deemoo 阅读(1347) 评论(0) 推荐(0) 编辑

2022年1月6日

spark streaming 监听器执行顺序

摘要: trait StreamingListener { /** Called when the streaming has been started */ def onStreamingStarted(streamingStarted: StreamingListenerStreamingStarted 阅读全文

posted @ 2022-01-06 16:46 Deemoo 阅读(51) 评论(0) 推荐(0) 编辑

Kafka客户端版本0.10.1.0 导致 spark 只获取到一个分区的数据

摘要: <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId> <version>0.10.1.0</version> <!-- 该版本有问题 --> </dependency> 替换依赖 阅读全文

posted @ 2022-01-06 16:16 Deemoo 阅读(57) 评论(0) 推荐(0) 编辑

2021年11月23日

Java NIO 实现服务端和客户端的通信示例

摘要: 温馨提示:阅读本示例前首先需要对 Java NIO 的三大核心有一定了解 channel (通道 buffer (缓冲区 selector(选择器 可以先看看 Java NIO Tutorial 服务端 import org.slf4j.Logger; import org.slf4j.Logger 阅读全文

posted @ 2021-11-23 13:56 Deemoo 阅读(290) 评论(0) 推荐(0) 编辑

2021年11月4日

Scala下划线用法

摘要: 导包时导入包下的所有类 import java.text.DateFormat._ 模式匹配中最后一个匹配项,匹配任意值 def derive(t: Tree, v: String): Tree = t match { case Sum(l, r) => Sum(derive(l, v), deri 阅读全文

posted @ 2021-11-04 15:10 Deemoo 阅读(31) 评论(0) 推荐(0) 编辑

2020年12月17日

单硬盘双系统-调整硬盘分配大小

摘要: 环境:联想小新15 2020 16g 500g、windwos10-ubuntu 20.04(200g)、希望windwos分多一点 方式: 使用 gparted 进行分区 gparted 镜像下载 https://sourceforge.net/projects/gparted/files/old 阅读全文

posted @ 2020-12-17 11:46 Deemoo 阅读(227) 评论(0) 推荐(0) 编辑

2019年10月16日

将jar包导入maven本地仓库

摘要: 转载:https://blog.csdn.net/lvdaan/article/details/79760976 一、首先配置环境变量 在path 中添加 maven的bin 的路径 例如:D:\soft\apache-maven-3.2.5\bin; 打开cmd ,执行 mvn -h 查看mave 阅读全文

posted @ 2019-10-16 01:17 Deemoo 阅读(687) 评论(0) 推荐(0) 编辑

2019年10月11日

极简MarkDown排版介绍(How to)

摘要: https://www.cnblogs.com/math/p/se tools 001.html 阅读全文

posted @ 2019-10-11 00:36 Deemoo 阅读(114) 评论(0) 推荐(0) 编辑

2019年9月27日

Hive sampling 语法之TABLESAMPLE用法理解

摘要: 官网关于 "LanguageManual Sampling" 的教程,部分截图如下,这里主要分享对TABLESAMPLE(BUCKET 3 OUT OF 16 ON id)子句的理解 ​ 官网中假设创建表时设置了 即分成了32个文件(虽然这里用的是bucket,为了避免混淆和方便理解下面的解释,个人 阅读全文

posted @ 2019-09-27 01:10 Deemoo 阅读(1560) 评论(0) 推荐(0) 编辑

导航