摘要：
一、Idea配置 阅读全文
posted @ 2022-04-29 18:23
Robots2
阅读(324)
评论(0)
推荐(0)
摘要：
一、常用命令 1、查询 连接客户端 hbase shell 查询优哪些表：list 查询表结构：describe 'table' 扫描表前几条数据：scan 't1',{LIMIT=>5} 查询表t1 rowkey001中的f1下的col1的值：get 't1','rowkey001', 'f1:c 阅读全文
posted @ 2022-04-15 16:00
Robots2
阅读(533)
评论(0)
推荐(0)
摘要：
一、基础信息 spark版本：spark-3.1.3-bin-hadoop3.2 hadoop版本：hadoop-3.2.1 scala版本：scala-2.11.12 建议3.12版本 下载地址：https://spark.apache.org/downloads.html 二、配置修改 1、复制 阅读全文
posted @ 2022-04-02 18:14
Robots2
阅读(741)
评论(0)
推荐(1)
摘要：
一、网上总结的报错 1、coalesce报错 FAILED: SemanticException [Error 10014]: Line 197:4 Wrong arguments ''10'': Unsafe compares BETWEEN different types are disable 阅读全文
posted @ 2022-04-01 20:00
Robots2
阅读(1545)
评论(0)
推荐(0)
摘要：
一、常用优化 1、每个查询最大使用内存1T，目前配置 3T query.max-memory=1T 2、每个工作节点最多加载10GB数据，目前 60GB query.max-memory-per-node=60GB 3、每个查询最多运行30分钟，目前没设置 query.max-run-time=30 阅读全文
posted @ 2022-03-29 14:36
Robots2
阅读(363)
评论(0)
推荐(0)
摘要：
一、搜索 command+o 项目内搜索文件 command+shift+f 全局关键词搜索 阅读全文
posted @ 2022-03-29 11:04
Robots2
阅读(31)
评论(0)
推荐(0)
摘要：
一、分类 1.1 事件时间：EventTime 事件发⽣的时间 事件时间是每个单独事件在其产⽣进程上发⽣的时间，这个时间通常在处理的消息体中，如创建时间 在事件时间中，时间值 取决于数据产⽣记录的时间，⽽不是任何Flink机器上的 1.2 进⼊时间：IngestionTime 事件到进⼊Flink 阅读全文
posted @ 2022-03-27 22:04
Robots2
阅读(183)
评论(0)
推荐(0)
摘要：
一、依赖 二、代码 package net.xdclass.class11; import java.util.List; import java.util.stream.Collectors; import org.apache.commons.collections.IteratorUtils; 阅读全文
posted @ 2022-03-27 20:49
Robots2
阅读(87)
评论(0)
推荐(0)
摘要：
一、依赖 二、代码 package net.xdclass.class11; import java.util.List; import java.util.stream.Collectors; import org.apache.commons.collections.IteratorUtils; 阅读全文
posted @ 2022-03-27 20:47
Robots2
阅读(176)
评论(0)
推荐(0)
摘要：
一、依赖 二、代码 package net.xdclass.class11; import org.apache.flink.api.common.RuntimeExecutionMode; import org.apache.flink.api.common.functions.Aggregate 阅读全文
posted @ 2022-03-27 20:47
Robots2
阅读(72)
评论(0)
推荐(0)
浙公网安备 33010602011771号