Robots2

摘要： 一、join优化 1. 使用相同的连接键当对3个或者更多个表进行join连接时，如果每个on子句都使用相同的连接键的话，那么只会产生一个MapReduce job。 2. 尽量尽早地过滤数据减少每个阶段的数据量,对于分区表要加分区，同时只选择需要使用到的字段。 3. 尽量原子化操作尽量避免一个SQL 阅读全文

摘要： 一、新建流程图 1.1 新建流程图 1.2 左侧操作符介绍 Flow：顾名思义就是流，用来从一个操作流向下一个操作。 Process: 过程 Terminator：用在结束的时候。 Dicision：是决策的意思，就是需要做决定做选择的处理。 Manual input：是手动输入的意思，就是需要做输 阅读全文

摘要： 一、异常 1）DB::Exception: Nested type Array(String) cannot be inside Nullable type (version 20.4.6.53 (official build))原因：字段类型是Nullable(String)，在使用一些字符串函数 阅读全文

摘要： 一、常用操作 1、建数据库 连接数据库：clickhouse-client -h 10.0.0.0 --port 9000 -u test_user --password test_password -m 可以通过jdbc方式访问，DBeaver软件选择ck引擎，8123端口。也可直接客户端方式访问 阅读全文

摘要： 一、maven-jar-plugin 默认的打包插件，用来打普通的jar 包，需建立lib目录里来存放需要的依赖包 二、maven-shade-plugin (推荐) 将依赖的jar包打包到当前jar 包，成为fat JAR包 <properties> <encoding>UTF-8</encodi 阅读全文

摘要： 一、简介 SPI 的全称为 (Service Provider Interface)，是 JDK 内置的一种服务提供发现机制。主要由工具类 java.util.ServiceLoader 提供相应的支持 其中分为两个角色 Service - 服务，通常为一个接口或一个抽象类，比如：java.sql. 阅读全文

摘要： 一、下载地址 https://www.ej-technologies.com/download/jprofiler/files 版本：11 激活码：L-J11-Everyone#speedzodiac-327a9wrs5dxvz#463a59 二、Idea中搜索安装插件 2.1 安装插件 2.2 重 阅读全文

摘要： 一、准备工作 1.1 下载地址 https://github.com/apache/hive https://dlcdn.apache.org/hive/ 版本：2.3.9 1.2 环境依赖 hadoop2.x mysql maven java8 1.3 Idea插件 需要在idea中搜索安装ANT 阅读全文

摘要： 一、Idea配置 阅读全文

摘要： 一、常用命令 1、查询 连接客户端 hbase shell 查询优哪些表：list 查询表结构：describe 'table' 扫描表前几条数据：scan 't1',{LIMIT=>5} 查询表t1 rowkey001中的f1下的col1的值：get 't1','rowkey001', 'f1:c 阅读全文