Robots2

摘要： 一、git项目上传后项目文件太大，git filter-branch手动清理 最近发现一个项目git目录已经达到200MB，严重影响了clone代码。操作之前请全量备份代码，操作失误可恢复 二、测试项目存储主键增大流程 2.1、建立远程仓库为了模拟团队协作，需要一个远程仓库，可以选择GitHub或码 阅读全文

摘要： 简介：HIVE提供了EXPLAIN命令来展示一个查询的执行计划,这个执行计划对于我们了解底层原理，hive 调优，排查数据倾斜等很有帮助 一、EXPLAIN 参数介绍 语法 : EXPLAIN [EXTENDED|CBO|AST|DEPENDENCY|AUTHORIZATION|LOCKS|VECT 阅读全文

摘要： 一、join优化 1. 使用相同的连接键当对3个或者更多个表进行join连接时，如果每个on子句都使用相同的连接键的话，那么只会产生一个MapReduce job。 2. 尽量尽早地过滤数据减少每个阶段的数据量,对于分区表要加分区，同时只选择需要使用到的字段。 3. 尽量原子化操作尽量避免一个SQL 阅读全文

摘要： 一、新建流程图 1.1 新建流程图 1.2 左侧操作符介绍 Flow：顾名思义就是流，用来从一个操作流向下一个操作。 Process: 过程 Terminator：用在结束的时候。 Dicision：是决策的意思，就是需要做决定做选择的处理。 Manual input：是手动输入的意思，就是需要做输 阅读全文

摘要： 一、异常 1）DB::Exception: Nested type Array(String) cannot be inside Nullable type (version 20.4.6.53 (official build))原因：字段类型是Nullable(String)，在使用一些字符串函数 阅读全文

摘要： 一、常用操作 1、建数据库 连接数据库：clickhouse-client -h 10.0.0.0 --port 9000 -u test_user --password test_password -m 可以通过jdbc方式访问，DBeaver软件选择ck引擎，8123端口。也可直接客户端方式访问 阅读全文

摘要： 一、maven-jar-plugin 默认的打包插件，用来打普通的jar 包，需建立lib目录里来存放需要的依赖包 二、maven-shade-plugin (推荐) 将依赖的jar包打包到当前jar 包，成为fat JAR包 <properties> <encoding>UTF-8</encodi 阅读全文

摘要： 一、简介 SPI 的全称为 (Service Provider Interface)，是 JDK 内置的一种服务提供发现机制。主要由工具类 java.util.ServiceLoader 提供相应的支持 其中分为两个角色 Service - 服务，通常为一个接口或一个抽象类，比如：java.sql. 阅读全文

摘要： 一、下载地址 https://www.ej-technologies.com/download/jprofiler/files 版本：11 激活码：L-J11-Everyone#speedzodiac-327a9wrs5dxvz#463a59 二、Idea中搜索安装插件 2.1 安装插件 2.2 重 阅读全文

摘要： 一、准备工作 1.1 下载地址 https://github.com/apache/hive https://dlcdn.apache.org/hive/ 版本：2.3.9 1.2 环境依赖 hadoop2.x mysql maven java8 1.3 Idea插件 需要在idea中搜索安装ANT 阅读全文