2019年6月20日
java 快速排序
摘要： 思路通过一趟排序，将要排序的数据分隔成独立的两部分，其中一部分的所有数据比另外一部分的所有数据都要小，然后再按此方法对这两部分数据分别进行快速排序，整个排序过程可以递归进行，以此使整个数据变成有序序列。时间复杂度最佳情况：T(n) = O(nlogn) 最差情况：T(n) = O(n2) 平均情况：T(n) = O(nlogn)　代码import java.util.Arrays;/** ... 阅读全文
posted @ 2019-06-20 18:39 remainsu 阅读(2276) 评论(0) 推荐(0)
hive 之 Cube, Rollup介绍
摘要： 1. GROUPING SETSGROUPING SETS作为GROUP BY的子句，允许开发人员在GROUP BY语句后面指定多个统维度，可以简单理解为多条group by语句通过union all把查询结果聚合起来结合起来。为方便理解，以testdb.test_1为例：hive> use testdb;hive> desc test_1;user_id string i... 阅读全文
posted @ 2019-06-20 18:37 remainsu 阅读(3799) 评论(0) 推荐(0)
hive 常用的 join 操作 实例
摘要： test_a 表idvalue1java2python3c++test_b 表idvalue1java2go3php4c++1. join计算的是笛卡尔积，不推荐使用select * from test_a join test_b on test_a.value = test_b.value;查询结果： java java c++ c++ 2. left outer join & right... 阅读全文
posted @ 2019-06-20 18:36 remainsu 阅读(675) 评论(0) 推荐(0)
CDH 5.15.2 离线安装
摘要： 目录目录一、前置准备1. 基础信息1.1 机器1.2 服务版本2. 创建hadoop用户2.1 添加用户组及用户，配置密码2.2 sudo权限3. 修改机器名并配置hosts3.1 修改network文件3.2 修改hosts文件4. 机器之间免密码登录5. 修改系统资源参数5.1 修改 90-nproc.conf5.2 修改 limits.conf6. 安装 jdk6.1 查看centos是否自... 阅读全文
posted @ 2019-06-20 18:32 remainsu 阅读(806) 评论(0) 推荐(0)
Presto 0.22.0 安装记录
摘要： 1. 下载 & 解压# 下载wget https://repo1.maven.org/maven2/com/facebook/presto/presto-server/0.220/presto-server-0.220.tar.gz# 移动到要安装目录mv presto-server-0.220.tar.gz /opt/# 解压tar zxvf presto-server-0.220.tar.gz... 阅读全文
posted @ 2019-06-20 18:31 remainsu 阅读(516) 评论(0) 推荐(1)
2019年6月14日
设计模式 - 原型模式
摘要： 原型模式（Prototype Pattern）是用于创建重复的对象，同时又能保证性能。这种类型的设计模式属于创建型模式，它提供了一种创建对象的最佳方式。这种模式是实现了一个原型接口，该接口用于创建当前对象的克隆。当直接创建对象的代价比较大时，则采用这种模式。例如，一个对象需要在一个高代价的数据库操作之后被创建。我们可以缓存该对象，在下一个请求时返回它的克隆，在需要的时候更新数据库，以此来减少数据库... 阅读全文
posted @ 2019-06-14 16:38 remainsu 阅读(141) 评论(0) 推荐(0)
设计模式 - 建造者模式
摘要： 建造者模式（Builder Pattern）使用多个简单的对象一步一步构建成一个复杂的对象。这种类型的设计模式属于创建型模式，它提供了一种创建对象的最佳方式。一个 Builder 类会一步一步构造最终的对象。该 Builder 类是独立于其他对象的。介绍意图：将一个复杂的构建与其表示相分离，使得同样的构建过程可以创建不同的表示主要解决：主要解决在软件系统中，有时候面临着"一个复杂对象"的创建工作，... 阅读全文
posted @ 2019-06-14 14:30 remainsu 阅读(296) 评论(0) 推荐(0)
2018年5月21日
kafka迁移topic
摘要： 1. 准备移动这里假设要移动的topic名称为：topicA、topicBvim topics-to-move.json{"topics": [{"topic": "topicA"}, {"topic": "topicB"}],"version":1}将上述 topic 移动到 broker 3,4,5上，用 generate 命令生成 partition 分配 json 串... 阅读全文
posted @ 2018-05-21 17:55 remainsu 阅读(426) 评论(0) 推荐(0)