民宿 - 博客园

2021年8月18日

摘要： alter system修改的是参数文件，所有用户都会生效； alter session只是对当前session生效； alter database 一般修改的是控制文件信息。阅读全文

posted @ 2021-08-18 16:07 民宿阅读(81) 评论(0) 推荐(0)

摘要： top命令 top命令是Linux下常用的性能分析工具，能够实时显示系统中各个进程的资源占用状况，类似于Windows的任务管理器。运行 top 命令后，CPU 使用状态会以全屏的方式显示，并且会处在对话的模式 -- 用基于 top 的命令，可以控制显示方式等等。退出 top 的命令为 q （在阅读全文

posted @ 2021-08-18 14:00 民宿阅读(882) 评论(0) 推荐(0)

2021年8月16日

kudu查看表结构的三种方法

摘要： 1、show columns from emp; 2、desc emp; 3、show create table emp; 阅读全文

posted @ 2021-08-16 18:56 民宿阅读(1078) 评论(0) 推荐(0)

Kudu系列-基础

摘要： Apache Kudu 支持Insert/Update/Delete 等写操作(Kudu 随机写效率也很高, 实测对一个窄表做全字段update, 其速度达到了Insert速度的88%, 而vertica的update效率比insert差很多), Kudu 表文件是列式数据格式(和Parquet格式阅读全文

posted @ 2021-08-16 14:11 民宿阅读(537) 评论(0) 推荐(0)

kudu系列: Java API使用和效率测试

摘要： Kudu+Impala很适合数据分析, 但直接使用Insert values语句往Kudu表插入数据, 效率实在不好, 测试下来insert的速度仅为80笔/秒. 原因也是显然的, Kudu本身写入效率很高, 但是Impala并没有做这方面优化, 观察下来每次Impala语句执行的overhead都阅读全文

posted @ 2021-08-16 14:05 民宿阅读(448) 评论(0) 推荐(0)

Impala系列: Impala常用的功能函数

摘要：查看内置的函数 hive 不需要进入什么内置数据库, 即可使用 show functions 命令列出所有内置的函数.show functions; -- hive仅显示函数的名称, 没有参数和返回值信息.desc function function_name ; -- 该命令能显示函数的具体用途. 阅读全文

posted @ 2021-08-16 14:02 民宿阅读(971) 评论(0) 推荐(0)

Impala系列:Impala查询优化

摘要：理解 mem_limit 参数 set mem_limit=-1b #取消内存限制set mem_limit=1gb #设置单机内存上限为1GB, 注意是单机set mem_limit=1mb #设置单机内存上限为1MB, 注意是单机如果设置了 mem_limit, impala 将跳过Query内阅读全文

posted @ 2021-08-16 14:01 民宿阅读(1116) 评论(0) 推荐(0)

Kudu系列: Kudu主键选择策略

摘要：每个Kudu 表必须设置Pimary Key(unique), 另外Kudu表不能设置secondary index, 经过实际性能测试, 本文给出了选择Kudu主键的几个策略, 测试结果纠正了我之前的习惯认知. 简单介绍测试场景: 表中有一个unqiue字段Id, 另外还有一个日期维度字段hist 阅读全文

posted @ 2021-08-16 13:57 民宿阅读(256) 评论(0) 推荐(0)

Intellij idea高效使用教程

摘要： Intellij idea高效使用教程安装好Intellij idea之后，进行如下的初始化操作，工作效率提升十倍。一. 安装插件 1. Codota 代码智能提示插件只要打出首字母就能联想出一整条语句，这也太智能了，还显示了每条语句使用频率。原因是它学习了我的项目代码，总结出了我的代码偏好阅读全文

posted @ 2021-08-16 13:30 民宿阅读(289) 评论(0) 推荐(0)

数据集市,Inmon架构及Kimball架构(维度建模)

摘要：在数据仓库持续演进的过程中，逐渐产生了不少的架构方法，主要有Inmon架构，Kimball架构，数据集市架构及混合架构等。一数据集市先说说数据集市吧，数据集市也不是之前单独按照每个部门去搭建的，都是出自搭建好的企业级数据仓库。属于从属数据集市，可以有效消除各部门数据不一致的情况。早期数据集市阅读全文

posted @ 2021-08-16 09:46 民宿阅读(1148) 评论(0) 推荐(0)

民宿

您好，我叫李玉民，点点关注交个朋友吧

公告