上一页 1 ··· 18 19 20 21 22 23 24 25 26 ··· 31 下一页
摘要: 教程演示 本文主要以 Windows、IDEA 2021.2作为例子来演示。 1、下载自己需要的IDEA 链接:https://pan.baidu.com/s/1aq3vHc4LK2LyaOLl2ei_2g 提取码:ie3n 2、安装IDEA 这个操作就easy了,我这里不演示了,如果你真的不会的话 阅读全文
posted @ 2021-08-16 00:42 民宿 阅读(148039) 评论(42) 推荐(14)
摘要: JDK安装一:下载二:安装三:配置环境变量四:验证 一:下载 链接:https://pan.baidu.com/s/1H66AKZnD9YJK4G9KyeXFyg 提取码:k610 二:安装 双击以后进行JDK的安装(1)双击进行安装界面如下所示(如果·点击下一步没反应,将输入法切换为系统默认的输入 阅读全文
posted @ 2021-08-16 00:21 民宿 阅读(149) 评论(0) 推荐(0)
摘要: 根据数据体量,结合集群各节点的CPU、内存、磁盘的表现,合理优化设置kudu参数,让集群飞起来~ 注: 如有雷同,纯属借鉴~ 1.Kudu后台对数据进行维护操作,如写入数据时的并发线程数,一般设置为4,官网建议的是数据目录的3倍Kudu Tablet Server Maintenance Threa 阅读全文
posted @ 2021-08-15 12:02 民宿 阅读(925) 评论(0) 推荐(0)
摘要: 文章分两部分 1 基于impala的sql执行优化过程 2 Impala+kudu架构的数据仓库经验分享 第一部分,sql调优 1.老生常谈,sql调优必看执行计划,无论是hive还是impala。查看impala的执行计划可以说比较详细,分为三个粒度,分别是:explain、summary、pro 阅读全文
posted @ 2021-08-15 11:52 民宿 阅读(3904) 评论(0) 推荐(0)
摘要: 文章内容来源于官网文档:http://kudu.apache.org/docs/index.html 一、kudu介绍 Kudu是Cloudera开源的新型列式存储系统,是Apache Hadoop生态圈的成员之一(incubating),专门为了对快速变化的数据进行快速的分析,填补了以往Hadoo 阅读全文
posted @ 2021-08-15 11:41 民宿 阅读(548) 评论(0) 推荐(0)
摘要: 一、impala + kudu一些优化心得用了几次impala + kudu做大数据实时计算场景,一路踏坑过来,这里分享踏坑经验 一开始需要全量导入kudu,这时候我们先用sqoop把关系数据库数据导入临时表,再用impala从临时表导入kudu目标表 由于sqoop从关系型数据直接以parquet 阅读全文
posted @ 2021-08-15 10:47 民宿 阅读(1415) 评论(0) 推荐(0)
摘要: 一、下载驱动到官网下载对应版本的Impala JDBC Connector,我这里下载的是2.6.12版本,若有需要,可自行选择版本: https://www.cloudera.com/downloads/connectors/impala/jdbc/2-6-12.html 注:官网下载需要填写用户 阅读全文
posted @ 2021-08-15 09:50 民宿 阅读(2480) 评论(0) 推荐(0)
摘要: 内存限制问题(Memory Limits): Soft memory limit exceeded (at 101.75% of capacity). This is attempt 12771:问题出现原因: Ku都有一个硬性和软性的内存限制。硬存储器限制是Kudu进程允许使用的最大数量,由--m 阅读全文
posted @ 2021-08-12 13:44 民宿 阅读(321) 评论(0) 推荐(0)
摘要: Ctrl 快捷键 介绍 Ctrl + F 在当前文件进行文本查找 (必备) Ctrl + R 在当前文件进行文本替换 (必备) Ctrl + Z 撤销 (必备) Ctrl + Y 删除光标所在行 或 删除选中的行 (必备) Ctrl + X 剪切光标所在行 或 剪切选择内容 Ctrl + C 复制光 阅读全文
posted @ 2021-08-11 22:29 民宿 阅读(76) 评论(0) 推荐(0)
摘要: Kudu有着和MySQL等传统RDBMS类似的存储结构。表结构的设计对性能和稳定性的起着决定性的作用。本文把Kudu官网的表结构设计做了少许整理,结合微店自身业务做了些许的实践和测试。 宏观来看,Kudu的表结构设计有三个重要概念:列设计、主键设计和切片设计。其中列设计、主键设计和传统的数据库类似, 阅读全文
posted @ 2021-08-11 11:08 民宿 阅读(617) 评论(0) 推荐(0)
上一页 1 ··· 18 19 20 21 22 23 24 25 26 ··· 31 下一页