摘要: 1、hadoop高可用安装和原理详解 2、hadoop2.7+spark2.2+zookeeper3.4.简单安装 3、windows下通过idea连接hadoop和spark集群 4、hadoop2.7之作业提交详解(上) 5、hadoop2.7之作业提交详解(下) 6、hadoop2.7作业提交 阅读全文
posted @ 2019-09-20 23:29 一寸HUI 阅读(1932) 评论(0) 推荐(0) 编辑
摘要: 1、VMware安装Centos7虚拟机 2、Linux之vim详解 3、linux后台运行的几种方式 4、linux权限管理 5、linux之用户和用户组管理详解 6、grep文本搜索工具详解 7、linux下实现并发逻辑 8、linux之压缩和解压 9、linux文件系统详解 10、linux之 阅读全文
posted @ 2019-09-11 15:49 一寸HUI 阅读(484) 评论(0) 推荐(0) 编辑
摘要: 1、myslq5.7安装以及root密码找回 2、mysql之innodb存储引擎介绍 3、mysql之innodb存储引擎 数据存储结构 4、mysql之innodb存储引擎 BTREE索引实现 5、mysql之innodb日志管理 6、mysql备份和恢复 7、mysql之innodb-锁 8、 阅读全文
posted @ 2019-09-09 17:53 一寸HUI 阅读(429) 评论(0) 推荐(1) 编辑
摘要: 数据资产管理 声明:本文归属一寸HUI所有。@一寸HUI 在上一篇文章数据中台(架构篇)中了解到了数据中台的架构,其中我们一个很重要的部分就是要构建数据资产管理,这部分我们就来了解下什么什么数据资产,数据资产管理了什么。 数据资产管理介绍 1.定义 在明白数据资产管理之前,要明白管理的数据资产是什么 阅读全文
posted @ 2022-01-24 15:50 一寸HUI 阅读(1382) 评论(0) 推荐(1) 编辑
摘要: 声明:本文归属一寸HUI所有。@一寸HUI 在文章数据中台(架构篇)中了解到了数据中台的架构,其中我们一个很重要的部分就是要构建数据资产,而数据安全管理既是数据资产管理中不可或缺的一部分,又是信息安全管理的重要组成部分。 数据安全的挑战 企业内部挑战:从企业内部来说,一方面,大数据平台的安全管控能力 阅读全文
posted @ 2022-01-14 14:53 一寸HUI 阅读(1042) 评论(0) 推荐(2) 编辑
摘要: 声明:本文归属一寸HUI所有。@一寸HUI 在上一篇文章数据中台(架构篇)中了解到了数据中台的架构,其中,数据集成开发平台:数据集成开发平台能最高效地使用底层的组件和数据,提供从源数据到数据能力的转换。数据集成平台是数据中台数据接入的入口。数据中台本身几乎不产生数据,所有数据来自于业务系统、日志、文 阅读全文
posted @ 2022-01-13 17:21 一寸HUI 阅读(1207) 评论(0) 推荐(1) 编辑
摘要: 声明:本文归属一寸HUI所有。@一寸HUI 在上一篇文章数据中台(架构篇)中了解到了数据中台的架构,其中我们一个很重要的部分就是要构建数据资产,而数据资产中的元数据管理又是很重要的部分,接下来我们从几个方面了解元数据:搞懂什么是元数据?元数据和数据的区别是什么?元数据有什么作用?元数据可以用来做什么 阅读全文
posted @ 2022-01-11 17:52 一寸HUI 阅读(1501) 评论(0) 推荐(3) 编辑
摘要: 声明:本文归属一寸HUI所有。@一寸HUI 在上一篇文章数据中台(方法论篇)中主要介绍了建设数据中台要建设哪些内容、建设的步骤以及建设过程中需要遵循一定的规范并符合公司的战略。也提及到了阿里巴巴数据中台的全景图,有了上面的基础,现在更能方便的理解数据中台的架构了。先来回顾下数据中台的概念。 数据中台 阅读全文
posted @ 2022-01-07 14:41 一寸HUI 阅读(3192) 评论(0) 推荐(6) 编辑
摘要: 从上一篇文章数据中台(介绍篇)我们知道数据中台是什么,解决什么问题,有什么价值,要做些什么,接下来我们去了解下通过什么方法来指导实施数据中台。 数据中台既不是一项技术,也不是一款产品,而是一套方法论,或者说是企业的一套战略,其本质是企业运营思路和模式的转变。数据中台并不是购买一套产品就能实现的,成功 阅读全文
posted @ 2022-01-06 16:33 一寸HUI 阅读(2399) 评论(3) 推荐(4) 编辑
摘要: 公司在弄数据中台,所以结合实际去理解了下数据中台,本文归属一寸HUI所有。@一寸HUI ##数据中台是什么? 数据中台是一套可持续“让企业的数据用起来”的机制,是一种战略选择和组织形式,是依据企业特有的业务模式和组织架构,通过有形的产品和实施方法论支撑,构建的一套持续不断把数据变成资产并服务于业务的 阅读全文
posted @ 2022-01-04 17:34 一寸HUI 阅读(3341) 评论(0) 推荐(3) 编辑
摘要: 这是最短的一次总结了,虽然短,但是还是要有吧。 2021年稀里糊涂的实现人生中的第一次跳槽,从广东来到了网红的长沙,换了新工作,适应新环境,所以断更了博客,这点比较遗憾,自己没有规划好时间,学习方面就不说了,明显不及格。2021年的众多计划都是泡汤的,这好像是一个魔咒,计划永远都是不能按时完成一样, 阅读全文
posted @ 2022-01-03 21:21 一寸HUI 阅读(129) 评论(3) 推荐(1) 编辑
摘要: ###################ElasticSearch监控指标梳理########################### #author:lugh1 # #date:2021-09-26 # #description:ES监控指标 # ###################ElasticS 阅读全文
posted @ 2021-09-27 19:12 一寸HUI 阅读(391) 评论(0) 推荐(0) 编辑
摘要: 随着收集额外数据并且现有数据的定期增长,数据仓库通常会随着时间的推移而不断增长。 有时,有必要增加数据库能力来联合不同的数据仓库到一个数据库中。 数据仓库也可能需要额外的计算能力(CPU)来适应新增加的分析项目。 在系统被初始定义时就留出增长的空间是很好的,但是即便用户预期到了高增长率,提前太多在资 阅读全文
posted @ 2021-04-01 08:27 一寸HUI 阅读(1017) 评论(0) 推荐(0) 编辑
摘要: ###########2021-03-22:gp参数调整记录########### gpconfig -c max_connections -v 1250 -m 250 #segment为master的5-10倍 gpconfig -c max_prepared_transactions -v 25 阅读全文
posted @ 2021-03-31 17:26 一寸HUI 阅读(1262) 评论(0) 推荐(0) 编辑
摘要: 最近在做gp的升级和整改,所以把做的内容整理下,这篇文章主要是基于gp6.14的安装,主要分为gp,gpcc,pxf的一些安装和初始化。本文为博客园作者所写: 一寸HUI,个人博客地址:https://www.cnblogs.com/zsql/ 一、安装前准备 1.1、机器选型 参考:https:/ 阅读全文
posted @ 2021-03-31 10:40 一寸HUI 阅读(1286) 评论(2) 推荐(0) 编辑
摘要: 本文为博客园作者所写: 一寸HUI,个人博客地址:https://www.cnblogs.com/zsql/ 在写本文时就在想,如果让你负责一个elasticsearch集群,从零开始,你会从哪些方面考虑?我们也知道es基本都是开箱即用,而且也很好用,配置参数也用默认的就好,只是这么简单的用不难,但 阅读全文
posted @ 2021-02-27 18:37 一寸HUI 阅读(736) 评论(0) 推荐(0) 编辑
摘要: 本文为博客园作者所写: 一寸HUI,个人博客地址:https://www.cnblogs.com/zsql/ 最近在做es相关的工作,所以记录下自己的一些想法,可能很多方面不会很全面,但是基本都是经过验证的。本文主要是围绕着思考,从多个方面进行考虑,怎么设计索引比较好,直接进入主题吧,本文的es版本 阅读全文
posted @ 2021-02-19 22:42 一寸HUI 阅读(4974) 评论(0) 推荐(0) 编辑
摘要: 本文为博客园作者所写: 一寸HUI,个人博客地址:https://www.cnblogs.com/zsql/ 简单的一个类就直接说了。LinkedList 的底层结构是一个带头/尾指针的双向链表,可以快速的对头/尾节点 进行操作,它允许插 入所有元素,包括 null。 相比数组(这里可以对比Arra 阅读全文
posted @ 2021-02-18 16:37 一寸HUI 阅读(410) 评论(0) 推荐(1) 编辑