摘要：
数据仓库更多代表的是一种对数据的管理和使用的方式，它是一整套包括了数据建模、ETL（数据抽取、转换、加载）以及作用调度等在内的完整的理论体系流程。 数据仓库在构建过程中通常都需要进行分层处理。业务不同，分层的技术处理手段也不同。分层的主要原因是在管理数据的时候，能对数据有一个更加清晰的掌控。详细来讲 阅读全文
posted @ 2021-08-13 10:07
碧水斜茶
阅读(931)
评论(0)
推荐(0)
摘要：
节点类型 stat结构体 czxid-创建节点的事务zxid：每次修改ZooKeeper状态都会收到一个zxid形式的时间戳，也就是ZooKeeper事务ID。 事务ID是ZooKeeper中所有修改总的次序。每个修改都有唯一的zxid，如果zxid1小于zxid2，那么zxid1在zxid2之前发 阅读全文
posted @ 2021-08-10 21:37
碧水斜茶
阅读(49)
评论(1)
推荐(0)
摘要：
和大家聊到了个小“bug”，整理个笔记方便记录 咱们一般默认的步骤都是先把远程仓库复制到本地，然后编辑配置文件，进行推送，同步等相关的操作 上面这个大家都很熟悉了，但是往往不经意的时候会发现下面的情况（开篇的问题）： 什么情况呢，就是我们想编辑的时候发现曾经可以编辑的按钮，变成了灰色不可点击状态，这 阅读全文
posted @ 2021-08-09 11:59
碧水斜茶
阅读(38)
评论(0)
推荐(0)
摘要：
第1章 Phoenix简介 1.1 Phoenix定义 Phoenix是HBase的开源SQL皮肤。可以使用标准JDBC API代替HBase客户端API来创建表，插入数据和查询HBase数据。 1.2 Phoenix特点 容易集成：如Spark，Hive，Pig，Flume和Map Reduce。 阅读全文
posted @ 2021-08-08 19:45
碧水斜茶
阅读(131)
评论(1)
推荐(0)
摘要：
1 集群成员之间的关系 集群中成员之间的信息是通过zk进行维护的每个broker都有自己的唯一标识broker启动时通过创建临时节点把自己的ID注册到zk上，然后kafka组件订阅zk中的/brokers/ids路径，当加入或退出集群时，组件会得到通知如果关闭一个broker，对应的节点会消失 阅读全文
posted @ 2021-08-05 20:53
碧水斜茶
阅读(1370)
评论(1)
推荐(0)
摘要：
如何选择SparkSQL中的Join策略 在大数据分析中，将两个数据集进行 Join 操作是很常见的场景。在 Spark 的物理计划阶段，Spark 的 Join Selection 类会根据 Join hints 策略、Join 表的大小、 Join 是否为等值 Join以及参与 Join 的 k 阅读全文
posted @ 2021-08-04 19:05
碧水斜茶
阅读(357)
评论(1)
推荐(0)
摘要：
本地模式安装部署 安装前准备 安装jdk，拷贝zookeeper安装包到linux系统下，解压到指定的目录 tar -zxvf zookeeper-3.5.7.tar.gz -C /opt/module/ 配置修改 将/opt/module/zookeeper-3.5.7/conf这个路径下的zoo 阅读全文
posted @ 2021-08-03 20:02
碧水斜茶
阅读(78)
评论(1)
推荐(0)
摘要：
选择某个java类，Ctrl+鼠标左键选中某个类名，比如Reducer，然后就进入到源码了。如果没有导入源码，会进入到一个class文件，这里可以选择右侧的Choose Source，然后选择解压之后的源码文件，idea就自动导入源码，可以发现class文件变成了java文件，就可以愉快的阅读了。 阅读全文
posted @ 2021-08-02 14:55
碧水斜茶
阅读(799)
评论(1)
推荐(0)
浙公网安备 33010602011771号