摘要: 环境 jdk 1.8.0_144 maven 3.5.4 hbase 0.98.6 hadoop 2.6.0 (需要在环境变量设置hadoop home,以及放置winutils.exe到hadoop bin目录下) 开始 打开 maven 的配置文件( windows 机器一般在 maven 安装 阅读全文
posted @ 2021-01-30 10:54 sw_kong 阅读(510) 评论(0) 推荐(0) 编辑
摘要: 本文参考范欣欣hbase原理及实践书籍以及自己实际应用中整理 1.RPC重试配置要点 在HBase客户端到服务端的通信过程中,可能会碰到各种各样的异常。例如有几种常见导致重试的异常: 待访问Region所在的RegionServer发生宕机,此时Region已经被挪到一个新的RegionServer 阅读全文
posted @ 2021-01-17 11:58 sw_kong 阅读(1468) 评论(0) 推荐(0) 编辑
摘要: 一、Docker简介 1.1 什么是Docker Docker 是 dotCloud 公司开源的一个基于 Linux 内核的 cgroup,namespace,以及 AUFS 类的 Union FS 等技术,对进程进行封装隔离的高级容器引擎, 其将 Linux 的容器技术发挥极致。Docker 源代 阅读全文
posted @ 2021-01-17 10:42 sw_kong 阅读(192) 评论(0) 推荐(0) 编辑
摘要: 转载自过往记忆老师 随着 Apache HBase 在各个领域的广泛应用,在 HBase 运维或应用的过程中我们可能会遇到这样的问题: 同一个 HBase 集群使用的用户越来越多,不同用户之间的读写或者不同表的 compaction、region splits 操作可能对其他用户或表产生了影响。将所 阅读全文
posted @ 2020-10-12 17:21 sw_kong 阅读(692) 评论(0) 推荐(0) 编辑
摘要: 测试工具YCSB 自带有hbase pe,但是pe只能统计每个线程执行的情况,不能统计整体的状态。所以还是推荐使用YCSB https://github.com/brianfrankcooper/YCSB 使用参考文档: https://github.com/brianfrankcooper/YCS 阅读全文
posted @ 2020-09-24 15:44 sw_kong 阅读(1395) 评论(2) 推荐(0) 编辑
摘要: 在服务启动时,服务提供者会向注册中心注册服务,暴露自己的地址和端口等,注册中心会更新服务列表。服务消费者启动时会向注册中心请求可用的服务地址,并且在本地缓存一份提供者列表,这样即便注册中心宕机了,仍然可以正常调用服务。 如果提供者集群发生变更,注册中心会将变更推送给服务消费者,更新可用的服务地址列表 阅读全文
posted @ 2020-09-23 21:41 sw_kong 阅读(1348) 评论(0) 推荐(0) 编辑
摘要: RPC 远程服务调用是分布式服务架构的基础。 RPC(Remote Procedure Call)是一种进程间通信方式,它是一种通过网络从远程计算机程序上请求服务,而不需要了解底层网络技术的协议。 RPC 允许程序调用另一个地址空间的过程或函数,而不用程序员显式编码这个远程调用的细节。即无论是调用本 阅读全文
posted @ 2020-09-23 21:38 sw_kong 阅读(898) 评论(0) 推荐(0) 编辑
摘要: Amazon Athena概览 快速了解Athena 是什么?关键字: 交互式查询服务 ad-hoc查询 支持标准SQL 指定S3中的数据形成表(类似hive) 快速响应(seconds级别) serverless 支持JDBC连接和Java API连接 Amazon Athena is an in 阅读全文
posted @ 2020-07-19 14:55 sw_kong 阅读(1093) 评论(0) 推荐(0) 编辑
摘要: 原文:王知无 https://www.cnblogs.com/importbigdata/p/12178404.html 维表JOIN-绕不过去的业务场景 在Flink 流处理过程中,经常需要和外部系统进行交互,用维度表补全事实表中的字段。 例如:在电商场景中,需要一个商品的skuid去关联商品的一 阅读全文
posted @ 2020-07-03 09:57 sw_kong 阅读(895) 评论(0) 推荐(0) 编辑
摘要: 在实际生产中,我们经常会有这样的需求,需要以原始数据流作为基础,然后关联大量的外部表来补充一些属性。例如,我们在订单数据中,希望能得到订单收货人所在省的名称,一般来说订单中会记录一个省的 ID,那么需要根据 ID 去查询外部的维度表补充省名称属性。 在 Flink 流式计算中,我们的一些维度属性一般 阅读全文
posted @ 2020-07-02 10:12 sw_kong 阅读(9507) 评论(1) 推荐(2) 编辑